데이터 엔지니어링이란

이 글은 데이터 엔지니어링 직무에 대해 소개하며, 특히 주니어 개발자나 예비 개발자를 대상으로 합니다. 데이터 엔지니어링은 명확한 정의가 어렵지만, 데이터 사이언티스트와 협업하는 역할로 설명됩니다.

과거에는 중요하게 여겨지지 않던 방대한 양의 데이터, 즉 빅데이터가 서비스 개선과 수익 창출에 활용되면서 데이터에 대한 관심이 높아졌습니다. 빅데이터는 기존 관계형 데이터베이스(RDB)로 처리하기 어려운 규모(수십 테라바이트 이상)의 데이터를 지칭하며, 이를 다루기 위한 새로운 기술과 접근 방식이 필요함을 시사합니다.

글은 카카오의 데이터 엔지니어링에 대한 관심을 바탕으로 시작됩니다.