-
# 나는 데이터 엔지니어일까? 아니면 데브옵스 엔지니어일까?
나는 작년에 영국의 한 통신사의 개발자로 취직했다.
내가 맡은 업무는 빅데이터를 처리하는 플랫폼을 빌드하는 업무이고, 클라우데라(Cloudera)를 기반으로 여러가지 툴을 사용해서 데이터 전송, 변형과 맵핑 후 HDFS에 작성하는 플랫폼을 만든다.
일반적인 데이터 엔지니어들이 사용하는 아파치 카프카, 하둡, 하이브, 임팔라와 같은 툴을 기본적으로 사용하지만 내가 처리한 데이터는 보안사항이기에 접근할 수 있는 권한은 없다. 플랫폼을 만들어놓고 테스트할때는 테스트용 데이터만을 가지고 하이브/임팔라에서 불러오기 때문에 딱히 데이터를 분석한다거나 하지 않는다.
데브옵스 엔지니어처럼 파이프라인을 만들고 CI/CD 와 비스무리하게 지속적인 빌드와 디플로이를 반복하긴 하지만 주된 업무는 Morphline 코드 작성에 치우쳐져 있다.
계약서상의 직군은 Software engineer.
같이 일하는 동료들도 본인소개 할때는 데이터 혹은 데브옵스 엔지니어라고 소개한다고 한다.
팀 워크샵에서는 우리 직군은 데브옵스가 맞다고 하는데 과연 난...? 😅