전체 글
-
고찰카테고리 없음 2022. 7. 2. 03:05
# 나는 데이터 엔지니어일까? 아니면 데브옵스 엔지니어일까? 나는 작년에 영국의 한 통신사의 개발자로 취직했다. 내가 맡은 업무는 빅데이터를 처리하는 플랫폼을 빌드하는 업무이고, 클라우데라(Cloudera)를 기반으로 여러가지 툴을 사용해서 데이터 전송, 변형과 맵핑 후 HDFS에 작성하는 플랫폼을 만든다. 일반적인 데이터 엔지니어들이 사용하는 아파치 카프카, 하둡, 하이브, 임팔라와 같은 툴을 기본적으로 사용하지만 내가 처리한 데이터는 보안사항이기에 접근할 수 있는 권한은 없다. 플랫폼을 만들어놓고 테스트할때는 테스트용 데이터만을 가지고 하이브/임팔라에서 불러오기 때문에 딱히 데이터를 분석한다거나 하지 않는다. 데브옵스 엔지니어처럼 파이프라인을 만들고 CI/CD 와 비스무리하게 지속적인 빌드와 디플로이..