Data Engineering1 한국 데이터 엔지니어링 그룹 밋업 회고 필자는 현재 백엔드 개발자로 일하고 있지만, 데이터 엔지니어라는 목표를 마음 한편에 두고 있다.백엔드 개발 역시 그 목표로 가는 하나의 과정이라고 생각하고 있다. 학부생 시절부터 데이터 엔지니어링 이라는 필드에 자연스레 관심이 갔다.점차 많아지는 데이터와 LLM의 발전에 따라서 대규모 데이터를 안정성 있고 효율적으로 설계, 운영하는 일이 반드시 필요하다고 생각했고, 또 그런 일을 하는 사람을 동경하게 된 것 같다. 사실 지금도 비슷한 일을 하고 있기는 하다.지금 나의 주요한 임무는 배치, 준실시간 ETL 서비스 개발이다.정형, 비정형 데이터를 모두 다뤄볼 수 있는 환경이기도 하고 안정성을 최우선시해야하기 때문에 DB 부하, 이중화 구성, 장애 대응, 네트워크와 같은 인프라 측면에서도 항상 고려가 필요하.. 2026. 1. 30. 이전 1 다음
