분류 전체보기13 한국 데이터 엔지니어링 그룹 밋업 회고 필자는 현재 백엔드 개발자로 일하고 있지만, 데이터 엔지니어라는 목표를 마음 한편에 두고 있다.백엔드 개발 역시 그 목표로 가는 하나의 과정이라고 생각하고 있다. 학부생 시절부터 데이터 엔지니어링 이라는 필드에 자연스레 관심이 갔다.점차 많아지는 데이터와 LLM의 발전에 따라서 대규모 데이터를 안정성 있고 효율적으로 설계, 운영하는 일이 반드시 필요하다고 생각했고, 또 그런 일을 하는 사람을 동경하게 된 것 같다. 사실 지금도 비슷한 일을 하고 있기는 하다.지금 나의 주요한 임무는 배치, 준실시간 ETL 서비스 개발이다.정형, 비정형 데이터를 모두 다뤄볼 수 있는 환경이기도 하고 안정성을 최우선시해야하기 때문에 DB 부하, 이중화 구성, 장애 대응, 네트워크와 같은 인프라 측면에서도 항상 고려가 필요하.. 2026. 1. 30. 게으른 개발자의 키매핑 세팅 정말 오랜만에 포스팅으로 돌아왔다.돌아오게 된 계기는 추후에 생길 귀차니즘을 대비하기 위함이다.지금 안적어놓으면 잊어버리고 또 삽질할 것이 분명함 ㅇㅇ. 오늘은 키보드 키세팅에 관한 내용이다. 나는 점점 방향키를 위해 손목을 움직이는 것까지 귀찮아지고 있다. 나랑 비슷한 사람이 많아서 그런가.. (개발자의 덕목은 게으름인가보다.)이미 잘 만든 오픈소스 프로그램이 있어서 사용 방법을 소개한다. 설정 방법AutoHotkey 위 사이트에서 AutoHotkey를 다운로드 받는다. AHK script를 생성한다. (나는 주로 방향키와 home, end 키를 많이 사용해서 아래와 같이 작성함)만들어진 스크립트를 더블 클릭해서 잘 동작하는 지 확인한다.시작프로그램에 스크립트를 넣어놔서 컴퓨터 키면 자동 실행하도록 .. 2025. 10. 12. Windows에서 대량의 파일 개수를 빠르게 세는 방법 데이터 마이그레이션 작업을 하다보면,결과 확인을 위해 데이터의 개수를 확인한다. 윈도우에서는 파일 개수를 확인할 때, 와 같이, 폴더의 속성 정보에서 확인한다. 하지만.. 파일의 개수가 기하급수적으로 커지는 경우에는 윈도우 탐색기로 크기와 개수를 산정하는데 많은 시간이 소요된다. 그런 경우에는 아래 방법들을 적용해보도록 한다.1. Robocopy 활용장점: 초고속 처리, 시스템 리소스 최소화 [powershell]$dir = "[폴더 경로]"robocopy /L /NFL /NDL $dir "[목적지 경로]" /E /BYTES/L: 실제 복사 없이 리스트만 출력/NFL: 파일명 생략NDL: 디렉터리명 생략실행 후 출력된 Total 행의 Copied 값 확인[목적지 경로] 는 작업 과정을 위해 임시로 만.. 2025. 3. 25. [C#/Winform] Timer 클래스를 사용하는 방법 주기적으로 특정 행위를 반복하는 배치 프로그램이나 에이전트 프로그램을 구현할 때,.NET의 Timer 클래스를 사용하면 편리하게 구현할 수 있다. 하지만 .NET에는 세 가지 Timer 클래스가 존재한다.System.Windows.Forms.TimerSystem.Timers.TimerSystem.Threading.Timer각각 사용 방법도 다르고, 동작하는 개념의 차이도 있다. 만약 Timer 객체를 사용하고자 할 때는, 동작 원리를 이해하고 상황에 맞추어 선택할 수 있어야 한다.1. Timer 클래스의 종류 및 동작 원리1.1 System.Windows.Forms.Timer WinForms UI 스레드에서 실행되는 타이머로, 주로 UI 업데이트가 필요한 경우 사용UI스레드에서 실행되므로, UI 컨트롤을.. 2025. 3. 25. [Codec 분석] Signature Code 오래된 스토리지의 음원 파일을 새로운 스토리지로의 데이터 이전 요청을 받았다.그리고 각 코덱별로 분류를 해달라고 한다.어떤 파일들이 들어있나.. 확인해보니 이게 뭐야..pcm, mp3, g723.1(ms), g729(sipro), gsm 온갖 짬뽕이네!이걸 어떻게 분류하지?? 오디오 파일은 Header 정보에 Codec에 대한 고유 코드 (Signature Code)를 가지고 있다. 우리는 Signature Code 정보를 활용하여 각 음원 형태 별로 대응 방안을 다르게 구성할 수 있다. 그 방법을 자세하게 알아보자.1. 시그니처 코드란?시그니처 코드(Signature Code)는 특정 오디오 또는 비디오 코덱이 파일 내에서 사용되었는지를 식별하는 고유한 값이다. WAV, MP3, AAC와 같은 다양한.. 2025. 3. 4. [멀티미디어 분석 툴] ffprobe.exe [멀티미디어 변환 툴] FFmpeg.exe 에 이어, ffprobe.exe 를 소개한다. (설치방법은 위 링크를 참조하도록 한다.) ffprobe.exe란?ffprobe는 FFmpeg 패키지에 포함된 강력한 멀티미디어 분석 도구로, 오디오 및 비디오 파일의 메타데이터, 코덱 정보, 스트림 구성 등을 확인하는 데 사용된다. 특히 GUI 없이도 간단한 명령어만으로 다양한 정보를 추출할 수 있어 자동화 시스템에 유용하다.기본 사용법ffprobe를 실행하는 가장 간단한 방법은 다음과 같다.ffprobe 파일경로이렇게 실행하면 파일의 기본적인 메타데이터와 스트림 정보를 확인할 수 있다. 하지만 너무 많은 정보가 출력되므로, 원하는 데이터만 필터링하는 것이 중요하다.자주 사용하는 명령어 및 활용법1. 오디오 및 .. 2025. 3. 4. 이전 1 2 3 다음
