'converter' (1)

Kafka - 10. kafka connect

Kafka Connect — 코드 없이 DB·파일과 Kafka 사이 데이터를 옮기다"DB의 주문 데이터를 Kafka로 옮기고 싶다." producer 코드를 직접 짤 수도 있지만 — 재시작 시 어디까지 읽었는지, 병렬로 어떻게 나눌지, 장애 시 복구를 다 손봐야 한다. Kafka Connect는 이 공통 작업을 프레임워크가 대신 처리한다. 커넥터 설정 하나로 데이터 파이프라인이 완성된다."코드를 안 짜면 뭘 어떻게 설정하지?"가 처음 드는 의문이다. 답은 connector 설정 파일(JSON/properties) + REST API다. 어디서 어디로, 무엇을 옮길지를 선언적으로 정의하면 Connect가 나머지(병렬 분할, 장애 복구, offset 관리)를 알아서 한다. 설정 파일 구조, REST API로..