Kafka or MSK

🧠 Kafka란?

대규모 실시간 데이터 스트리밍을 위한 오픈소스 분산 메시지 브로커

• Producer → Kafka → Consumer 구조
• 초당 수천 ~ 수백만 건의 이벤트 처리 가능
• 금융/게임/로깅/클릭스트림 분석에서 자주 씀

---

🏷️ Amazon MSK (Managed Streaming for Kafka)

Kafka를 AWS에서 완전관리형 서비스로 제공한 것

• 서버 설치/운영 없이 Kafka 클러스터 생성 가능
• Kinesis처럼 쓰지만 Kafka API 호환
• 주로 Kafka를 이미 쓰던 기업이 AWS로 이전할 때 사용

---

🆚 Kafka(MSK) vs Kinesis 차이 

항목	MSK	Kinesis
운영 방식	오픈소스 기반, AWS에서 관리	완전 AWS 네이티브
시작 속도	복잡, 클러스터 설정 필요	간단, 콘솔 몇 번 클릭
기능	성능 세밀 제어, 고급 구성 가능	설정 간단, 통합 용이
복원력	사용자가 직접 구성	자동 복구, 관리형
학습 곡선	높음	낮음

---

📋 시험 출제 포인트

문제 예시	정답
"Kafka를 AWS에서 완전관리형으로 쓰려면?"	✅ MSK
"MSK로 들어온 데이터를 Glue로 처리하려면?"	MSK → Kafka Connector → Glue Streaming Job
"실시간 분석/고속 메시지 처리 파이프라인 설계"	MSK or Kinesis 선택 비교

---

💡 시험용으로 알아야 할 건 이 정도면 충분!

"Kafka = 고성능 메시지 처리 시스템, 오픈소스"
"MSK = Kafka를 AWS에서 관리형으로 제공"
"Kinesis = AWS가 만든 Kafka 대체 서비스, 더 쉽게 씀"