문제 해결

🧠 Kafka란?대규모 실시간 데이터 스트리밍을 위한 오픈소스 분산 메시지 브로커Producer → Kafka → Consumer 구조초당 수천 ~ 수백만 건의 이벤트 처리 가능금융/게임/로깅/클릭스트림 분석에서 자주 씀🏷️ Amazon MSK (Managed Streaming for Kafka)Kafka를 AWS에서 완전관리형 서비스로 제공한 것서버 설치/운영 없이 Kafka 클러스터 생성 가능Kinesis처럼 쓰지만 Kafka API 호환주로 Kafka를 이미 쓰던 기업이 AWS로 이전할 때 사용🆚 Kafka(MSK) vs Kinesis 차이 항목MSKKinesis운영 방식오픈소스 기반, AWS에서 관리완전 AWS 네이티브시작 속도복잡, 클러스터 설정 필요간단, 콘솔 몇 번 클릭기능성능 세밀 제..

둘 다 Spark 기반 분산 데이터 처리 객체AWS Glue Job 내에서 데이터를 읽고, 변환하고, 저장할 때 사용변환 함수(filter, map, select 등) 적용 가능🔷 DynamicFrameGlue에 특화된 구조로, 스키마가 유동적인 데이터나 반정형 데이터(JSON, XML 등) 를 다룰 때 적합특징설명스키마 유연성필드가 다르거나 없는 레코드도 수용 가능자체 메서드resolveChoice(), applyMapping() 등 Glue 전용 API 제공사용 대상Glue Crawler로 생성된 테이블 / JSON 데이터변환 전 처리오류 허용, 필드 누락 자동 처리예시 코드:dynamic_frame = glueContext.create_dynamic_frame.from_catalog(...) dy..