문제 해결

3개다 오케스트레이션 도구라 정리가 필요함.항목Apache Airflow (MWAA)Glue WorkflowStep Functions주요 용도복잡한 DAG 기반 데이터 파이프라인 관리Glue Job 중심의 순차 흐름 제어다양한 AWS 서비스 연결 및 상태 기반 흐름대표 서비스Managed Workflows for Apache Airflow (MWAA)AWS Glue WorkflowAWS Step FunctionsUI 편의성강력한 웹 UI (DAG 시각화, 로그 확인 용이)AWS 콘솔 UI에서 단순한 플로우 확인 가능시각적 상태머신 에디터지원 트리거일정, 외부 센서, SLA 등 다양트리거 및 의존성 기반 실행Lambda, EventBridge, API Gateway 등 다양한 이벤트 기반 가능주요 대상 서..

둘 다 Spark 기반 분산 데이터 처리 객체AWS Glue Job 내에서 데이터를 읽고, 변환하고, 저장할 때 사용변환 함수(filter, map, select 등) 적용 가능🔷 DynamicFrameGlue에 특화된 구조로, 스키마가 유동적인 데이터나 반정형 데이터(JSON, XML 등) 를 다룰 때 적합특징설명스키마 유연성필드가 다르거나 없는 레코드도 수용 가능자체 메서드resolveChoice(), applyMapping() 등 Glue 전용 API 제공사용 대상Glue Crawler로 생성된 테이블 / JSON 데이터변환 전 처리오류 허용, 필드 누락 자동 처리예시 코드:dynamic_frame = glueContext.create_dynamic_frame.from_catalog(...) dy..