MWAA vs Glue Workflow vs Step Functions

3개다 오케스트레이션 도구라 정리가 필요함.

항목	Apache Airflow (MWAA)	Glue Workflow	Step Functions
주요 용도	복잡한 DAG 기반 데이터 파이프라인 관리	Glue Job 중심의 순차 흐름 제어	다양한 AWS 서비스 연결 및 상태 기반 흐름
대표 서비스	Managed Workflows for Apache Airflow (MWAA)	AWS Glue Workflow	AWS Step Functions
UI 편의성	강력한 웹 UI (DAG 시각화, 로그 확인 용이)	AWS 콘솔 UI에서 단순한 플로우 확인 가능	시각적 상태머신 에디터
지원 트리거	일정, 외부 센서, SLA 등 다양	트리거 및 의존성 기반 실행	Lambda, EventBridge, API Gateway 등 다양한 이벤트 기반 가능
주요 대상 서비스	Glue, Redshift, S3, Athena, PythonOperator 등	Glue Job, Crawler 중심	Lambda, ECS, Batch, Glue, DynamoDB 등 거의 모든 AWS 서비스
표현 방식	Python 코드 (DAG)	콘솔 + JSON 설정	JSON or YAML 정의 (state machine)
기술 난이도	높음 (Python 지식 필수)	낮음 (Glue 사용자에게 친숙)	중간 (구조적 사고 필요)
에러 처리	각 태스크별 Retry, SLA 관리 가능	제한적	Try/Catch, 조건 분기 명확하게 가능
사용 권장 시점	오픈소스 DAG 기반 복잡한 파이프라인 필요할 때	Glue만 사용할 단순 파이프라인	Glue + Redshift + Lambda 등 다중 AWS 서비스 연결 시

---

🎯 시험 출제 포인트 요약

시나리오	정답	이유
Glue Crawler → Glue Job 1 → Job 2 순차 실행	Glue Workflow	Glue 전용이라 설정 간단
S3에 파일 업로드 → Lambda → Glue Job → Redshift → Slack 알림	Step Functions	다양한 서비스 연결, 조건 분기 필요
Glue Job 1 실패 시만 Job 2 실행 / SLA 기준 알림 필요	Airflow (MWAA)	복잡한 조건 흐름 + SLA 알림
Athena → Redshift 쿼리 실행 → SageMaker 호출 → 보고서 생성	Step Functions or Airflow	Glue 중심 아님 + 외부 서비스 다양
DAG 기반 반복 처리 파이프라인 운영 중	Airflow	코드 기반 반복 처리 최적화 가능

---

✨ 한 줄 정리 꿀팁

• Glue Workflow → Glue 안에서만 쓰는 간단한 순차 흐름
• Step Functions → AWS 서비스 전반을 연결하는 상태 기반 처리
• Airflow (MWAA) → DAG 구조가 복잡하고 조건/스케줄/알림까지 다 세밀하게 조정할 때