문제 해결

둘 다 Spark 기반 분산 데이터 처리 객체AWS Glue Job 내에서 데이터를 읽고, 변환하고, 저장할 때 사용변환 함수(filter, map, select 등) 적용 가능🔷 DynamicFrameGlue에 특화된 구조로, 스키마가 유동적인 데이터나 반정형 데이터(JSON, XML 등) 를 다룰 때 적합특징설명스키마 유연성필드가 다르거나 없는 레코드도 수용 가능자체 메서드resolveChoice(), applyMapping() 등 Glue 전용 API 제공사용 대상Glue Crawler로 생성된 테이블 / JSON 데이터변환 전 처리오류 허용, 필드 누락 자동 처리예시 코드:dynamic_frame = glueContext.create_dynamic_frame.from_catalog(...) dy..

1. Control Tower란?"조직 전체의 계정 생성을 자동화하고, **보안/거버넌스 정책(SCP 포함)**을 쉽게 관리할 수 있게 도와주는 AWS 관리형 서비스" 구성 요소설명Landing ZoneControl Tower가 설정하는 표준 조직 구조Account Factory자동화된 계정 생성 도구 (Service Catalog 기반)Guardrails사전 정의된 SCP + Config 규칙Audit 계정로그 및 모니터링 전용 계정Log Archive 계정CloudTrail 로그 저장소 역할Management AccountOrganizations 루트 계정🔹 2. 자주 등장하는 시험 포인트주제출제 유형✅ Control Tower가 자동으로 OU, SCP 구성어떤 SCP가 언제 적용되는가?✅ 계정 생..

항목SparkHiveEMRGlueAthenaRedshift정의분산 처리 엔진 (in-memory)MapReduce 기반 SQL 인터페이스AWS의 Hadoop/Spark 클러스터서버리스 ETL (Spark 기반)S3 위 SQL 질의데이터 웨어하우스주요 기능빠른 데이터 처리, ML 지원SQL on HadoopSpark/Hive 등 실행크롤링, 데이터 변환Ad-hoc SQL 질의고속 분석, BI서버 관리❌ (직접 관리)❌✅ (AWS 관리)✅ (완전 서버리스)✅✅언어 지원Scala, Python, JavaSQLSpark, Hive, PrestoPython (PySpark)SQLSQL실시간 처리✅ (Spark Streaming)❌✅❌ (배치 위주)❌❌S3 연동보통 수동 설정보통 수동✅ 강력 지원✅ 자동✅ 기본 대..

공부하다 보면 ARN 이 여기저기 나오는데 어디서 나오고 어케 써먹는지 정리합니다. ARN (Amazon Resource Name) 정리항목설명정의AWS 리소스를 고유하게 식별하는 이름형식arn:partition:service:region:account-id:resource-type/resource-name예시arn:aws:iam::123456789012:role/CrossAccountAccessRole사용 예 IAM 정책에서 리소스 지정STS AssumeRole에서 역할 ARN 지정CloudTrail 로그에서 리소스 추적Lambda 실행 역할 설정 시S3 버킷 정책 등에서 Principal 또는 Resource 지정🧠 실전 적용여기서 --role-arn은 계정 B에서 생성한 역할의 ARN계정 A의 사..

🔷 개요여러 AWS 서비스 간 워크플로를 정의하고 실행하는 서버리스 오케스트레이션 서비스각 단계(State)를 정의한 State Machine으로 구성됨🔷 주요 특징항목설명오케스트레이션Lambda, ECS, DynamoDB, SageMaker 등과 단계적으로 연결 가능상태 추적각 단계의 진행 상황을 시각적으로 추적 가능오류 처리재시도, 대체 경로(Fail/Choice 상태) 설정 가능분기 & 병렬 처리조건 분기(Choice), 병렬 실행(Parallel) 지원실행 시간최대 1년 (Express는 수 분, Standard는 장기 실행 지원)이벤트 통합EventBridge로 트리거 가능 (이벤트 중심 아키텍처 구성 가능)🔷 상태(State) 유형상태 유형설명TaskLambda 등 실제 작업 실행Choi..