문제 해결

둘 다 Spark 기반 분산 데이터 처리 객체AWS Glue Job 내에서 데이터를 읽고, 변환하고, 저장할 때 사용변환 함수(filter, map, select 등) 적용 가능🔷 DynamicFrameGlue에 특화된 구조로, 스키마가 유동적인 데이터나 반정형 데이터(JSON, XML 등) 를 다룰 때 적합특징설명스키마 유연성필드가 다르거나 없는 레코드도 수용 가능자체 메서드resolveChoice(), applyMapping() 등 Glue 전용 API 제공사용 대상Glue Crawler로 생성된 테이블 / JSON 데이터변환 전 처리오류 허용, 필드 누락 자동 처리예시 코드:dynamic_frame = glueContext.create_dynamic_frame.from_catalog(...) dy..

1. Control Tower란?"조직 전체의 계정 생성을 자동화하고, **보안/거버넌스 정책(SCP 포함)**을 쉽게 관리할 수 있게 도와주는 AWS 관리형 서비스" 구성 요소설명Landing ZoneControl Tower가 설정하는 표준 조직 구조Account Factory자동화된 계정 생성 도구 (Service Catalog 기반)Guardrails사전 정의된 SCP + Config 규칙Audit 계정로그 및 모니터링 전용 계정Log Archive 계정CloudTrail 로그 저장소 역할Management AccountOrganizations 루트 계정🔹 2. 자주 등장하는 시험 포인트주제출제 유형✅ Control Tower가 자동으로 OU, SCP 구성어떤 SCP가 언제 적용되는가?✅ 계정 생..

항목SparkHiveEMRGlueAthenaRedshift정의분산 처리 엔진 (in-memory)MapReduce 기반 SQL 인터페이스AWS의 Hadoop/Spark 클러스터서버리스 ETL (Spark 기반)S3 위 SQL 질의데이터 웨어하우스주요 기능빠른 데이터 처리, ML 지원SQL on HadoopSpark/Hive 등 실행크롤링, 데이터 변환Ad-hoc SQL 질의고속 분석, BI서버 관리❌ (직접 관리)❌✅ (AWS 관리)✅ (완전 서버리스)✅✅언어 지원Scala, Python, JavaSQLSpark, Hive, PrestoPython (PySpark)SQLSQL실시간 처리✅ (Spark Streaming)❌✅❌ (배치 위주)❌❌S3 연동보통 수동 설정보통 수동✅ 강력 지원✅ 자동✅ 기본 대..

공부하다 보면 ARN 이 여기저기 나오는데 어디서 나오고 어케 써먹는지 정리합니다. ARN (Amazon Resource Name) 정리항목설명정의AWS 리소스를 고유하게 식별하는 이름형식arn:partition:service:region:account-id:resource-type/resource-name예시arn:aws:iam::123456789012:role/CrossAccountAccessRole사용 예 IAM 정책에서 리소스 지정STS AssumeRole에서 역할 ARN 지정CloudTrail 로그에서 리소스 추적Lambda 실행 역할 설정 시S3 버킷 정책 등에서 Principal 또는 Resource 지정🧠 실전 적용여기서 --role-arn은 계정 B에서 생성한 역할의 ARN계정 A의 사..

🔷 개요여러 AWS 서비스 간 워크플로를 정의하고 실행하는 서버리스 오케스트레이션 서비스각 단계(State)를 정의한 State Machine으로 구성됨🔷 주요 특징항목설명오케스트레이션Lambda, ECS, DynamoDB, SageMaker 등과 단계적으로 연결 가능상태 추적각 단계의 진행 상황을 시각적으로 추적 가능오류 처리재시도, 대체 경로(Fail/Choice 상태) 설정 가능분기 & 병렬 처리조건 분기(Choice), 병렬 실행(Parallel) 지원실행 시간최대 1년 (Express는 수 분, Standard는 장기 실행 지원)이벤트 통합EventBridge로 트리거 가능 (이벤트 중심 아키텍처 구성 가능)🔷 상태(State) 유형상태 유형설명TaskLambda 등 실제 작업 실행Choi..

S3 의 대용량 파일을 다운로드 또는 업로드 시 비교되는 두 가지Byte-Range Fetch & Multipart Upload항목Byte-Range FetchMultipart Upload목적객체의 일부만 다운로드객체를 나눠서 업로드작업 방향읽기(Download)쓰기(Upload)사용 예시큰 로그 파일 일부만 보기, 병렬 다운로드100MB 이상 대용량 파일을 빠르고 안정적으로 업로드API 동작 방식HTTP Range 헤더 사용여러 UploadPart 호출 후 Complete병렬 처리가능 (여러 바이트 범위 동시 요청)가능 (여러 파트 병렬 업로드)특징전체 객체를 다운로드하지 않아도 됨네트워크 오류 복원, 성능 향상💡 둘 다 사용할 수 있는 시나리오?예: 대용량 동영상 업로드 → Multipart Upl..

NAT 인스턴스 vs NAT 게이트웨이항목인스턴스게이트웨이관리 편의성❌ 직접 EC2 인스턴스 설정/패치 필요✅ 완전 관리형 (AWS가 관리)고가용성(AZ 단위)❌ 사용자가 수동 구성해야 함✅ 다중 AZ 자동 지원성능(확장성)❌ 네트워크 처리량 제한 (인스턴스에 따라)✅ 초당 수십 Gbps 자동 확장보안 그룹 설정✅ 사용 가능❌ 사용 불가 (NACL만 적용)비용✅ 낮을 수 있음 (소규모 트래픽 시)❌ 비쌈 (시간당 + 데이터 요금)Use Case실험/개발 환경운영/생산 환경에 권장💡 핵심 요약운영환경이라면 → 대부분 NAT 게이트웨이가 정답비용 민감 + 트래픽 적음 + 고가용성 불필요 → NAT 인스턴스 고려 가능

✅ **Elastic Fabric Adapter (EFA)**란?EC2 인스턴스에서 고성능 컴퓨팅(HPC) 및 머신러닝 워크로드에 맞춰초저지연, 고처리량 네트워킹을 제공하는 네트워크 인터페이스야.즉,"슈퍼컴퓨터 수준의 네트워크 성능을 AWS에서 구현하고 싶을 때 쓰는 특수 네트워크 인터페이스"🔍 EFA는 언제 쓰냐?워크로드예시✅ HPC유체역학, 구조 해석, 양자 화학 계산 등✅ 머신러닝 훈련대규모 모델 병렬 학습 (예: GPT 훈련)✅ MPI 기반 앱인스턴스 간 **지연(latency)**이 매우 민감한 병렬 앱🧠 EFA vs ENA (Elastic Network Adapter)항목EFAENA네트워크 처리 성능✅ 더 빠름보통 10–100 Gbps저지연 통신✅ 초저지연중간MPI (Message Pass..

핵심 비교표:Secrets Manager vs Systems Manager Parameter Store vs Systems Manager항목Secrets ManagerParameter StoreSystem Manager📌 목적비밀번호, API 키 등 민감한 "시크릿" 관리구성값/설정 등 일반적인 매개변수 저장인프라 전반을 운영·자동화·관리하는 도구 모음🔐 보안KMS 암호화 + 자동 로테이션 + 접근 제어KMS 암호화 지원 (옵션), 로테이션 ❌IAM 통제 기반, 보안 기능 다양🔁 시크릿 자동 교체✅ 가능 (Lambda로 RDS 등 연동)❌ 직접 구현 필요❌ 해당 없음💲 비용유료 (횟수/시크릿 수 기반)기본은 무료, 고급 파라미터는 유료서비스 자체는 무료 (일부 기능 과금)🔍 사용 예DB 비밀번호..

EC2 Placement Group 3종 비교표항목클러스터 배치파티션 배치스프레드 배치🧠 핵심 목적최고의 성능 (저지연, 고대역폭)장애 도메인 분리 + 대규모 분산 처리최고의 가용성 (호스트 간 완전 분리)🧱 배치 방식인스턴스를 물리적으로 가까운 호스트에 밀집 배치인스턴스를 파티션 단위로 분산각 인스턴스를 서로 다른 호스트에 분산🔄 고가용성❌ 낮음 (AZ 장애 시 전체 다운 위험)✅ 높음 (파티션별 격리)✅ 매우 높음 (인스턴스 간 격리)⚙️ 용도HPC, 기계학습, 저지연 통신Hadoop, Spark, 대용량 데이터 처리중요 서비스 소수 인스턴스 (예: 마스터, 컨트롤 플레인)📊 확장성제한적 (물리 호스트 제약)✅ 수백~수천 개까지 확장 가능제한적 (AZ당 최대 7개 인스턴스)⚠️ 특징네트워크 성..