문제 해결

이거만 알면 Glue 관련 내용은 마스터~근데 실습 해보는게 좋을거에요.. 막상 해보면 어려움..근데 돈 드니.. 조심스럽게... ✅ 1. Glue Crawler – 데이터 스키마 자동 추출기능📥 S3, RDS, JDBC 등 소스에서 메타데이터 추출🔍 파일 포맷 감지 + 파티셔닝 추론🔁 UPDATE_IN_DATABASE, LOG, DEPRECATE 옵션으로 테이블 변경 감지📚 결과는 Glue Data Catalog에 테이블로 저장됨✅ 2. Glue Data Catalog – 메타데이터 저장소기능모든 데이터의 스키마/위치 정보 저장Athena, Redshift Spectrum, EMR, Glue Job이 공유함Lake Formation과 연동 시 권한 관리의 기준점 역할Crawler로 자동 등록 /..

AWS Glue는 ETL(Extract, Transform, Load) 작업을 자동화하는 서버리스 데이터 통합 서비스입니다.즉, 데이터를 수집하고 정제하여 분석이 가능한 형태로 변환하고, 저장하거나 전송하는 모든 과정을 코드 없이 또는 코드 기반으로 처리할 수 있도록 도와주는 서비스입니다.🔹 Glue의 핵심 목적단계설명Extract (추출)다양한 데이터 소스에서 데이터를 가져옴 (S3, RDS, JDBC 등)Transform (변환)데이터를 정리, 가공, 정제 (예: 날짜 포맷 통일, 불필요한 컬럼 제거 등)Load (적재)변환된 데이터를 S3, Redshift, RDS, 데이터 레이크 등에 저장🔹 Glue의 주요 구성 요소구성 요소설명Glue Data Catalog전체 데이터의 **메타데이터(테이블..