AWS Lake Formation

AWS Lake Formation은 **데이터 레이크(Data Lake)**를 쉽고 안전하게 구축하고 관리할 수 있도록 해주는 완전 관리형 서비스입니다.
즉, S3 기반의 대용량 데이터 저장소를 구성하고, 통합된 보안 및 권한 관리, 카탈로그, 검색, 정제 등을 제공하는 데이터 통합 플랫폼입니다.

---

🔹 Lake Formation의 핵심 목적

단계	설명
수집 (Ingest)	다양한 소스에서 데이터를 가져와 S3에 저장
카탈로그화 (Catalog)	데이터를 테이블 형식으로 정의 (Glue Data Catalog 사용)
보안 & 권한 관리	데이터 테이블/컬럼 단위로 접근 제어 (IAM과 별도)
정제 & 변환 (ETL)	데이터를 정리 및 포맷 변경 (Glue, Athena, EMR과 연계)
쿼리 & 분석	Athena, Redshift Spectrum, EMR, SageMaker 등에서 분석 가능

📌 즉, Lake Formation은 데이터 레이크를 더 쉽고 안전하게 만들고 사용하는 종합 관리 플랫폼입니다.

---

🔹 Lake Formation 구성 요소

구성	역할
Data Lake Location	S3 버킷을 데이터 레이크의 저장소로 지정
Glue Data Catalog	테이블과 스키마를 메타데이터로 관리
Permissions (LF 권한 모델)	리소스 기반 권한 제어 (열 단위 권한까지 가능)
Data Ingestion & Crawlers	Glue Crawler 또는 Blueprint로 외부 데이터 수집
Data Filtering & Row-level security	행/열 단위 접근 제어 기능 지원 (Athena 등에서 적용됨)
Data Governance Dashboard	누가 언제 어떤 데이터에 접근했는지 감사 기능

---

🔹 Lake Formation과 Glue의 관계

• Lake Formation은 Glue 위에 구축된 상위 서비스입니다.
• Glue Data Catalog를 그대로 사용하지만, 추가로 보안, 권한, 파티셔닝 관리 기능이 강화됨.
• Glue의 ETL, Crawler 기능도 그대로 사용 가능하며, Lake Formation은 데이터 권한 관리 중심입니다.

📌 Glue는 데이터 처리/추출 중심, Lake Formation은 보안 & 거버넌스 중심!

---

🔹 Lake Formation 권한 모델 (LF Tags)

유형	설명
Database/Table/Column-Level 권한	특정 사용자에게 특정 테이블 또는 컬럼만 접근 허용
Row-Level Security	예: country = 'KR' 조건이 있는 사용자에게만 해당 행 제공
LF-Tags 기반 정책	Glue 카탈로그 리소스에 태그를 부여하고, 정책으로 권한을 설정

📌 IAM 정책보다 더 세밀하고 데이터 중심적인 권한 제어가 가능함!

---

🔹 Lake Formation 워크플로우 예시

 

[1] RDS, S3, JDBC 등에서 데이터 수집 (Ingest)

[2] Glue Crawler로 메타데이터 생성 (Data Catalog 등록)

[3] 데이터에 접근 권한 설정 (열/행 단위, 사용자별)

[4] Athena 또는 Redshift Spectrum 등에서 SQL로 분석

---

🔹 Lake Formation의 장점

✅ 통합 권한 관리 – IAM 없이도 테이블, 컬럼, 행 단위로 권한 제어
✅ 데이터 보안 강화 – 민감 정보 노출 방지 가능 (예: 주민번호 컬럼 숨기기)
✅ 분석 도구와 통합 – Athena, Redshift, EMR, SageMaker 등과 연동
✅ 감사 로깅(Audit) – 누가 어떤 데이터를 봤는지 추적 가능 (CloudTrail 기반)
✅ 서버리스로 빠르게 구성 가능 – 기존 Glue, S3와 연계

---

🔹 Lake Formation vs Glue vs Athena

항목	Lake Formation	Glue	Athena
주요 역할	보안 + 권한 관리 중심 데이터 레이크 구축	ETL, Crawler, Catalog	S3 데이터에 SQL 쿼리 실행
권한 제어	✅ 테이블/컬럼/행 단위 가능	❌ IAM 기반	❌ IAM 기반
데이터 처리	Glue Job 연계	ETL 중심	분석 쿼리 중심
사용자 유형	데이터 관리자, 보안 관리자	데이터 엔지니어	데이터 분석가

---

🚀 시험 대비 핵심 요약

1️⃣ AWS Lake Formation은 S3 기반 데이터 레이크를 쉽게 구축하고 관리할 수 있게 해주는 서비스
2️⃣ Glue Data Catalog 기반으로 메타데이터 관리 (Glue를 포함하고 확장함)
3️⃣ 열/행 단위 보안, 태그 기반 접근 제어, 감사 로그 기능 등 거버넌스 강화
4️⃣ Athena, Redshift Spectrum 등과 연동하여 데이터 분석 가능
5️⃣ 민감한 데이터 관리 및 기업 내 데이터 접근 통제를 위한 핵심 서비스

---

💡 즉, Lake Formation은 “보안 + 거버넌스 + 통합 분석”이 필요한 S3 기반 데이터 레이크 환경을 안전하고 체계적으로 운영할 수 있게 해주는 AWS 핵심 서비스입니다! 🧠🔐🚀