AWS OpenSearch

Amazon OpenSearch Service는 오픈소스 OpenSearch(=구 Elasticsearch) 기반의 완전관리형 검색 및 분석 서비스입니다.
즉, 텍스트 검색, 로그 분석, 보안 이벤트 모니터링, 실시간 대시보드 구축 등을 손쉽게 할 수 있도록 지원하는 AWS 서비스예요.

🔍 과거에는 Amazon Elasticsearch Service였지만, Elasticsearch 라이선스 변경 이후 OpenSearch로 리브랜딩되었습니다.

---

🔹 OpenSearch의 주요 기능

기능설명

기능	설명
전체 텍스트 검색	문자열, 문서, 로그 등에서 빠른 키워드 검색 가능 (Lucene 기반)
로그 및 메트릭 분석	CloudWatch, VPC Flow Logs, ELB Logs 등을 실시간 분석
Kibana 대체 시각화	내장된 OpenSearch Dashboards를 사용해 시각화
알림 기능	이상 탐지 및 트리거 기반 경고(Alert) 설정 가능
머신러닝 이상 탐지	비정상 로그 패턴 자동 감지 (ML 기반 Anomaly Detection)

📌 즉, OpenSearch는 검색 + 로그 분석 + 시각화 + 알림까지 가능한 통합 검색 플랫폼!

---

🔹 OpenSearch 사용 흐름

[1] 로그 수집 (CloudWatch, S3, Kinesis, Lambda 등)

[2] OpenSearch로 전송 (Logstash, Firehose 등 이용)

[3] 색인(Index)에 저장 (분석 가능한 구조로)

[4] 검색 or 시각화 (OpenSearch Dashboards 사용)

[5] 이상 탐지 & 알림 설정

---

🔹 OpenSearch 주요 구성 요소

구성 요소	설명
Index (색인)	데이터 저장 단위 (DB의 테이블 개념)
Document	JSON 형식의 단일 데이터 객체 (행)
Shard & Replica	색인을 물리적으로 나누어 저장 (확장성과 복제 제공)
Query DSL	JSON 기반의 검색 쿼리 언어
Dashboards	시각화 도구 (기존 Kibana와 유사)

---

🔹 OpenSearch 연결 가능한 소스 예시

소스	연동 방식
S3 로그	Kinesis Firehose → OpenSearch로 전달
CloudWatch Logs	Subscription → Lambda → OpenSearch
VPC Flow Logs / ELB Logs	Athena, Firehose, Lambda 경유 가능
Custom App Logs	Logstash, Fluentd, Beats, Filebeat 사용 가능

---

🔹 OpenSearch vs Elasticsearch

항목	OpenSearch	Elasticsearch(상업용)
라이선스	Apache 2.0 (오픈소스)	SSPL (상업용 라이선스)
시각화 도구	OpenSearch Dashboards	Kibana
AWS에서 지원 여부	✅ 예	❌ (더 이상 공식 지원 안 함)
호환성	Elasticsearch 7.10 이전 버전과 호환	최신 기능은 독립적

📌 즉, AWS에서 Elasticsearch를 계속 사용하려면 OpenSearch로 이전하는 것이 권장됨!

---

🔹 OpenSearch 사용 사례

✅ 애플리케이션 로그 분석 및 검색
✅ 보안 로그 분석 (GuardDuty, VPC Flow Logs)
✅ DevOps 모니터링 (CI/CD 파이프라인 상태 추적)
✅ 이커머스 검색 엔진 구축 (상품 검색)
✅ 이상 탐지 시스템 (비정상 트래픽 탐지)

---

🔹 OpenSearch vs CloudWatch vs Athena

항목	OpenSearch	CloudWatch	Athena
주요 목적	실시간 검색 & 분석	모니터링 & 로그 수집	정적 데이터 분석 (SQL)
쿼리 속도	빠름 (색인 기반)	느림	중간 (S3 기반 분석)
시각화	✅ 강력한 대시보드	🔸 제한적	✅ QuickSight 필요
로그 저장 비용	💲 상대적으로 높음	💲 저렴	💲 중간

📌 즉, 실시간 분석 → OpenSearch, 시스템 로그 저장 → CloudWatch, 정기 리포트 분석 → Athena

---

🔹 비용 포인트

• 인스턴스 시간당 요금 + 스토리지 요금
• 고가용성(다중 AZ), Replica 수 설정에 따라 비용 증가
• 데이터 전송 및 알림 기능 추가 시 요금 추가 발생

---

🚀 시험 & 실무 대비 핵심 요약

1️⃣ Amazon OpenSearch는 완전관리형 검색 + 분석 + 시각화 플랫폼
2️⃣ 로그, 보안, 운영 데이터를 실시간으로 색인 & 분석 & 대시보드 제공
3️⃣ OpenSearch Dashboards를 통해 Kibana처럼 시각화 가능
4️⃣ CloudWatch, Kinesis, S3, Firehose 등 다양한 로그 소스와 연동 가능
5️⃣ 이상 탐지(Anomaly Detection) 및 경고 기능도 기본 제공
6️⃣ Elasticsearch 7.10 이하 버전과 호환되며, AWS는 OpenSearch를 기본 지원 중

---

💡 즉, Amazon OpenSearch는 "검색 + 로그 분석 + 시각화 + 경고"를 하나의 플랫폼에서 해결할 수 있는 강력한 통합 서비스입니다! 🔍📊✨