티스토리

문제 해결

검색하기

블로그 홈

문제 해결

travellife.tistory.com/m

애드팍 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

SageMaker 핵심 기능 정리 1. 🔁 SageMaker Endpoints실시간 추론용 API 엔드포인트모델을 실시간으로 사용할 수 있도록 HTTP API 형태로 제공사용자 요청 시 → 모델이 즉시 응답예: 추천 시스템, 챗봇, 실시간 사기 탐지 등운영 흐름학습된 모델을 model.tar.gz로 패키징엔드포인트 생성 (sagemaker.create_endpoint())클라이언트가 REST API로 추론 요청요금 주의: 인스턴스 항상 켜져 있음 → 비용 지속 발생2. 🧠 SageMaker Multi-Model Endpoints (MME)하나의 엔드포인트에 여러 모델을 동적으로 로드해서 사용모델 수가 많을 때, 엔드포인트를 여러 개 띄우지 않아도 됨요청 시 필요한 모델만 로드 → 비용 절감예시 상황사용자별 개인화 모델 (100개 이상.. 공감수 0 댓글수 0 2025. 4. 23.
모델 배포 전략 1. ✅ 실시간 추론 (Real-time Inference)API 호출마다 즉시 응답이 필요한 경우 사용모델을 엔드포인트(endpoint) 로 띄워 놓고 요청이 들어올 때마다 추론✅ 예시고객이 웹사이트에 들어올 때마다 상품 추천챗봇이 대화할 때 즉시 응답실시간 사기 탐지 -> Linear Learner 알고리즘 적용🧠 특징항목설명지연 시간낮아야 함 (low latency)비용항상 인스턴스 떠 있으므로 상대적으로 비쌈AWS 서비스SageMaker Endpoint (Real-time Inference)2. ✅ 배치 추론 (Batch Inference)사전에 예측을 미리 수행해서 저장실시간 성능은 필요 없고, 대량 처리가 필요한 경우✅ 예시하루에 한 번 전체 고객에 대해 등급 예측 후 DB에 저장수만 개의 .. 공감수 0 댓글수 0 2025. 4. 22.
SageMaker 주요 알고리즘 ✅ 알고리즘 요약알고리즘설명사용 용도데이터 유형XGBoost결정 트리 기반 부스팅 모델고성능 분류/회귀 (예: 고객 이탈 예측)CSV, libsvm (수치형 + 범주형)Linear Learner빠르고 효율적인 선형 모델로지스틱 회귀, 선형 회귀 (예: 가격 예측)CSV, libsvmK-Means비지도 클러스터링 모델고객 분류, 세그먼트 나누기수치형 데이터 (정규화 권장)Object Detection이미지 내 객체를 인식하고 위치 추정얼굴 탐지, 차량 번호판 검출 등이미지 + 바운딩 박스 라벨BlazingText빠른 텍스트 임베딩 학습 모델단어 임베딩, 텍스트 분류텍스트 파일 (.txt, .json 등)Seq2Seq시퀀스-투-시퀀스 딥러닝 모델기계 번역, 문장 요약텍스트 시퀀스 쌍 (입력 → 출력)🧠 핵.. 공감수 0 댓글수 0 2025. 4. 21.
자주 쓰는 분석 요소 및 시각화 기법 자주 쓰는 분석 요소항목설명함수요약 통계평균, 중앙값, 분산 등df.describe()결측치 분석누락된 데이터 탐지df.isnull().sum()이상치 탐지비정상적으로 큰/작은 값Boxplot, IQR상관관계변수 간 영향도df.corr(), heatmap분포 시각화히스토그램, 커널 밀도seaborn.histplot()범주형 변수 분석빈도수, 비율df['col'].value_counts() 시각화 기법유형목적도구Boxplot이상치 탐지sns.boxplot()Histogram분포 확인sns.histplot()Heatmap상관관계 시각화sns.heatmap()Pairplot변수 간 관계 총괄sns.pairplot() 공감수 0 댓글수 0 2025. 4. 21.
Transformer ✅ 1. Transformer란?문장 같은 시퀀스 데이터를 처리하기 위한 딥러닝 모델 구조.**"한 번에 전체 문맥을 보고 이해"**하는 능력이 있음.✅ 2. 핵심 아이디어: Self-Attention“문장 안의 단어들이 서로에게 얼마나 집중해야 하는지 스스로 계산한다.”예:The cat sat on the mat.cat이 sat과 mat에 얼마나 관련 있는지 스스로 판단🧠 이게 Transformer가 문맥을 동시에, 병렬로 처리하게 해주는 핵심✅ 3. 구조 구성요소 요약🔹 (1) Input Embedding단어를 숫자 벡터로 변환위치정보도 함께 더함 → Positional Encoding🔹 (2) Self-Attention Layer각 단어가 다른 단어에 얼마나 집중할지 계산Query, Key, .. 공감수 0 댓글수 0 2025. 4. 21.
BERT BERT = Bidirectional Encoder Representations from Transformers한 문장의 의미를 양방향으로 이해하는 딥러닝 기반 모델✅ 1. 뭐가 특별한가?과거 모델(RNN, LSTM 등)은 문장을 왼쪽 → 오른쪽 방향으로만 이해함BERT는 양방향(Bidirectional) → 단어의 앞뒤 문맥을 동시에 고려함예:"He went to the bank to deposit money."bank은 앞뒤 문맥이 있어야 **“금융기관”**인지 **“강둑”**인지 판단 가능→ BERT는 이걸 잘 구분함✅ 2. 사전학습(Pretraining) + 파인튜닝(Finetuning)단계설명Pretraining대규모 Wikipedia 등으로 미리 언어 이해 학습Fine-tuning구체적인 작업.. 공감수 1 댓글수 1 2025. 4. 21.
Hugging Face Transformers Hugging Face Transformers➡ HuggingFace Estimator, Pretrained Model, NLP 추론에 사용🔍 특징자연어 처리(NLP) 모델에 특화된 프레임워크GPT, BERT, T5, DistilBERT 등 사전학습(pretrained) 모델 다수 포함텍스트 분류, 요약, 번역, 질의응답 등 쉽게 구현 가능📦 주요 모듈모듈설명transformers모델 로딩, 토크나이저 등datasets공개 NLP 데이터셋 불러오기pipeline()텍스트 분류, 감정 분석 등 고수준 API✅ SageMaker에서의 활용HuggingFace Estimator로 학습HuggingFaceModel로 배포사전학습 모델 그대로 가져다 fine-tuning 가능 공감수 0 댓글수 0 2025. 4. 21.
PyTorch PyTorch➡ PyTorch Estimator, Script Mode, TorchServe, PyTorchProcessor 등에서 사용🔍 특징Facebook에서 개발한 딥러닝 프레임워크TensorFlow보다 직관적이고 유연한 코드 구조로 유명연구자와 개발자 모두 선호딥러닝 기반 이미지, 텍스트, 오디오 처리에 강함📦 주요 개념개념설명torch.nn신경망 모듈 구성torch.utils.data데이터셋 로딩/변환autograd자동 미분 기능GPU 지원.to(device)로 간단하게 GPU 사용 가능✅ SageMaker에서의 활용PyTorch Estimator 사용하여 모델 학습 가능inference script 작성 시 model_fn, input_fn, predict_fn, output_fn 구성Sc.. 공감수 0 댓글수 0 2025. 4. 21.
TensorFlow TensorFlow➡ TensorFlowProcessor, TensorFlow Estimator, Script Mode 등에 사용🔍 특징Google에서 만든 딥러닝 프레임워크이미지, 음성, 자연어 처리 등 비정형 데이터에 강력함CNN, RNN, DNN 등 고급 신경망 구성 가능📦 주요 기능개념설명tf.kerasTensorFlow의 고수준 API (모델 쉽게 작성)tf.data데이터 파이프라인 구성tf.function함수 최적화GPU/TPU 지원대규모 학습 가속✅ SageMaker에서의 역할TensorFlowProcessor로 전처리/후처리TensorFlow Estimator로 학습특히 CNN 기반 이미지 분류/탐지 실습에 많이 등장 공감수 0 댓글수 0 2025. 4. 21.
XGBoost XGBoost➡ XGBoostProcessor, XGBoost Estimator 등에 사용🔍 특징결정 트리 기반의 부스팅 알고리즘Kaggle 우승자들이 많이 쓰는 성능 좋은 알고리즘범주형/수치형 데이터에 강함대규모 데이터셋에도 잘 작동📦 주요 기능개념설명Boosting약한 학습기(트리)를 여러 개 조합해 강한 예측기 생성파라미터eta, max_depth, subsample, objective 등입력 형식csv, libsvm, Parquet 등 지원✅ SageMaker에서의 역할XGBoostProcessor로 전처리 가능 (libsvm 등)XGBoost Estimator로 학습/튜닝 가능 (초고속 + 내장 지원) 공감수 0 댓글수 0 2025. 4. 21.
Scikit-learn (SKLearn) Scikit-learn (SKLearn)➡ SKLearnProcessor, SKLearn Estimator 등에 사용🔍 특징Python 기반의 가장 널리 쓰이는 ML 라이브러리간단한 전처리 + 모델 학습에 특화분류, 회귀, 클러스터링, 전처리 기능 다 있음📦 주요 모듈기능함수데이터 분할train_test_split()전처리StandardScaler(), OneHotEncoder()분류 모델LogisticRegression(), RandomForestClassifier()회귀 모델LinearRegression()✅ SageMaker에서의 역할전처리용으로는 SKLearnProcessor학습용으로는 SKLearn Estimator 사용Python 스크립트로 빠르게 ML 파이프라인 구성 가능 공감수 0 댓글수 0 2025. 4. 21.
MWAA vs Glue Workflow vs Step Functions 3개다 오케스트레이션 도구라 정리가 필요함.항목Apache Airflow (MWAA)Glue WorkflowStep Functions주요 용도복잡한 DAG 기반 데이터 파이프라인 관리Glue Job 중심의 순차 흐름 제어다양한 AWS 서비스 연결 및 상태 기반 흐름대표 서비스Managed Workflows for Apache Airflow (MWAA)AWS Glue WorkflowAWS Step FunctionsUI 편의성강력한 웹 UI (DAG 시각화, 로그 확인 용이)AWS 콘솔 UI에서 단순한 플로우 확인 가능시각적 상태머신 에디터지원 트리거일정, 외부 센서, SLA 등 다양트리거 및 의존성 기반 실행Lambda, EventBridge, API Gateway 등 다양한 이벤트 기반 가능주요 대상 서.. 공감수 1 댓글수 1 2025. 4. 12.
DB 용어 정리 ✅ 용어 핵심 정리 용어의미예시Time Travel특정 시점의 데이터 상태로 "돌아가서" 조회할 수 있는 기능"2024년 3월 10일 기준으로 테이블을 조회하라"ACID 트랜잭션데이터의 일관성과 신뢰성을 보장하는 트랜잭션 속성 (Atomicity, Consistency, Isolation, Durability)동시에 여러 작업이 있어도 충돌 없이 완전하게 처리됨Schema Evolution기존 테이블에 새로운 컬럼을 추가하거나 제거해도 쿼리가 작동하도록 지원하는 기능테이블에 new_column 추가해도 기존 쿼리 문제 없음CDC (Change Data Capture)변경된 데이터만 감지해서 가져오는 기능 (Insert/Update/Delete 감지)이전에 없던 신규 행만 가져오거나, 업데이트된 데이터만 .. 공감수 0 댓글수 0 2025. 4. 12.
Lambda 서비스 활용 ✅ Lambda의 각 서비스별 활용 요약 (Glue, Redshift, Kinesis 중심)서비스활용 시점사용 목적출제 포인트Glue전/후처리, Job 트리거워크플로우 제어, 전처리 로직Glue Workflow or Step Functions 내 연결Redshift쿼리 실행 or 후처리Data API 호출, ETL 후 알림Data API를 통해 SQL 실행, Slack 알림Kinesis실시간 이벤트 처리스트림 데이터 필터링 / 분기Stream → Lambda → S3 or SNSS3Trigger파일 업로드 시 자동 실행S3 → Lambda → Glue Job or AlertStep Functions상태 전이 제어AWS 서비스 연결 or 외부 호출Glue + Redshift + Slack 연결EventBr.. 공감수 0 댓글수 0 2025. 4. 12.
Apache 기반 핵심 기술 요약 ★★★★★ DEA 시험에서 30% 이상 언급 된다고 보면 됩니다.도구설명서비스Apache Spark분산 데이터 처리 엔진AWS Glue (Spark 기반)Apache HiveSQL 기반 데이터 웨어하우스AWS Glue, EMRApache HudiIncremental data ingestion (CDC 처리)EMR, Glue, Lake FormationApache Iceberg테이블 포맷, ACID 지원, Time travelAthena, Glue, Redshift SpectrumApache Parquet열 지향 포맷, 성능 우수Glue, Athena, Redshift SpectrumApache Kafka스트리밍 플랫폼MSK (Managed Kafka)Apache Flink실시간 스트림 분석 엔진Kinesis Dat.. 공감수 0 댓글수 0 2025. 4. 11.
Redshift 해당 포스트는 DEA 용 정리입니다.SAA, SAP 에서는 이렇게 자세히 요구하지 않습니다. 🔹 1. Redshift 개요항목설명유형완전관리형 MPP (Massively Parallel Processing) 기반 데이터 웨어하우스목적페타바이트급 데이터 분석 / OLAP 처리를 빠르게아키텍처Leader Node + Compute Node 구조비용컴퓨트 기준 (on-demand or RA3 + Redshift Serverless)🔹 2. Redshift의 주요 구성 요소구성 요소설명Leader NodeSQL 파싱, 실행 계획 생성, 노드 간 작업 분배Compute Node실제 데이터 저장 및 쿼리 처리Node TypeRA3 (스토리지 분리형), DC2 (스토리지 결합형)SpectrumS3의 외부 데이터를.. 공감수 0 댓글수 0 2025. 4. 11.
AWS Glue DataBrew 코드 없이 데이터 준비(클렌징, 변환, 분석) 를 할 수 있는GUI 기반 데이터 프로파일링 & 정제 도구✅ 핵심 기능 요약항목설명🧼 데이터 정제 (Data Cleansing)null 제거, 이상치 제거, 포맷 통일 등🔁 데이터 변환 (Transform)필드 스플릿, 병합, 필터링, 포맷 변경📊 프로파일링각 컬럼의 null 비율, 유일값 수, 패턴 등 시각화🔍 정규표현식 기반 필터링특정 컬럼명 or 값 기반으로 컬럼 선택, 값 필터 가능🧪 150개 이상의 변환 템플릿 제공 💥 GUI 기반 워크플로우클릭 몇 번으로 전체 흐름 설계 가능🔄 출력Parquet, CSV 등으로 S3에 저장🧑‍💻 개발 지식 없이도 가능SQL, PySpark 몰라도 ETL 구축 가능💡 DataBrew이 Glue Jo.. 공감수 0 댓글수 0 2025. 4. 11.
Glue 이거만 알면 Glue 관련 내용은 마스터~근데 실습 해보는게 좋을거에요.. 막상 해보면 어려움..근데 돈 드니.. 조심스럽게... ✅ 1. Glue Crawler – 데이터 스키마 자동 추출기능📥 S3, RDS, JDBC 등 소스에서 메타데이터 추출🔍 파일 포맷 감지 + 파티셔닝 추론🔁 UPDATE_IN_DATABASE, LOG, DEPRECATE 옵션으로 테이블 변경 감지📚 결과는 Glue Data Catalog에 테이블로 저장됨✅ 2. Glue Data Catalog – 메타데이터 저장소기능모든 데이터의 스키마/위치 정보 저장Athena, Redshift Spectrum, EMR, Glue Job이 공유함Lake Formation과 연동 시 권한 관리의 기준점 역할Crawler로 자동 등록 /.. 공감수 0 댓글수 0 2025. 4. 11.
Redshift RA3 Redshift RA3란?Redshift 클러스터의 최신 세대 노드 타입기존 DC2나 DS2와는 다르게,컴퓨팅과 스토리지를 분리해서 확장 가능하게 설계됨✅ RA3의 핵심 특징항목설명🧠 스토리지 & 컴퓨트 분리스토리지는 Amazon Redshift Managed Storage (RMS) 로 관리됨 → 클러스터 크기에 상관없이 TB~PB 저장 가능📈 동적 스토리지 계층화자주 쓰는 데이터는 로컬 SSD, 덜 쓰는 건 자동으로 S3 기반 RMS로 이동🤝 데이터 공유 기능RA3에서만 가능 — 다른 계정이나 클러스터와 쿼리 가능한 형태로 테이블 공유 가능💸 비용 효율스토리지는 사용한 만큼 과금 (스토리지 따로), 컴퓨트 리소스는 유연하게 늘리고 줄일 수 있음🔄 쿼리 캐시 최적화 + 자동 진단쿼리 결과 재사.. 공감수 0 댓글수 0 2025. 4. 11.
Kafka or MSK 🧠 Kafka란?대규모 실시간 데이터 스트리밍을 위한 오픈소스 분산 메시지 브로커Producer → Kafka → Consumer 구조초당 수천 ~ 수백만 건의 이벤트 처리 가능금융/게임/로깅/클릭스트림 분석에서 자주 씀🏷️ Amazon MSK (Managed Streaming for Kafka)Kafka를 AWS에서 완전관리형 서비스로 제공한 것서버 설치/운영 없이 Kafka 클러스터 생성 가능Kinesis처럼 쓰지만 Kafka API 호환주로 Kafka를 이미 쓰던 기업이 AWS로 이전할 때 사용🆚 Kafka(MSK) vs Kinesis 차이 항목MSKKinesis운영 방식오픈소스 기반, AWS에서 관리완전 AWS 네이티브시작 속도복잡, 클러스터 설정 필요간단, 콘솔 몇 번 클릭기능성능 세밀 제.. 공감수 0 댓글수 0 2025. 4. 10.
AWS Glue: DynamicFrame vs DataFrame 둘 다 Spark 기반 분산 데이터 처리 객체AWS Glue Job 내에서 데이터를 읽고, 변환하고, 저장할 때 사용변환 함수(filter, map, select 등) 적용 가능🔷 DynamicFrameGlue에 특화된 구조로, 스키마가 유동적인 데이터나 반정형 데이터(JSON, XML 등) 를 다룰 때 적합특징설명스키마 유연성필드가 다르거나 없는 레코드도 수용 가능자체 메서드resolveChoice(), applyMapping() 등 Glue 전용 API 제공사용 대상Glue Crawler로 생성된 테이블 / JSON 데이터변환 전 처리오류 허용, 필드 누락 자동 처리예시 코드:dynamic_frame = glueContext.create_dynamic_frame.from_catalog(...) dy.. 공감수 0 댓글수 0 2025. 4. 10.
AWS Control Tower 1. Control Tower란?"조직 전체의 계정 생성을 자동화하고, **보안/거버넌스 정책(SCP 포함)**을 쉽게 관리할 수 있게 도와주는 AWS 관리형 서비스" 구성 요소설명Landing ZoneControl Tower가 설정하는 표준 조직 구조Account Factory자동화된 계정 생성 도구 (Service Catalog 기반)Guardrails사전 정의된 SCP + Config 규칙Audit 계정로그 및 모니터링 전용 계정Log Archive 계정CloudTrail 로그 저장소 역할Management AccountOrganizations 루트 계정🔹 2. 자주 등장하는 시험 포인트주제출제 유형✅ Control Tower가 자동으로 OU, SCP 구성어떤 SCP가 언제 적용되는가?✅ 계정 생.. 공감수 1 댓글수 1 2025. 4. 7.
AWS 데이터 처리 도구 비교표 항목SparkHiveEMRGlueAthenaRedshift정의분산 처리 엔진 (in-memory)MapReduce 기반 SQL 인터페이스AWS의 Hadoop/Spark 클러스터서버리스 ETL (Spark 기반)S3 위 SQL 질의데이터 웨어하우스주요 기능빠른 데이터 처리, ML 지원SQL on HadoopSpark/Hive 등 실행크롤링, 데이터 변환Ad-hoc SQL 질의고속 분석, BI서버 관리❌ (직접 관리)❌✅ (AWS 관리)✅ (완전 서버리스)✅✅언어 지원Scala, Python, JavaSQLSpark, Hive, PrestoPython (PySpark)SQLSQL실시간 처리✅ (Spark Streaming)❌✅❌ (배치 위주)❌❌S3 연동보통 수동 설정보통 수동✅ 강력 지원✅ 자동✅ 기본 대.. 공감수 0 댓글수 0 2025. 4. 5.
ARN (AWS Resource Name) 공부하다 보면 ARN 이 여기저기 나오는데 어디서 나오고 어케 써먹는지 정리합니다. ARN (Amazon Resource Name) 정리항목설명정의AWS 리소스를 고유하게 식별하는 이름형식arn:partition:service:region:account-id:resource-type/resource-name예시arn:aws:iam::123456789012:role/CrossAccountAccessRole사용 예 IAM 정책에서 리소스 지정STS AssumeRole에서 역할 ARN 지정CloudTrail 로그에서 리소스 추적Lambda 실행 역할 설정 시S3 버킷 정책 등에서 Principal 또는 Resource 지정🧠 실전 적용여기서 --role-arn은 계정 B에서 생성한 역할의 ARN계정 A의 사.. 공감수 0 댓글수 0 2025. 4. 1.
AWS Step Functions 🔷 개요여러 AWS 서비스 간 워크플로를 정의하고 실행하는 서버리스 오케스트레이션 서비스각 단계(State)를 정의한 State Machine으로 구성됨🔷 주요 특징항목설명오케스트레이션Lambda, ECS, DynamoDB, SageMaker 등과 단계적으로 연결 가능상태 추적각 단계의 진행 상황을 시각적으로 추적 가능오류 처리재시도, 대체 경로(Fail/Choice 상태) 설정 가능분기 & 병렬 처리조건 분기(Choice), 병렬 실행(Parallel) 지원실행 시간최대 1년 (Express는 수 분, Standard는 장기 실행 지원)이벤트 통합EventBridge로 트리거 가능 (이벤트 중심 아키텍처 구성 가능)🔷 상태(State) 유형상태 유형설명TaskLambda 등 실제 작업 실행Choi.. 공감수 0 댓글수 0 2025. 4. 1.
Byte-Range Fetch & Multipart Upload S3 의 대용량 파일을 다운로드 또는 업로드 시 비교되는 두 가지Byte-Range Fetch & Multipart Upload항목Byte-Range FetchMultipart Upload목적객체의 일부만 다운로드객체를 나눠서 업로드작업 방향읽기(Download)쓰기(Upload)사용 예시큰 로그 파일 일부만 보기, 병렬 다운로드100MB 이상 대용량 파일을 빠르고 안정적으로 업로드API 동작 방식HTTP Range 헤더 사용여러 UploadPart 호출 후 Complete병렬 처리가능 (여러 바이트 범위 동시 요청)가능 (여러 파트 병렬 업로드)특징전체 객체를 다운로드하지 않아도 됨네트워크 오류 복원, 성능 향상💡 둘 다 사용할 수 있는 시나리오?예: 대용량 동영상 업로드 → Multipart Upl.. 공감수 0 댓글수 0 2025. 3. 31.
NAT Instance vs NAT GW 비교 분석 NAT 인스턴스 vs NAT 게이트웨이항목인스턴스게이트웨이관리 편의성❌ 직접 EC2 인스턴스 설정/패치 필요✅ 완전 관리형 (AWS가 관리)고가용성(AZ 단위)❌ 사용자가 수동 구성해야 함✅ 다중 AZ 자동 지원성능(확장성)❌ 네트워크 처리량 제한 (인스턴스에 따라)✅ 초당 수십 Gbps 자동 확장보안 그룹 설정✅ 사용 가능❌ 사용 불가 (NACL만 적용)비용✅ 낮을 수 있음 (소규모 트래픽 시)❌ 비쌈 (시간당 + 데이터 요금)Use Case실험/개발 환경운영/생산 환경에 권장💡 핵심 요약운영환경이라면 → 대부분 NAT 게이트웨이가 정답비용 민감 + 트래픽 적음 + 고가용성 불필요 → NAT 인스턴스 고려 가능 공감수 0 댓글수 0 2025. 3. 31.
Elastic Fabric Adapter ✅ **Elastic Fabric Adapter (EFA)**란?EC2 인스턴스에서 고성능 컴퓨팅(HPC) 및 머신러닝 워크로드에 맞춰초저지연, 고처리량 네트워킹을 제공하는 네트워크 인터페이스야.즉,"슈퍼컴퓨터 수준의 네트워크 성능을 AWS에서 구현하고 싶을 때 쓰는 특수 네트워크 인터페이스"🔍 EFA는 언제 쓰냐?워크로드예시✅ HPC유체역학, 구조 해석, 양자 화학 계산 등✅ 머신러닝 훈련대규모 모델 병렬 학습 (예: GPT 훈련)✅ MPI 기반 앱인스턴스 간 **지연(latency)**이 매우 민감한 병렬 앱🧠 EFA vs ENA (Elastic Network Adapter)항목EFAENA네트워크 처리 성능✅ 더 빠름보통 10–100 Gbps저지연 통신✅ 초저지연중간MPI (Message Pass.. 공감수 0 댓글수 0 2025. 3. 31.
Secrets vs Systems Parameter Store vs Systems Manager 핵심 비교표:Secrets Manager vs Systems Manager Parameter Store vs Systems Manager항목Secrets ManagerParameter StoreSystem Manager📌 목적비밀번호, API 키 등 민감한 "시크릿" 관리구성값/설정 등 일반적인 매개변수 저장인프라 전반을 운영·자동화·관리하는 도구 모음🔐 보안KMS 암호화 + 자동 로테이션 + 접근 제어KMS 암호화 지원 (옵션), 로테이션 ❌IAM 통제 기반, 보안 기능 다양🔁 시크릿 자동 교체✅ 가능 (Lambda로 RDS 등 연동)❌ 직접 구현 필요❌ 해당 없음💲 비용유료 (횟수/시크릿 수 기반)기본은 무료, 고급 파라미터는 유료서비스 자체는 무료 (일부 기능 과금)🔍 사용 예DB 비밀번호.. 공감수 0 댓글수 0 2025. 3. 26.
EC2 Placement Group (배치 그룹) EC2 Placement Group 3종 비교표항목클러스터 배치파티션 배치스프레드 배치🧠 핵심 목적최고의 성능 (저지연, 고대역폭)장애 도메인 분리 + 대규모 분산 처리최고의 가용성 (호스트 간 완전 분리)🧱 배치 방식인스턴스를 물리적으로 가까운 호스트에 밀집 배치인스턴스를 파티션 단위로 분산각 인스턴스를 서로 다른 호스트에 분산🔄 고가용성❌ 낮음 (AZ 장애 시 전체 다운 위험)✅ 높음 (파티션별 격리)✅ 매우 높음 (인스턴스 간 격리)⚙️ 용도HPC, 기계학습, 저지연 통신Hadoop, Spark, 대용량 데이터 처리중요 서비스 소수 인스턴스 (예: 마스터, 컨트롤 플레인)📊 확장성제한적 (물리 호스트 제약)✅ 수백~수천 개까지 확장 가능제한적 (AZ당 최대 7개 인스턴스)⚠️ 특징네트워크 성.. 공감수 0 댓글수 0 2025. 3. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.