문제 해결

1. 🔁 SageMaker Endpoints실시간 추론용 API 엔드포인트모델을 실시간으로 사용할 수 있도록 HTTP API 형태로 제공사용자 요청 시 → 모델이 즉시 응답예: 추천 시스템, 챗봇, 실시간 사기 탐지 등운영 흐름학습된 모델을 model.tar.gz로 패키징엔드포인트 생성 (sagemaker.create_endpoint())클라이언트가 REST API로 추론 요청요금 주의: 인스턴스 항상 켜져 있음 → 비용 지속 발생2. 🧠 SageMaker Multi-Model Endpoints (MME)하나의 엔드포인트에 여러 모델을 동적으로 로드해서 사용모델 수가 많을 때, 엔드포인트를 여러 개 띄우지 않아도 됨요청 시 필요한 모델만 로드 → 비용 절감예시 상황사용자별 개인화 모델 (100개 이상..

1. ✅ 실시간 추론 (Real-time Inference)API 호출마다 즉시 응답이 필요한 경우 사용모델을 엔드포인트(endpoint) 로 띄워 놓고 요청이 들어올 때마다 추론✅ 예시고객이 웹사이트에 들어올 때마다 상품 추천챗봇이 대화할 때 즉시 응답실시간 사기 탐지 -> Linear Learner 알고리즘 적용🧠 특징항목설명지연 시간낮아야 함 (low latency)비용항상 인스턴스 떠 있으므로 상대적으로 비쌈AWS 서비스SageMaker Endpoint (Real-time Inference)2. ✅ 배치 추론 (Batch Inference)사전에 예측을 미리 수행해서 저장실시간 성능은 필요 없고, 대량 처리가 필요한 경우✅ 예시하루에 한 번 전체 고객에 대해 등급 예측 후 DB에 저장수만 개의 ..

✅ 알고리즘 요약알고리즘설명사용 용도데이터 유형XGBoost결정 트리 기반 부스팅 모델고성능 분류/회귀 (예: 고객 이탈 예측)CSV, libsvm (수치형 + 범주형)Linear Learner빠르고 효율적인 선형 모델로지스틱 회귀, 선형 회귀 (예: 가격 예측)CSV, libsvmK-Means비지도 클러스터링 모델고객 분류, 세그먼트 나누기수치형 데이터 (정규화 권장)Object Detection이미지 내 객체를 인식하고 위치 추정얼굴 탐지, 차량 번호판 검출 등이미지 + 바운딩 박스 라벨BlazingText빠른 텍스트 임베딩 학습 모델단어 임베딩, 텍스트 분류텍스트 파일 (.txt, .json 등)Seq2Seq시퀀스-투-시퀀스 딥러닝 모델기계 번역, 문장 요약텍스트 시퀀스 쌍 (입력 → 출력)🧠 핵..

자주 쓰는 분석 요소항목설명함수요약 통계평균, 중앙값, 분산 등df.describe()결측치 분석누락된 데이터 탐지df.isnull().sum()이상치 탐지비정상적으로 큰/작은 값Boxplot, IQR상관관계변수 간 영향도df.corr(), heatmap분포 시각화히스토그램, 커널 밀도seaborn.histplot()범주형 변수 분석빈도수, 비율df['col'].value_counts() 시각화 기법유형목적도구Boxplot이상치 탐지sns.boxplot()Histogram분포 확인sns.histplot()Heatmap상관관계 시각화sns.heatmap()Pairplot변수 간 관계 총괄sns.pairplot()

✅ 1. Transformer란?문장 같은 시퀀스 데이터를 처리하기 위한 딥러닝 모델 구조.**"한 번에 전체 문맥을 보고 이해"**하는 능력이 있음.✅ 2. 핵심 아이디어: Self-Attention“문장 안의 단어들이 서로에게 얼마나 집중해야 하는지 스스로 계산한다.”예:The cat sat on the mat.cat이 sat과 mat에 얼마나 관련 있는지 스스로 판단🧠 이게 Transformer가 문맥을 동시에, 병렬로 처리하게 해주는 핵심✅ 3. 구조 구성요소 요약🔹 (1) Input Embedding단어를 숫자 벡터로 변환위치정보도 함께 더함 → Positional Encoding🔹 (2) Self-Attention Layer각 단어가 다른 단어에 얼마나 집중할지 계산Query, Key, ..

BERT = Bidirectional Encoder Representations from Transformers한 문장의 의미를 양방향으로 이해하는 딥러닝 기반 모델✅ 1. 뭐가 특별한가?과거 모델(RNN, LSTM 등)은 문장을 왼쪽 → 오른쪽 방향으로만 이해함BERT는 양방향(Bidirectional) → 단어의 앞뒤 문맥을 동시에 고려함예:"He went to the bank to deposit money."bank은 앞뒤 문맥이 있어야 **“금융기관”**인지 **“강둑”**인지 판단 가능→ BERT는 이걸 잘 구분함✅ 2. 사전학습(Pretraining) + 파인튜닝(Finetuning)단계설명Pretraining대규모 Wikipedia 등으로 미리 언어 이해 학습Fine-tuning구체적인 작업..

Hugging Face Transformers➡ HuggingFace Estimator, Pretrained Model, NLP 추론에 사용🔍 특징자연어 처리(NLP) 모델에 특화된 프레임워크GPT, BERT, T5, DistilBERT 등 사전학습(pretrained) 모델 다수 포함텍스트 분류, 요약, 번역, 질의응답 등 쉽게 구현 가능📦 주요 모듈모듈설명transformers모델 로딩, 토크나이저 등datasets공개 NLP 데이터셋 불러오기pipeline()텍스트 분류, 감정 분석 등 고수준 API✅ SageMaker에서의 활용HuggingFace Estimator로 학습HuggingFaceModel로 배포사전학습 모델 그대로 가져다 fine-tuning 가능

PyTorch➡ PyTorch Estimator, Script Mode, TorchServe, PyTorchProcessor 등에서 사용🔍 특징Facebook에서 개발한 딥러닝 프레임워크TensorFlow보다 직관적이고 유연한 코드 구조로 유명연구자와 개발자 모두 선호딥러닝 기반 이미지, 텍스트, 오디오 처리에 강함📦 주요 개념개념설명torch.nn신경망 모듈 구성torch.utils.data데이터셋 로딩/변환autograd자동 미분 기능GPU 지원.to(device)로 간단하게 GPU 사용 가능✅ SageMaker에서의 활용PyTorch Estimator 사용하여 모델 학습 가능inference script 작성 시 model_fn, input_fn, predict_fn, output_fn 구성Sc..

TensorFlow➡ TensorFlowProcessor, TensorFlow Estimator, Script Mode 등에 사용🔍 특징Google에서 만든 딥러닝 프레임워크이미지, 음성, 자연어 처리 등 비정형 데이터에 강력함CNN, RNN, DNN 등 고급 신경망 구성 가능📦 주요 기능개념설명tf.kerasTensorFlow의 고수준 API (모델 쉽게 작성)tf.data데이터 파이프라인 구성tf.function함수 최적화GPU/TPU 지원대규모 학습 가속✅ SageMaker에서의 역할TensorFlowProcessor로 전처리/후처리TensorFlow Estimator로 학습특히 CNN 기반 이미지 분류/탐지 실습에 많이 등장

XGBoost➡ XGBoostProcessor, XGBoost Estimator 등에 사용🔍 특징결정 트리 기반의 부스팅 알고리즘Kaggle 우승자들이 많이 쓰는 성능 좋은 알고리즘범주형/수치형 데이터에 강함대규모 데이터셋에도 잘 작동📦 주요 기능개념설명Boosting약한 학습기(트리)를 여러 개 조합해 강한 예측기 생성파라미터eta, max_depth, subsample, objective 등입력 형식csv, libsvm, Parquet 등 지원✅ SageMaker에서의 역할XGBoostProcessor로 전처리 가능 (libsvm 등)XGBoost Estimator로 학습/튜닝 가능 (초고속 + 내장 지원)