Hugging Face Transformers

Hugging Face Transformers

➡ HuggingFace Estimator, Pretrained Model, NLP 추론에 사용

🔍 특징

• 자연어 처리(NLP) 모델에 특화된 프레임워크
• GPT, BERT, T5, DistilBERT 등 사전학습(pretrained) 모델 다수 포함
• 텍스트 분류, 요약, 번역, 질의응답 등 쉽게 구현 가능

📦 주요 모듈

모듈	설명
transformers	모델 로딩, 토크나이저 등
datasets	공개 NLP 데이터셋 불러오기
pipeline()	텍스트 분류, 감정 분석 등 고수준 API

✅ SageMaker에서의 활용

• HuggingFace Estimator로 학습
• HuggingFaceModel로 배포
• 사전학습 모델 그대로 가져다 fine-tuning 가능