BERT

BERT = Bidirectional Encoder Representations from Transformers

한 문장의 의미를 양방향으로 이해하는 딥러닝 기반 모델

---

✅ 1. 뭐가 특별한가?

• 과거 모델(RNN, LSTM 등)은 문장을 왼쪽 → 오른쪽 방향으로만 이해함
• BERT는 양방향(Bidirectional) → 단어의 앞뒤 문맥을 동시에 고려함

예:
"He went to the bank to deposit money."

• bank은 앞뒤 문맥이 있어야 **“금융기관”**인지 **“강둑”**인지 판단 가능
  → BERT는 이걸 잘 구분함

---

✅ 2. 사전학습(Pretraining) + 파인튜닝(Finetuning)

단계	설명
Pretraining	대규모 Wikipedia 등으로 미리 언어 이해 학습
Fine-tuning	구체적인 작업(예: 감정 분류)에 맞춰 추가 학습

🟡 즉, “기본 영어 잘 아는 애”를 데려다가 “감정 분류”만 추가로 시키는 느낌

---

✅ 3. 어떤 작업에 쓰이나?

작업	설명
텍스트 분류	스팸 vs 정상, 긍정 vs 부정 등
문장 유사도	두 문장 얼마나 비슷한지
질의 응답 (QA)	질문 → 문서에서 정답 뽑기
개체명 인식 (NER)	문장에서 사람, 장소 등 뽑기

📌 Hugging Face에서는 BERT 기반 모델들을 아주 쉽게 사용 가능 (pipeline('sentiment-analysis') 등)

 

📌 정리

항목	내용
정식 명칭	Bidirectional Encoder Representations from Transformers
구조	Transformer Encoder 기반
장점	앞뒤 문맥을 함께 이해
사용	분류, QA, 요약 등 대부분의 NLP
구현	Hugging Face Transformers 라이브러리로 바로 사용 가능