6.신경망 기반 NLP 모델의 발전

신경망 기반 NLP 모델의 발전

자연어 처리는 단순한 통계적 기법에서 출발하여, 현재는 심층 신경망을 활용한 모델들이 주류를 이루고 있다. 이 과정에서 순환 신경망(RNN), 장단기 기억 네트워크(LSTM), 게이트 순환 유닛(GRU), 그리고 최근 NLP 혁신을 이끈 Transformer 모델이 등장했다. 이 글에서는 각 모델의 개념과 차이점, 그리고 대표적인 NLP 모델(BERT, GPT 등)의 발전 과정을 설명한다.

---

1. RNN, LSTM, GRU의 개념과 차이점

1.1 순환 신경망 (Recurrent Neural Network, RNN)

RNN은 시퀀스 데이터를 처리할 수 있는 신경망 모델이다. 이전 입력의 정보를 현재 상태에 반영하는 순환 구조를 가지고 있어, 문장과 같은 순차적 데이터를 처리하는 데 적합하다.

RNN의 구조

• RNN은 **입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)**으로 구성된다.
• 은닉층의 결과가 다시 은닉층으로 입력되는 반복 구조를 가짐.

예시

입력 문장: "나는 NLP를 공부한다"

단어 '나는' → 은닉 상태 h1 생성
단어 'NLP를' → h1이 반영된 h2 생성
단어 '공부한다' → h2가 반영된 h3 생성 → 최종 출력

한계: 기울기 소실(Vanishing Gradient)

RNN은 역전파를 통해 가중치를 업데이트하는데, 시간 단계가 길어질수록 초기 입력의 영향을 잃어버리는 문제가 발생한다. 이는 기울기 소실 문제로 이어져 긴 문장을 제대로 기억하지 못하는 한계가 있다.

1.2 장단기 기억 네트워크 (Long Short-Term Memory, LSTM)

LSTM은 RNN의 기울기 소실 문제를 해결하기 위해 고안된 모델이다. 이를 위해 **셀 상태(Cell State)**와 게이트(Gate) 구조를 도입했다.

LSTM의 구조

LSTM은 세 개의 게이트를 사용한다:

1. 입력 게이트(Input Gate): 새로운 정보를 얼마나 반영할지 결정
2. 망각 게이트(Forget Gate): 이전 정보를 얼마나 유지할지 결정
3. 출력 게이트(Output Gate): 최종 은닉 상태를 결정

예시

입력 문장: "나는 NLP를 공부한다"

단어 '나는' → 입력 게이트를 통해 정보 추가 → 망각 게이트로 불필요한 정보 제거 → 셀 상태 유지
단어 'NLP를' → 업데이트된 셀 상태 반영
단어 '공부한다' → 장기 기억을 유지하며 처리 → 최종 출력

장점

• 장기 의존성 문제 해결: RNN보다 긴 문장에서도 정보 유지 가능
• 기울기 소실 문제 개선

단점

• 계산량이 많아 학습 속도가 느림
• 구조가 복잡하여 구현이 어려움

1.3 게이트 순환 유닛 (Gated Recurrent Unit, GRU)

GRU는 LSTM의 구조를 단순화한 모델로, 비슷한 성능을 유지하면서도 계산 비용을 줄였다. 업데이트 게이트(Update Gate)와 리셋 게이트(Reset Gate) 두 개의 게이트를 사용한다.

GRU의 구조

• 업데이트 게이트: 새로운 정보와 기존 정보를 조합하여 상태를 갱신
• 리셋 게이트: 과거 정보를 얼마나 반영할지 결정

LSTM vs GRU 비교

특징 LSTM GRU

구조 복잡도	높음 (3개 게이트)	낮음 (2개 게이트)
연산량	많음	적음
장기 의존성 처리	우수함	유사
학습 속도	느림	빠름

---

2. Transformer 모델의 등장과 혁신

2.1 RNN 기반 모델의 한계

RNN과 LSTM, GRU는 순차적으로 데이터를 처리하므로 병렬 연산이 어렵고 학습 속도가 느림.

2.2 Transformer의 등장

Transformer는 RNN 없이 문맥을 이해할 수 있는 모델로, 셀프 어텐션(Self-Attention) 메커니즘을 활용한다.

Transformer의 구조

Transformer는 **인코더(Encoder)와 디코더(Decoder)**로 구성된다.

• 인코더: 입력 문장을 여러 개의 어텐션 블록을 거쳐 의미 벡터로 변환
• 디코더: 인코더에서 생성된 의미 벡터를 활용해 새로운 문장 생성

어텐션(Self-Attention) 메커니즘

Transformer의 핵심은 **어텐션(Self-Attention)**이다. 이는 문장의 모든 단어가 서로를 참고하여 연관성을 학습하는 방식이다.

예시: 문장 "나는 NLP를 공부한다"

• "나는"이 "공부한다"와 밀접한 관련이 있음
• "NLP를"이 "공부한다"와 연결될 가능성이 높음
• 어텐션 메커니즘은 이러한 단어 간 관계를 학습하여 가중치를 부여함

주요 특징

• 병렬 연산 가능: GPU 성능을 최대로 활용 가능
• 긴 문장 처리 능력 향상
• 장기 의존성 문제 해결: 문장 내 단어 간 관계를 명확하게 모델링 가능

---

3. 대표적인 NLP 모델: BERT와 GPT

3.1 BERT (Bidirectional Encoder Representations from Transformers)

BERT는 양방향 문맥을 학습할 수 있도록 설계된 모델로, 문장 내 단어의 앞뒤 관계를 모두 고려할 수 있다.

주요 특징

• 양방향 문맥 학습: 기존 모델은 한 방향(좌 → 우)으로 학습했지만, BERT는 양방향으로 문맥을 분석
• 사전 훈련(Pre-training)과 미세 조정(Fine-tuning) 활용: 다양한 NLP 작업에 적용 가능
• 마스킹 기법(Masked Language Model, MLM) 사용: 문장에서 일부 단어를 가리고 예측하는 방식으로 학습

활용 사례

• 질의응답(QnA)
• 감성 분석
• 문서 요약

3.2 GPT (Generative Pre-trained Transformer)

GPT는 텍스트 생성을 목적으로 한 모델로, 좌 → 우 방향으로 문장을 예측하는 방식으로 학습한다.

주요 특징

• 텍스트 생성에 특화됨: 문맥을 이해하고 자연스러운 문장을 생성 가능
• Few-shot Learning 지원: 적은 예제로도 새로운 작업 수행 가능

활용 사례

• 챗봇 (ChatGPT 등)
• 문서 자동 생성
• 코드 자동 완성