Deep Learning [3] : 트랜스포머 (Transformer)

 

 

Attention 모델은 자연어 처리에서 중요한 역할을 하며, Encoder와 Decoder라는 두 개의 주요 구성 요소로 이루어져 있다. 예를 들어, 영어를 한국어로 번역할 때, Encoder는 영어 문장을 받아들여 이를 압축된 형태인 **문맥 벡터(context vector)**로 변환한다. 이 문맥 벡터는 문장의 중요한 정보를 요약한 것으로, Decoder는 이를 입력 받아 한국어 문장을 생성한다. 이는 전화기의 원리와 비슷한데, 음성 신호를 압축하여 전송하고, 수신 측에서는 이를 다시 풀어 원래의 음성을 재생하는 방식과 같다. 이렇게 문맥 벡터를 사용하면 연산량이 줄어드는 장점이 있지만, 정보가 한 곳에 집중되어 일부 중요한 세부 사항이 손실될 수 있다. 예를 들어, 영어 문장에서 'The cat sat on the mat'이라는 문장이 있을 때, 마지막 RNN 셀만이 문맥 벡터를 생성하기 때문에 중간 단어들의 세부 정보는 반영되지 않는다. 이러한 문제를 해결하기 위해 Attention이라는 개념이 도입되었으며, Attention은 입력의 각 단어에 가중치를 부여해 모델이 중요한 단어에 집중할 수 있게 해준다. 이렇게 하면 정보 손실을 줄이고 문맥을 더 정확하게 파악할 수 있다.

 

 

 

RNN 구조는 입력을 받아서 숨겨진 상태(hidden state)를 출력하는데, 이를 Encoder와 Decoder 구조에 적용하면 문맥을 이해하고 번역과 같은 작업을 수행할 수 있다. 예를 들어, 영어 문장을 한국어로 번역할 때, Encoder는 입력된 영어 문장의 각 단어를 순차적으로 처리하고 각 단계에서 숨겨진 상태를 생성한다. 이 숨겨진 상태들은 문장의 모든 단어에 대한 정보를 담고 있으며, 최종적으로 모든 숨겨진 상태를 활용해 문맥을 압축한 벡터를 만든다. 반면, Decoder는 번역할 단어를 순차적으로 생성하는데, 이때 현재 단계의 숨겨진 상태만을 사용한다. 예를 들어, 'The cat sat on the mat'이라는 문장에서 'sat'이라는 단어를 번역할 때, Decoder는 'sat'에 대해 현재 상태의 정보를 바탕으로 한국어 단어를 생성한다.

이 차이점은 Attention 메커니즘의 필요성을 설명하는 데 중요하다. Encoder는 영어 문장의 모든 단어에 대한 숨겨진 상태를 사용해 문맥을 이해하고, Decoder는 번역할 단어의 문맥을 위해 현재 숨겨진 상태를 활용한다. 이를 통해 Decoder는 Source sequence의 모든 단어와 Target sequence의 현재 단어와의 관계를 비교할 수 있으며, 이를 통해 더 정확한 번역을 생성할 수 있다.