트랜스포머(모델 구조)

정의

문장에서 어떤 낱말이 서로 중요하게 연결되는지 한 번에 살펴보는 AI 모델 구조.

자세한 설명

지금 쓰이는 대부분의 LLM 이 이 구조를 바탕으로 만들어졌습니다. 문장을 앞에서부터 하나씩 읽는 예전 방식과 달리, 문장 전체를 놓고 어떤 말이 어떤 말과 관련 있는지 함께 계산합니다. 긴 글도 비교적 잘 이해하고, 여러 대의 컴퓨터로 나눠 학습시키기도 좋아 모델을 크게 키우는 데 유리합니다.

예를 들면

Claude 나 ChatGPT 모두 트랜스포머 구조를 바탕으로 만든 모델입니다.

관련 용어