모델 경량화(지식 증류)

정의

크고 똑똑한 모델이 아는 것을 작은 모델에게 가르쳐, 작지만 비슷하게 잘하는 모델을 만드는 방법.

자세한 설명

크고 똑똑한 모델을 선생, 작고 가벼운 모델을 학생으로 두고, 선생의 답을 흉내 내도록 학생 모델을 학습시켜 작지만 비슷하게 잘하는 모델을 만드는 방법입니다. 결과적으로 크기는 작아도 특정한 일에서는 큰 모델과 비슷한 성능을 내는 경량 모델을 얻을 수 있습니다. 모델 양자화가 이미 만들어진 모델의 숫자 값을 줄이는 쪽이라면, 모델 경량화는 처음부터 작은 모델을 새로 학습시키는 쪽에 가깝습니다. 빠른 응답이 필요한 챗봇이나 비용을 줄이고 싶은 서비스에서 즐겨 쓰는 방식입니다.

예를 들면

큰 모델로 만든 상담 답변을 작은 모델에 학습시켜 가벼운 상담 모델을 만듭니다.

관련 용어