사전학습

정의

모델을 쓰임에 맞게 다듬기 전에, 방대한 자료로 먼저 넓게 학습시키는 단계.

자세한 설명

모델을 특정한 쓰임에 맞게 다듬기 전에, 아주 방대한 자료로 먼저 넓게 학습시켜 기본 바탕을 갖추는 단계입니다. 이 단계에서 글의 문법이나 세상에 대한 일반적인 지식 같은 기초가 쌓이고, 이후 지시 튜닝이나 파인튜닝을 거쳐 특정 목적에 맞게 다시 다듬어집니다. 사전학습에 쓰인 자료가 어느 시점까지인지가 곧 모델이 아는 지식의 한계인 지식 컷오프를 정합니다. 최신 소식이나 바뀐 내용을 물을 때는 사전학습만으로는 부족해 검색이나 RAG 로 보완해야 합니다.

예를 들면

사전학습을 마친 모델에 회사 말투를 더 가르치는 것이 파인튜닝입니다.

관련 용어