이머전트 능력

정의

모델이 일정 크기를 넘어서면서 예전에는 못하던 일을 갑자기 할 수 있게 되는 현상.

자세한 설명

모델의 크기가 일정 수준을 넘어서면서, 작을 때는 전혀 못하던 일을 어느 순간부터 할 수 있게 되는 현상을 말합니다. 조금씩 나아지는 것이 아니라 어느 기준을 넘자 갑자기 되기 시작하는 것처럼 보여 눈에 띄는 변화로 여겨집니다. 왜 이런 현상이 생기는지는 아직 완전히 밝혀지지 않았지만, AI 교육에서 모델이 왜 갑자기 더 잘해졌는가를 설명할 때 자주 언급되는 개념입니다. 스케일링 법칙과 함께 모델을 더 크게 키우는 이유를 설명하는 데 쓰입니다.

예를 들면

예전 작은 모델은 못 풀던 여러 단계 계산을, 더 큰 모델이 어느 순간부터 풀어내기 시작합니다.

관련 용어