스케일링 법칙

정의

모델 크기, 학습 자료 양, 계산량을 늘릴수록 성능이 일정한 패턴으로 좋아진다는 관찰.

자세한 설명

모델의 크기, 학습 자료의 양, 들어가는 계산량을 늘릴수록 성능이 일정한 패턴으로 꾸준히 좋아진다는 관찰에서 나온 개념을 말합니다. 이 패턴 덕분에 지금보다 더 크게 키우면 성능이 어느 정도 좋아질지를 미리 어느 정도 짐작할 수 있게 되었습니다. 다만 늘리는 만큼 학습에 드는 비용과 계산 자원도 함께 커지기 때문에, 무조건 크게 만드는 것이 항상 이득이라고 보기는 어렵습니다. 이머전트 능력처럼 크기를 늘렸을 때 나타나는 또 다른 현상과 함께 연구되는 주제입니다.

예를 들면

모델을 더 키우면 성능이 좋아진다는 업계의 기본 생각이 스케일링 법칙에서 나왔습니다.

관련 용어