AI 모델 평가

정의

AI 모델이나 AI 기능이 실제로 얼마나 잘 작동하는지 기준을 세워 확인하는 일.

자세한 설명

AI 모델이나 AI 기능이 실제 업무에서 얼마나 잘 작동하는지를 기준을 세워 확인하는 일을 말합니다. 공개된 벤치마크 점수와 달리, 내 업무와 비슷한 실제 질문들로 직접 시험해 정확도와 속도, 비용까지 함께 확인하는 것이 중요합니다. 도입하기 전 한 번만 평가하고 끝내는 것이 아니라, 쓰는 중에도 주기적으로 다시 평가해야 모델 드리프트처럼 시간이 지나며 생기는 문제를 일찍 알아챌 수 있습니다. 평가 결과는 다음 파일럿 프로젝트나 모델 교체를 판단하는 근거가 됩니다.

예를 들면

상담 챗봇을 들여오기 전에 실제 자주 묻는 질문 목록으로 정답률을 미리 확인합니다.

관련 용어