AI 정렬(얼라인먼트)

정의

AI 모델의 답과 행동이 사람이 바라는 의도와 가치에서 벗어나지 않도록 맞추는 일.

자세한 설명

AI 모델이 많은 자료를 학습해도, 그 결과가 사람이 실제로 바라는 의도나 가치와 다르게 나올 수 있습니다. AI 정렬은 모델의 답과 행동을 사람이 원하는 방향에 더 가깝게 맞추려는 작업으로, 사람이 평가한 좋은 답과 나쁜 답으로 모델을 다시 다듬는 RLHF 가 대표적인 방법입니다. 성능이 뛰어난 모델도 정렬이 제대로 안 되어 있으면 위험하거나 엉뚱한 답을 내놓을 수 있어, 모델을 고를 때 함께 살펴봐야 합니다. AI 안전이 해를 막는 전체 활동이라면, AI 정렬은 그 가운데 모델의 답을 사람 의도에 맞추는 기술적인 작업에 가깝습니다.

예를 들면

동네 세무 상담 챗봇을 만들 때, 모델이 손님에게 지키지 못할 약속을 하지 않도록 정렬 과정을 거친 모델을 고릅니다.

관련 용어