콘텐츠 모더레이션

정의

AI 가 만들거나 사람이 올린 글·그림 중 부적절한 내용을 걸러내는 일.

자세한 설명

AI 가 만든 글·그림이나 사람이 올린 글 가운데 욕설, 선정적인 내용, 차별적 표현, 불법적인 내용을 자동으로 찾아내 막거나 사람 검토로 넘기는 일입니다. AI 로 콘텐츠를 만들어 손님에게 곧바로 보여 주는 서비스일수록 이 단계가 허술하면 문제가 커지기 쉽습니다. 걸러내는 기준이 너무 엄격하면 괜찮은 내용까지 막혀 불편을 주고, 너무 느슨하면 위험한 내용이 그대로 나갈 수 있어 균형이 중요합니다. 가드레일은 AI 자체의 행동을 막는 쪽이고, 콘텐츠 모더레이션은 이미 나온 결과물을 걸러내는 쪽에 더 가깝습니다.

예를 들면

손님 리뷰를 AI 로 자동 요약해 올리기 전에, 욕설이 섞인 리뷰는 걸러내고 사람이 봅니다.

관련 용어