SO EASY정의
일부러 AI 를 공격하거나 속이는 질문을 던져, 문제를 미리 찾아내는 점검 방법.
자세한 설명
서비스를 실제로 열기 전에 일부러 AI 를 공격하거나 속이는 질문을 던져 이렇게 물으면 위험한 답을 하지 않을까를 미리 시험해 약점을 찾아내는 점검 방법입니다. 찾아낸 문제는 가드레일을 보완하거나 프롬프트를 다시 다듬는 데 바로 쓰입니다. 큰 서비스를 만드는 곳일수록 자체 직원뿐 아니라 외부 전문가에게 맡겨 더 다양한 방식으로 공격해 보게 하기도 합니다. 한 번 점검하고 끝내는 것이 아니라 새로운 탈옥 방법이 나올 때마다 다시 시험해 보는 반복 작업에 가깝습니다.
예를 들면
챗봇을 열기 전에 일부러 공격적이거나 이상한 질문들을 던져 보고 이상한 답이 나오는지 확인합니다.
체크포인트
레드티밍에서 찾은 문제를 목록으로 남기고, 고친 뒤에도 같은 질문으로 다시 확인합니다.
관련 용어
용어 설명은 이해를 돕기 위한 안내입니다. 법령·세무·지원 제도의 정확한 기준은 관계 법령과 소관 기관의 최신 안내를 확인하세요.