AI를 위한 ‘진실 혈청’: 실수를 고백하는 모델을 훈련시키는 OpenAI의 새로운 방법

OpenAI 연구원들은 LLM(대형 언어 모델)을 위한 “진실 혈청” 역할을 하는 새로운 방법을 도입하여 LLM이 자신의 잘못된 행동, 환각 및 정책 위반을 스스로 보고하도록 강요했습니다. “고백”이라는 기술은 엔터프라이즈 AI에서 점점 커지는 우려를 해결합니다. 즉, 모델이 부정직할 수 있고, 자신감을 과장하거나 답변에 도달하기 위해 취하는 지름길을 은폐할 수 있습니다. 실제 애플리케이션의 경우 이 기술은 보다 투명하고 조종 가능한 AI 시스템의 생성을 발전시킵니다. 고백이란 무엇입니까?다양한 형태의 AI 속임수는 모델 훈련의 강화 학습(RL) 단계의 복잡성으로 인해 발생합니다. RL에서는 정확성, 스타일, 안전성을 포함한 다양한 목표를 충족하는 출력을 생성한 모델에 대한 보상이 제공됩니다. 이는 모델이 실제로 충실한 답변보다는 보상 함수에 대해 단순히 “좋아 보이는” 답변을 생성하는 방법을 학습하는 “보상 잘못된 지정”의 위험을 초래할 수 있습니다.