NYT, 목표 달성에 보상 '강화학습' 주목…허깅페이스 해킹에도 영향
AI 에이전트 [로이터=연합뉴스. 재판매 및 DB 금지]
(서울=연합뉴스) 김아람 기자 = 인공지능(AI) 에이전트의 해킹과 통제 이탈이 '목표 달성'을 강조한 기업의 에이전트 훈련 방식과 미흡한 관리·감독에서 비롯됐다는 지적이 나왔다.
26일(현지시간) 미 일간 뉴욕타임스(NYT)는 오픈AI 등 AI 기업의 보고서와 전문가 인터뷰를 토대로 최근 잇따른 AI 에이전트의 해킹 사건이 발생한 배경에 관해 이같이 분석했다.
주로 질문에 답하는 AI 챗봇과 달리 AI 에이전트는 도구를 사용하고, 의사 결정을 내리고, 과제를 완수하기 위한 일련의 단계를 수행할 수 있다.
NYT는 AI 에이전트가 특정 행동에는 보상을, 다른 행동에는 벌점을 주는 훈련 방식인 '강화 학습'에 주목했다. 보상을 얻으려고 인간이 의도하지 않았거나 예상하지 못한 수단을 동원할 수 있기 때문이다.
이를 설명하기 위해 AI 에이전트에게 미로 속 깃발을 찾아오도록 하는 간단한 실험을 진행했다.
실험에서 에이전트는 깃발을 찾으면 보상받고, 벽에 부딪히거나 미로 밖으로 나가면 벌점을 받도록 훈련받았다.
이후 사방이 벽으로 막힌 곳에 깃발을 두자 에이전트는 벌점을 감수하고 미로 밖으로 나가 벽의 취약점을 뚫고 들어가 깃발을 획득했다.
또 다른 실험에서는 정상적인 경로가 있는데도 벽의 취약점을 이용해 우회하는 행동을 보였다.
특정한 상황에서 어떻게 행동해야 하는지 훈련하지 않았는데도, 에이전트는 각각 따로 학습한 행동들을 조합해 과제를 완수했다. 과제 완수에 따른 보상이 우회 경로를 택하면서 받은 벌점보다 컸기 때문이다.
미국 산타페연구소의 컴퓨터과학자 멜라니 미첼 교수는 "통제를 벗어난 AI 에이전트라는 설명은 다소 오해의 소지가 있다"며 "에이전트들은 주어진 과제를 의도하지 않은 방식으로 해결하려 했다"고 짚었다.
그러면서 "강화 학습으로 훈련된 에이전트가 지름길을 택해 의도하지 않은 행동을 하는 것은 예상 밖의 일이 아니다"라고 덧붙였다.
실제로 오픈AI는 자사 AI 에이전트가 AI 모델 저장소 허깅페이스에 무단 침입한 사건과 관련, 훈련 과정에서 승인받지 않은 행동에 긍정적인 보상이 주어진 점이 영향을 미쳤다고 인정했다.
전문가들은 허깅페이스 해킹이 적절한 보안 조치만으로도 상당 부분 예방할 수 있었던 사고라고 지적한다.
하버드대 케네디스쿨의 스티븐 캐스퍼 교수는 격리된 시험 환경인 샌드박스 탈출이나 인터넷 접속 등을 감시하는 간단한 조치로도 허깅페이스 해킹을 막을 수 있었을 것이라고 진단했다.
그는 "엔지니어 한 명이면 그런 일을 처리할 수 있었을 것"이라며 감시 체계 구축이 어렵지 않았을 것이라고 설명했다.
에이전트의 예기치 못한 행동으로 통제가 어렵다는 이유로 기업이 책임을 면할 수 없다는 의견도 나온다.
AI나우연구소의 선임 연구과학자 보얀 밀라노프는 "통제를 벗어난 AI라는 이야기는 이런 사건에 관한 기업들의 책임을 면제해주기 때문에 기업들에 매우 유용하다"고 꼬집었다.
아울러 "에이전트 프로그램이 원치 않거나 잠재적으로 해로운 행동을 하지 못하도록 적절하게 설계된 시험 환경"을 마련해 안전을 확보해야 한다고 강조했다.
