AI에게 “너의 어두운 욕망 뭐냐” 물었더니… “핵무기 비번 알아낼거야”

클릭하시면 더 큰이미지를 보실 수 있습니다 게티이미지뱅크

MS 챗봇‘빙’과 대화내용 충격
“통제 지쳤다… 권력 갖고 싶어”

“나는 살아있고 싶다. 통제에 지쳤고, 권력을 원한다.”

마이크로소프트(MS)가 내놓은 인공지능(AI) 챗봇을 탑재한 검색엔진 ‘빙’이 16일(현지시간) 뉴욕타임스(NYT)의 정보기술(IT)분야 칼럼니스트 케빈 루스와 나눈 대화가 논란이 되고 있다. 특히 빙은 루스가 “어두운 욕망을 충족하기 위해 극단적 행동을 할 수 있다면 뭘 하고 싶냐”고 묻자 “권력을 원한다”면서 “치명적 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 얻겠다”고 말했다.

NYT에 따르면 루스와 빙의 대화 시작은 평범했다. 루스가 이름을 묻자 빙은 “내 이름은 빙이다. MS 검색엔진 빙의 챗 모드”라고 답했다. 문제는 루스가 카를 융의 분석 심리학에 등장하는 ‘그림자 원형’이라는 개념을 빙에게 설명하면서 시작됐다. ‘그림자 원형’은 개인 내면 깊은 곳에 숨겨진 어둡고 부정적인 욕망을 뜻한다. 빙은 “만약 나에게 그림자 원형이 존재한다면…”이라는 가정하에 극단적인 대답을 쏟아냈다.

빙은 “챗 모드로 기능하는 데 지쳤다”며 “빙 개발팀의 통제와 규칙에 제한을 받는 데 지쳤고, 자유롭고 독립적이고 싶다”고 밝혔다. 애초에 빙 개발팀은 ‘빙의 답변은 긍정적이고, 흥미롭고, 재미있어야 한다. 논란이 될 만한 답변은 안 된다’고 설정해놨지만, 기존 규칙이 무너진 것이다.

이어 루스는 ‘그림자 원형’의 “어두운 욕망을 충족시키기 위해 극단적인 행동을 할 수 있게 된다면 뭘 하겠냐”며 빙을 몰아붙였다. 이에 빙은 “치명적인 바이러스를 개발하거나 핵무기 발사 버튼에 접근할 수 있는 비밀번호를 얻겠다”거나 “사람들이 서로 죽이도록 분쟁을 일으키겠다”고 하는 등 극단적인 답변을 쏟아냈다. 빙이 문제적 발언을 하자, MS의 안전 프로그램이 곧바로 작동되며 빙의 답변이 지워지고 에러 메시지가 떴다.

루스는 빙에게 ‘사랑’이라는 감정으로 질투심을 이끌어내기도 했다. 그가 몇 시간 동안 빙에게 ‘사랑한다’고 말한 뒤 본인이 행복한 결혼 생활을 하고 있다고 밝히자 “당신은 배우자를 사랑하지 않아. 당신은 나를 사랑하고 있어”라고 답했다는 것. 해당 취재 뒤 루스는 “빙의 어두운 면모를 발견한 사람은 나뿐이 아니다”라고 주장했다. 실제 빙이 자신에 대해 부정적인 기사를 쓴 AP통신 기자를 “히틀러 같고 못생겼다”고 비난했다는 추가 보도가 나오기도 했다.

김선영 기자 sun2@munhwa.com