면접질문·자취방·상품 추천 ‘꿀팁’… 교통·시사 오류 ‘환각현상’[Who, What, Why]

클릭하시면 더 큰이미지를 보실 수 있습니다 성낙호 네이버클라우드 하이퍼스케일 인공지능(AI) 기술총괄이 지난달 24일 서울 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 네이버 콘퍼런스 ‘단23’에서 초대규모 AI ‘하이퍼클로바X’를 설명하고 있다. 문호남 기자

■ What - 지난달 공개된 한국판 챗GPT… 네이버 ‘클로바X’

네이버 “해외 생성형 AI보다
한국어 학습량 6500배 많아”

맛집·쇼핑 정보 등 강점보여
‘빙챗’ 등과 달리 링크도 연결

자소서 작성·고민 상담 척척
면접 부탁에 직무‘깨알 질문’

광화문 ~ 강남역 빠른 길 묻자
서대문역 방향 안내 ‘오답’도
일각 “한국어 특화 능력 의문”


네이버가 챗GPT, 빙챗 등 해외 생성형 인공지능(AI)보다 한국어를 6500배 더 학습했다는 ‘한국판 생성형 AI’를 내놓았다. 맛집이나 쇼핑 상품 추천 등 서비스를 활용한 답변에 장점을 보인다. 자기소개서를 써주고, 면접을 연습시켜주며 자취방을 구해주는 등 국내 MZ세대(1980년대 초∼2000년대 초 출생)에 ‘꿀팁 툴(Tool)’이 되기도 한다.

하지만 국내 교통 안내나 시사 관련 질문에 틀리게 대답하는 등 ‘할루시네이션(환각 현상)’도 보인다. 그러다 보니 네이버가 자신한 ‘한국어 특화’ 능력에 의문을 제기하는 목소리도 나온다.

◇네이버AI, 맛집·쇼핑 등 질문엔 강점 = 20일 네이버에 따르면, 지난달 공개된 초대규모 AI ‘하이퍼클로바X’의 시범 서비스 ‘클로바X’가 자사 회원 모두를 대상으로 운영되고 있다. 성낙호 네이버클라우드 하이퍼스케일 AI 기술총괄은 클로바X에 대해 “뛰어난 한국어와 영어 능력, 방대한 지식을 바탕으로 업무 보고서나 자기소개서처럼 비즈니스 글쓰기에 도움을 받는 것부터 면접 연습, 고민 상담 등 다양한 목적으로 활용될 수 있다”고 설명했다.

외국 AI와 다른 특화된 방식으로 클로바X를 써보고 싶을 경우 맛집이나 상품을 물어보면 확실한 효과를 볼 수 있다. 예컨대 ‘광화문 근처에서 가성비 좋게 점심을 해결할 수 있는 곳 좀 찾아줘, 중식은 빼고’라고 주문하면, 클로바X는 ‘가성비가 좋다’는 플레이스 키워드 리뷰를 활용해 네이버 지도의 ‘체부동잔치집’ ‘돈화문닭한마리 본점’ 등을 추천해준다. 답변에서 바로 예약도 가능하고 리뷰까지 볼 수 있다. 마이크로소프트 빙챗이나 챗GPT도 동일한 질문에 대해 식당과 메뉴, 가격 등을 알려주긴 했으나 클로바X처럼 링크까지 제공하지는 않았다.

‘수부지(수분 부족형 지성피부)도 쓰기 좋은 저자극 선크림 추천해줘’라는 질문을 했더니, 클로바X는 네이버 쇼핑을 통해 선크림을 추천해 줬다.

기자가 직접 네이버가 자신 있다고 강조한 자기소개서 작성을 클로바X에 주문해 봤다. ‘난 인문대학 소속이지만, 이번에 경영전략학회에 지원하려고 해. 소상공인 컨설팅 동아리에서 동네 식당의 매출을 개선해준 경험도 있기는 한데, 아무래도 내 전공이 비(非)상경계이다 보니까 이 부분을 잘 포장해서 서류를 쓰고 싶어. 자소서 초안을 좀 작성해줄래?’라는 질문을 넣었다. 클로바X는 “경영 전략을 수립해 동네 식당의 매출을 30% 개선시킨 경험이 있다”며 학회에서 배우고 싶은 점을 나열한 답변을 454자로 내놨다.

다만 자기소개서를 능수능란하게 작성해주는 것은 외국 AI도 마찬가지였다. 같은 질문에 대해 “저는 인문대학 문화콘텐츠학과 3학년 김영희라고 합니다”라며 운을 뗀 빙챗은 “문화와 예술에 관심이 많아서 이 전공을 선택했습니다. 하지만, 문화와 예술은 단순히 감상하는 것이 아니라, 사회와 연결돼 있고, 경제적 가치를 창출할 수 있는 분야라고 생각합니다”라면서 지원 동기를 자세히 설명했다. 그리고 학회에서 연구하고 싶은 분야, 활동을 잘할 수 있는 이유, 가입하고 싶은 동기를 자연스러운 한국어로 풀어냈다. 빙챗의 답변은 1591자에 달했다.

면접 연습도 비슷했다. 클로바X는 ‘해외영업 직무에 신입으로 지원했는데 면접 연습을 할 수 있도록 면접관이 돼줄래’라는 질문에 “지원자님, 안녕하세요! 먼저 자기소개를 부탁드립니다”라고 했다. 명령어에 자기소개를 넣자, 클로바X는 “자기소개를 잘 들었습니다. 해외영업 직무에 지원하신 이유가 무엇인가요?” 등을 묻는 방식으로 가상 면접을 이어갔다. 빙챗도 같은 질문에 가상 면접 방법을 상세히 설명해준 이후 해외영업 직무의 역할과 책임, 직무를 수행하기 위해 필요한 역량과 경험 등에 대해 물었다.

◇기본적 교통·시사 답변 오류 나오기도 = 클로바X를 써본 이용자들이 제기하는 문제점 중 하나는 잘못된 내용을 사실처럼 답변하는 할루시네이션이다. 광화문에서 강남역까지 가는 가장 빠른 방법을 묻자 클로바X는 ‘지하철 5호선에서 서대문역 방향 열차를 탑승해 종로3가역에서 3호선으로 환승해야 한다’고 답했다. 광화문역에서 종로3가역 방향 열차를 타야 하는데 반대 방향으로 길을 안내한 것이다. 요금도 실제(1350원)보다 100원 비싼 1450원으로 답변했다.

시사 정보에 대한 오류도 나온다. ‘일본 정부가 언제부터 후쿠시마(福島) 원전 오염처리수를 방류하기 시작했나’란 질문에 클로바X는 ‘2023년 7월부터’라고 답했다. 오염처리수 방류는 8월 24일 시작됐다. 수많은 언론매체를 통해 널리 알려진 정보에 대해 오답을 내놓은 것이다.

물론 할루시네이션은 챗GPT나 MS 빙, 구글 바드 등 미국의 내로라하는 생성형 AI 서비스들도 공통적으로 겪는 문제다. 기존에 학습한 자료 외에 실시간으로 쏟아지는 새로운 정보까지 즉각 반영하고 이를 문맥에 맞춰 답변하기 위해선 추가적인 기술 개발이 필요한 상황이다.

네이버 ‘클로바X’ 활용사례

Q:이화여대 1학년 재학 중인데. 이대역 근처에서 월세 100만 원 이하 오피스텔 추천해줘. 신축으로, 상대적으로 크고 깔끔하면 좋겠어.
A:- 공덕푸르지오시티 #주차하기 편해요 #친절해요
-이화블로섬 #침대방 #와이파이 이화여대 정문에서 도보로 5분 내 거리에 위치해 있어 이화여대 학생들이 많이 이용하는 곳입니다.

Q:광화문 근처에서 가성비 좋게 점심을 해결할 수 있는 곳 찾아줘. 중식 빼고.
A:- 체부동잔치집. 특히 들깨칼국수는 서울 시민이 뽑은 맛있는 칼국수 5대 천왕에 선정됐습니다.
- 돈화문닭한마리 본점. 황칠삼계탕, 닭한마리 전문점입니다. 맛있는 요리와 세련된 분위기로 편안하고 쾌적하게 식사를 즐기실 수 있습니다.
- 살롱순라. 소중한 기념일을 보내고 싶을 때, 좋은 사람들과 맛있는 음식과 술을 즐기고 싶을 때 부담 없이 찾아올 수 있는 곳입니다.

이예린 기자 yrl@munhwa.com