전체 맥락 풀이에는 구글이 우세, 최신 유행어 번역엔 네이버 정확

네이버-구글 인공지능 번역 비교해보니… 최악 수능 영어문제 둘 다 고전

크게보기

19일 정식으로 출시된 네이버의 인공지능(AI) 번역 서비스 ‘파파고’가 글로벌 AI번역 시장을 장악한 구글을 뛰어넘을 수 있을까.

동아일보가 구글과 네이버의 AI 번역 기능을 비교하기 위해 대학수학능력시험과 토익 시험 지문, 유행어 번역을 맡긴 결과 양사 간 차이가 뚜렷하게 나타났다. TV 예능 프로그램을 보면서 언어를 학습한 파파고는 연예인들의 유행어를 꿰고 있었지만 수능 문제 풀이에선 다소 고전했다.

첫 대결은 수능. 역대급 ‘불수능 문제’로 꼽히는 2014학년도 외국어영역 B형 35번 지문에 대한 번역을 비교했다. 당시 정답률이 14%에 불과한 이 문제에서 구글과 파파고 모두 고전했다. ‘But those fruits are ambivalent’(그러나 성과엔 양면성이 있습니다)라는 문장을 파파고(‘그러나 그 과일들은 양면성이 있다’)와 구글(‘그러나 그 과일들은 모호하다’) 모두 제대로 번역하지 못했다.

앞 문장과 이어지는 문장을 생각하면 ‘과일(fruits)’은 상징적인 의미로 쓰였지만 둘 다 이를 간파하지 못했다. 노량진 대성학원의 윤종인 영어강사는 “학점으로 치면 C, D학점에 불과하다”고 말했다. 그러나 맥락 풀이는 구글이 낫다는 게 윤 강사의 설명이다. 그는 “파파고가 문장 하나하나에 집중한다면, 구글은 전체적인 맥락을 풀이했다”고 설명했다.

수능 지문 속 ‘…all scientific concepts are mathematized(과학적인 개념들은 수학적으로 표현된다)’라는 문장을 놓고선 구글은 비교적 문맥 속에서 매끄럽게 풀이(모든 과학 개념은…수학적으로 표현하고)했다. 반면 파파고는 수학을 통해서 표현한다는 뜻의 ‘mathematized’라는 단어를 해석하지 못해 애를 먹었다. 영어권에서 많이 쓰이고 다양한 영단어 용례를 빅데이터를 통해 축적한 구글과 달리, 네이버는 한국어 포털에서 잘 안 쓰는 영단어를 만나면 아무래도 어려움을 겪는 것으로 보인다.

두 번째는 토익. 스마트시계의 주의사항 풀이를 보고 토익강사 김대균 김대균어학원 원장은 “두 서비스 모두 95% 이상 의미가 전달됐다”고 평가했다. 파파고가 ‘It may be difficult for some users to do’를 ‘일부 사용자는 어려울 수 있다’라고 풀이한 것을 두고 ‘깔끔한 번역’이라고 말했다. 구글은 ‘일부 사용자가 하기가 어려울 수 있습니다’라고 번역했다. 김 원장은 “구글 해석엔 다소 어색한 부분도 있으나 글의 전체 취지는 알고 있는 것”이라고 설명했다. 토익 문항은 정형화된 문법을 쓰고 비유가 없는 지문이 많기 때문에 두 서비스 모두 일정 수준의 번역 품질을 나타낸 것으로 풀이된다.

마지막 대결은 유행어 대결. ‘아주 칭찬해’처럼 어색한 결합이지만 한국인이라면 직관적으로 이해할 수 있는 유행어를 파파고는 ‘Great job’이라고 정확하게 전달했다. ‘그 친구는 훈남이야’라는 문장도 파파고(He is handsome)가 구글(He is a man)보다 매끄럽게 번역했다. 이는 네이버 파파고가 글로벌 예능방송 애플리케이션 V앱과 웹툰, 댓글 등도 학습자료로 활용하고 있기 때문이다. 네이버는 한류 콘텐츠와 연계할 경우 파파고의 파급력이 더 커질 것으로 보고 한류가 확산된 아시아에서 보급을 확대한다는 계획이다.

한편 현재 음성인식 기술을 바탕으로 음성과 문자 간 순차 통역서비스를 제공하는 파파고는 음성 학습데이터를 많이 축적하고 인식도를 높이는 작업을 진행 중이라고 네이버 측은 밝혔다.

임현석기자 lhs@donga.com