최근 끝난 CES2017의 가장 큰 화두 중 하나는 인공지능 스피커 였습니다. 기존에 인공지능 스피커 제품을 판매하던 아마존, 구글 뿐만 아니라 다양한 회사에서 다양한 제품이 쏟아져 나왔습니다. 우리나라에서도 SKT가 ‘누구’, KT가 ‘기가 지니’를 출시 했습니다. 이렇게 인공지능 스피커가 각광받는 이유에 대해 다양한 분석도 나오고 있습니다.
이런 상황에서, IPA(Intelligent Personal Assistants) Technologies Inc.가 음성인식 AI 비서관련 특허 침해를 이유로 Amazon, HP, ZTE, Sony를 비롯한 12개의 회사에 특허 소송을 제기해서 화제가 되고 있습니다. 특히, ASUS, HP 등 5개의 업체는 소송이 제기된 직후 IPA Technologies Inc와 라이센싱 계약에 대해 합의 했습니다. 이 특허들은 Siri의 모태가 된 특허들로 알려져 있습니다. 그래서 오늘은 Siri가 세상에 나오게 된 배경과 소송에 사용된 특허들을 간단하게 살펴보려 합니다.
“제가 얘 애비되는 사람입니다.” [1]
Siri의 모태가 된 특허?
저는 이번 분쟁에 대한 소식을 읽으며 우리나라 드라마에 클리세 처럼 자주 등장하는 장면이 떠올랐습니다. 놀이터에서 한 무리의 아이들이 놀고 있습니다. 이 아이들 중에는 Cortana, Alexa, Siri도 있습니다. 아이들이 많아지고 놀이터가 비좁아지자 아이들끼리 싸움이 벌어 집니다. 이를 지켜보던 선생님이 나서고 아이들을 혼 냅니다. 이때, 한 아저씨가 등장해 선생님에게 이렇게 말합니다.
“제가 Siri 애비되는 사람입니다.”
"특허 소송을 제기한 IPA Technologies Inc.는 캐나다의 유명의 NPE인 WiLAN이 100%의 지분 소유한 자회사로, 지난해 5월 SRI International로부터 9개의 미국 등록 특허를 포함하는 음성인식 AI 비서관련 특허 포트폴리오를 매입했습니다. SRI International은 스탠포드 대학의 신탁 관리 법인(trustee)이 설립한 비영리 연구기관으로, 사람들을 안전하게, 건강하게, 생산적이게 할 수 있는 기술 연구/개발을 목표로 다양한 기술을 연구합니다.
우리가 잘 알고 있는 Apple의 Siri를 만든 Siri, Inc.가 바로 SRI International로부터 스핀오프(spin-off)한 회사이고, 이번 특허 분쟁의 대상인 특허들이 바로 Siri를 연구하던 연구팀이 SRI International에서 출원한 특허들입니다. 특히, 이 특허들의 발명자 항목에서 Siri, Inc.의 공동 창업자 중 한 사람인 Adam Cheyer의 이름을 공통적으로 확인할 수 있습니다. 이번 분쟁을 이해하기 위해 Siri의 성장 과정 및 현재의 모습에 대해서 알아보는 것이 필요할 것 같습니다.
Siri의 동작 화면 묘사 [2]
Siri의 성장 과정 및 현재
처음 Siri가 세상에 등장 했을 때, Siri는 아이폰의 어플리케이션 중 하나였고, 안드로이드, 블랙베리의 어플리케이션으로도 제공되었습니다. Siri는 지도 어플리케이션, 영화 예매, 택시 예약 어플리케이션 등을 음성으로 제어할 수 있는 기능을 제공해 화제를 불러 일으켰습니다. Siri의 가능성을 높이 평가한 Apple은 2010년 4월에 Siri, Inc.를 인수합니다.
Siri, Inc.의 인수 이후, Apple은 별도의 어플리케이션 형태로 Siri를 제공하지 않고, iOS 5부터 iOS에 Siri의 기능을 통합하였습니다. 또한, Apple의 s/w가 들어가지 않는 다른 플랫폼에는 Siri를 제공하지 않고 있습니다. 현재 Siri는 iPhone뿐만아니라 iPad, Apple Watch와 Apple TV에 탑재되고 있으며, 최근에는 Apple이 만든 차량용 인포테인먼트 s/w인 CarPlay에도 탑재되고 있습니다.
Siri는 스스로 공부한다는 게 가장 큰 장점입니다. [3]
Siri의 남다른 재능
Apple의 인수 소식이 전해 질 당시 우리나라에서는 Siri에 사용된 Nuance 사의 음성 인식 기술이 많은 주목 받았던 것으로 기억합니다. 그러나 Siri의 핵심 기술은 단순 음성 인식 기술이 아닙니다. Siri의 핵심 기술은 음성을 인식하기 위해 사용자 개인의 언어 사용을 학습하고, 개인의 특성을 고려하여 정보를 수집 제공하는 머신 러닝, 인지 사고 기술입니다.
사실 Siri가 등장하기 전 사람의 음성을 인식해 해석하려는 시도는 많았습니다. 이러한 시도들은 번번히 기술적 장벽에 부딪히곤 했습니다. 각 사람들이 사용하는 발음, 액센트, 방언, 비속어 등의 언어 습관이 너무나 다릅니다. 이러한 다양한 언어 습관을 포괄하는 하나의 큰 규칙을 적용해 다양한 사람들의 음성을 해석하려다 보니 번번히 실패하곤 했던 것입니다. Siri는 머신 러닝 기술을 통해 각 사람들의 언어 습관을 학습하고, 개인화된 특성을 적용하여 이러한 기술적 장벽을 무너뜨렸습니다. 그렇다면 이렇게 똘똘한 Siri는 어떻게 태어나게 된걸 까요?
Siri도 할아버지(DARPA)의 경제력, 엄마(SRI)의 정보력이 있긴 했습니다. [4]
Siri가 가진 출생의 비밀
Siri의 출생은 미국의 방위고등연구계획국(DARPA)의 한 프로젝트로부터 시작됩니다. DARPA는 전시에 군인들이 편리하게 사용할 수 있는 인공지능 비서를 만들기 위한 기술을 연구하는 PAL(Personalized Assistant that learns) 프로그램을 진행하였습니다. PAL 프로그램 중 CALO(Cognitive Assistant that Learns and Organizes) 프로젝트는 25개의 명문 대학과 상업 연구 기관의 300명의 연구자들을 불러 모아 5년(2003~2008)간 진행한 프로젝트였습니다.
CALO 프로젝트의 목적은 정보를 조직화하고, 과거의 경험(데이터)으로부터 학습하며, 사고(reason)하는 개인 비서를 만드는 것이었습니다. 이를 위해 기존에 존재하던 여러 기술들이 조합되었고, AI 비서를 위한 여러 기술들이 추가로 연구 개발 되었습니다. 이러한 연구 개발의 성과로 인해, 2010년 이라크에서 사용된 미군의 통신 및 명령 시스템인 CPOF에 PAL 프로젝트에서 개발된 기술이 포함되기도 했습니다. 이 CALO 프로젝트의 주관기관(lead intergrator)이 바로 SRI International이었습니다.
SRI International은 PAL 프로그램과 CALO 프로젝트를 톻해 머신 러닝 기술과 사고 기술 등을 집약할 수 있었고, 연구 성과를 바탕으로 온라인에서 접속 가능한 프레임워크 개발에 성공합니다. 2007년 SRI International의 CEO인 Dag Kittlaus, Engineering VP인 Adam Cheyer와 CTO인 Tom Gruber는 Siri, Inc.를 창업합니다. 이때, SRI International은 Siri, Inc.와 SRI International이 보유한 음성인식 AI 비서 관련 특허에 대해 전용실시권(exclusive licensing)이 아닌 통상실시권(non-exclusive lincesing)을 계약을 체결합니다. 따라서 SRI International은 이 특허를 이용해 다른 회사들로부터 로열티를 받을 수 있는 권리를 가지고 있었고, 2016년에 WiLAN의 자회사인 IPA Technologies Inc.에 관련 특허들을 매각할 수 있었습니다.
(*한편, Siri의 공동 창업자였던 Dag Kittlaus와 Adam Cheyer는 2014년에 Apple을 나와 Siri와 같은 AI 비서를 만드는 Viv Labs를 창업했습니다. 이 Viv Labs가 삼성전자가 작년에 인수한 그 Viv Labs입니다.)
US 6,523,061, US 6,742,021, US 6,757,718 특허의 도면
Siri를 탄생 시킨 특허들
Sri International이 IPA Technologies Inc. 양도한 특허 포트폴리오 중 미국에 등록된 특허는 9건으로 검색 되고 있습니다. 이 중 3건(US 6,523,061, US 6,742,021, US 6,757,718)이 특허 침해 소송에서 사용된 것으로 보입니다. 이 3건 모두 2000년에 출원된 것으로, 구체적인 청구항의 형태만 조금씩 다를 뿐 상세한 설명의 내용은 모두 동일하며음성 인식 AI 비서의 일반적인 동작을 포괄할 수 있는 형태로 작성되어있습니다.
US 6,523,061 특허의 독립항은 사용자의 음성 명령(spoken request)을 해석하여, 복수의 데이터 소스 중 음성 명령을 실행할 수 있는 데이터 소스를 찾아 데이터 소스의 일부를 사용자에게 출력하는 것을 주 내용으로 포함합니다. 특히, faciliator가 각 기능을 수행하는 agent(일종의 모듈, 자연어 처리 agent, VOD 요청 agent, UI agent 등이 상세한 설명에서 예시 됨)간의 데이터 흐름을 제어하고, 각 agent 들의 기능을 등록 관리하는 하는 것을 독립항에서 한정하고 있습니다. 청구항에서 데이터 소스에 대한 구체적인 한정은 없으나, 상세한 설명에서 데이터 소스는 인터넷 사이트, 외부의 서버, 데이터 베이스가 될 수 있고 데이터는 비디오, 오디오 파일이 될 수 있음을 한정합니다.
US 6,742,021 특허의 경우 음성 입력과 다른 형태의 추가 입력을 사용자로부터 받고, 음성 입력과 다른 형태의 추가 입력을 기초로 음성 명령에 대한 해석을 정교화(refine)하는 것을 독립항에서 한정합니다. US 6,757,718 특허의 경우, 음성 명령이 TV를 위한 리모컨 또는 셋탑 박스에 대한 것임을 구체적으로 한정합니다.
청구항 내용에 대응하는 구체적인 발명의 실시 예를 살펴보면 다음과 같습니다. 사용자는 영화 “용서받지 못한 자(unforgiven)”을 찾으려고 합니다. 이때, 사용자는 영화제목을 떠올리지 못 합니다. 결국 사용자는 이렇게 말합니다.
“클린트 이스트우드가 나오고, 감독한 영화를 보고 싶은데, 제목을 모르겠어”
발명의 실시 예에 따르면, 프로그램은 이 문장을 영화를 재생할 수 있는 VOD 재생 agent가 해석할 수 있는 쿼리 형태로 변환합니다. 예를 들면, 프로그램은 사용자가 말한 문장을 ‘감독 필드(field)가 클린트 이스트우드이고, 출연배우 필드도 클린트 이스트우드’인 쿼리로 변환합니다. 프로그램은 변환된 쿼리를 VOD 재생 agent에 전달합니다. 이 쿼리에 해당하는 클린트 이스트우드가 감독이면서 출연한 영화가 여러 개이므로, 프로그램은 쿼리를 만족하는 영화 목록을 사용자에게 출력합니다. 사용자로부터 어느 하나의 영화를 선택(추가 입력) 받은 후, 프로그램은 음성 명령에 대한 해석을 정교화(refine)합니다. 이러한 과정을 통해 프로그램은 “용서받지 못한 자(unforgiven)”를 재생합니다.
향후 전망 및 시사점
세 건의 특허 모두 독립항의 권리 범위가 무척 넓어 음성인식 AI 비서의 일반적인 동작들을 포괄할 수 있어 (피침해자라고 제소된 자들은, 꼭 쓰진 않아도 될듯) 비침해를 주장하기 쉽지 않아 보입니다. 아마도 구체적인 알고리즘 동작에 관한 내용들은 특허 실시 여부의 입증이 쉽지 않아 비교적 입증이 쉬운 한정만을 포함하는 세 건의 특허로 침해 소송을 제기한 것 같습니다. IPA가 사용한 특허들의 출원일(2000년도)이 매우 빠르기는 하나 권리 범위가 넓은 만큼 무효자료가 나올 가능성도 배제할 수 없습니다. 또한, 특허 소송에 사용된 세 건의 특허와 나머지 등록 특허들의 존속기간 만료일이 얼마 남지 않아(2년 내지 3년) 라이센싱 협상 과정에서 특허권자에게 부담으로 작용할 수 있습니다. 아마도 이런 점을 고려하여 IPA Technologies Inc.가 특허권 인수일로부터 6개월만에 침해 소송을 제기한 것이 아닐까 하는 생각도 듭니다. 여러 가지를 종합해 볼 때, 사견으로는 어느 한 쪽이 지나치게 유리하다고는 보기 힘들 것 같습니다.
IPA Technologies Inc.가 제기한 특허 소송을 따라가며, Siri의 탄생 과정도 살펴 보았습니다. Siri의 탄생에는 정부과제로 진행되었던 CALO 프로젝트의 역할이 컸던 것으로 보입니다. 또한, IPA Technologies Inc.의 연구부터 Siri, Inc.의 창업 및 피인수는 ‘연구 – 연구 성과에 대한 특허 출원 – 기술기반 창업 및 상품화’의 싸이클이 잘 진행된 모범적인 사례가 아닐까 합니다. 이러한 과정은 WILUS의 프로젝트 GAUDI가 GAUDIO 랩으로 스핀 오프하는 과정과도 많이 닮아 있습니다. 우리나라에도 이러한 사례가 많이 나오길 기대 해보며, 아울러 GAUDIO 랩의 앞날도 Siri와 같이 탄탄대로 이길 기원합니다.
이 글은 영문 Wikipeda의 Siri 항목[5], CALO 항목[6], fastcompayny.com의 DARPA에 대한 기사[7], Adam Cheyer의 인터뷰[8] 일부를 참조하여 작성되었습니다.
[1] 출처: KBS 드라마 “가족끼리 왜 이래”의 한 장면
[2] 출처:
[3] 출처: pixabay.com
[4] 출처: 2014.09.15 YTN 뉴스 ‘할아버지의 경제력’ 현실화되나?
[5] 출처: https://en.wikipedia.org/wiki/Siri
[6] 출처: https://en.wikipedia.org/wiki/CALO
댓글 없음:
댓글 쓰기