검색엔진도 AI 돌풍! 최후의 승자는?

최근 MS(마이크로소프트)는 검색엔진 Bing에 ChatGPT를 적용한 새로운 검색 서비스를 선보였습니다. 이를 보고 일각에서는 구글이 창사 이래 최대 위기를 맞이했다고 표현하기도 합니다. 이번 글에서는 ChatGPT가 검색 시장에 끼친 영향과 검색엔진의 미래에 대해 살펴보겠습니다.

ChatGPT, 구글 검색을 대체할 수 있을까?

ChatGPT는 사람이 사용하는 언어의 의미를 이해해 답변을 출력하는 방식의 서비스입니다. 경우에 따라 정확하지 않은 결과를 내보내기도 하는데요. 그럼에도 ChatGPT가 검색 시장의 게임체인저가 될 것이라는 전망은 왜 나타나는 것일까요?

구글 검색은 글로벌 검색 시장 점유율 중 93%를 차지합니다. 나머지는 유튜브가 약 3%, MS의 Bing이 약 1.5% 정도인데요. 구글 검색은 앞으로도 긴 시간 동안 지금과 같은 지위를 누릴 것입니다. 하지만 사용자 검색 여정을 바꾸는데 ChatGPT가 막대한 영향을 끼칠 가능성이 큽니다. 아마존의 검색 점유율이 증가할 수 있었던 이유는 소비자가 상품을 구매하고자 할 때 가장 먼저 찾는 서비스였기 때문입니다. 유튜브도 마찬가지입니다. 그러나 모든 전자상거래와 동영상 부문에서 구글 검색 점유율이 낮아지지 않는 건 아마존과 유튜브가 모든 상품, 모든 동영상을 취급하는 것은 아니기 때문입니다. 아마존에서 상품을 검색해도 원하는 결과를 얻지 못하거나 부족한 정보를 보충하려는 소비자는 구글을 통해 재검색을 하게 됩니다.

ChatGPT가 검색 시장에서 차지할 영향력도 마찬가지입니다. 사용자는 ChatGPT로 원하는 정확한 정보를 얻지 못하거나, 부족한 정보를 구글로 재검색해야 할 수도 있습니다. 그러나 검색을 시작하기 전에 ChatGPT를 거친다는 것이 핵심입니다. 검색어의 생산은 인간과 인간의 커뮤니케이션에서 발생합니다. ChatGPT 영향력이 날로 높아진다면, 검색어라는 아이디어가 발생하는 채널이 구글 검색에서 ChatGPT로 대체될 수 있다는 것이죠. 예시를 들어보겠습니다.

화성을 배경으로 하는 소설을 쓰고자 하는 사람이 있다고 가정하겠습니다. 이 사람이 아이디어를 얻을 때 구글 검색은 큰 도움이 되지 않습니다. 반면, ChatGPT는 화성에 대한 정보를 토대로 브레인스토밍을 시도합니다. 이 과정은 아래 예시처럼 반복할 수 있습니다.

이를 통해 사용자는 화성의 온도, 압력, 기압, 일조량, 특수한 피부나 턱, 고체 수소와 같은 키워드를 얻을 수 있습니다. 이에 대해 정확한 정보를 원할 때는 구글 검색을 추가로 활용할 수 있습니다. 이는 꼭 소설과 같은 창작물에 국한되지 않습니다. 부족한 배경지식으로 탐색을 시작하려는 사람에게 어떤 도구보다 빠른 실행을 지원하므로 사용자 여정에서 검색어 검색보다 앞서 존재할 수 있고, 심지어 ChatGPT의 답변에 만족해 구글 검색으로 전환되지 않을 여지까지 생깁니다. 구글 검색을 잠식할 조건을 갖춘 셈이죠. 이는 구글의 최대 수익 모델인 광고 사업에 악영향을 줄 수 있습니다.

ChatGPT로 본 AI 검색엔진의 미래

구글이 ChatGPT의 보조 수단이 되지 않으려면 기존 검색엔진에 ChatGPT를 결합해야 합니다. 사용자들이 지금처럼 구글을 벗어나지 않고 브레인스토밍과 검색을 동시에 행할 수 있게 하는 것이죠.

최근 구글은 AI 검색 서비스인 ‘바드’를 공개했습니다. 뉴욕타임즈가 입수한 구글 보고서에는 ‘2022년 12월만 하더라도 우리의 AI 기술을 출시하는 것은 시기상조라고 생각했으나 상황이 바뀌었고, 개발하자마자 시장에 공개할 것’이라고 적혀 있었습니다. 올해 구글이 공개한다고 밝힌 큰 AI 프로젝트는 20개가 넘습니다. ChatGPT로 발단이 되었으나, 구글 또한 더 큰 규모의 AI 경쟁을 준비하고 있는 것이죠.

ChatGPT는 text-to-text 생성 모델입니다. 이를 검색관점에서 보면 정보의 탐색이 아닌, 정보를 조합해 새로운 정보를 만드는 것에 가깝습니다. 즉, 사용자가 원하는 정보를 만들어낼 수 있느냐가 핵심입니다. 쉽게 설명하면 기존 검색엔진에서 대한민국 인구수를 검색하면 통계청 인구수 자료를 노출하지만, ChatGPT는 인구수 자료를 토대로 설명하는 텍스트를 생성해 출력합니다. 만약 이 질문에 text-to-image가 더해지면 어떨까요? 통계청 자료로 연도별 인포그래픽을 그려서 출력할 것입니다. text-to-video라면 인구 변화를 모션 그래픽으로 출력할 수도 있을 것입니다. 기존에 만들어진 정보도 함께 말이죠. 그리고 이 정보를 얻기 위한 상호작용을 챗봇이라는 인터페이스를 통해 반복합니다.

 You.com

You.com은 2021년에 등장한 검색 엔진입니다. You.com은 세일즈포스(미국 고객관계관리 소프트웨어 기업) AI 책임자였던 브라이언 맥캔(Bryan McCann)과 자연어 연구원이었던 리처드 소처(Richard Socher)가 공동 설립한 회사입니다. 설립 초기 2,000만 달러의 투자를 받으면서 주목받았죠.

You.com의 가장 큰 특징은 AI 기술을 검색 결과에 적극적으로 반영한다는 점입니다. 그들은 ChatGPT와 비슷한 GPT 기반의 검색 챗봇인 ‘YouChat’을 검색 서비스에 결합했습니다. 검색어를 입력하면 구글처럼 일반적인 검색 결과를 보여주는 것과 함께 텍스트를 YouChat으로 옮길 수 있는 메뉴를 함께 제시합니다. 원하는 결과물을 바로 찾지 못할 경우 YouChat으로 필요한 정보를 생성하는 것입니다.

아직 성능은 뛰어나지 않지만, 구글이나 Bing에 대화형 검색이 도입된다면 어떤 형태가 될 것인지 미리 경험해볼 수 있습니다. 뿐만 아니라 You.com은 text-to-image 생성 모델인 Midjourney(이미지 생성 AI), Stable Diffusion(Stability AI에서 오픈소스 라이선스로 배포한 딥러닝 기반 이미지 생성 AI)도 제공합니다. 이미지 검색 결과가 만족스럽지 않다면 Midjourney, Stable Diffusion 중 하나를 택해 필요한 이미지를 생성합니다.

ChatGPT가 포문을 연 AI검색 경쟁의 핵심은 You.com의 개념을 얼마나 더 빨리 고도화하고 실용적으로 만드는가에 있습니다. 언어 모델의 도움으로 브레인스토밍부터 레퍼런스 탐색, 드래프트 작성, 이미지 생성까지 효율적으로 돕는 도구가 될 테니까요.

차세대 검색엔진 서비스

ChatGPT는 특정 전문 분야에 대해 부족한 정보를 제시한다는 한계점이 있습니다. 언어 모델은 미묘한 차이로도 전문성에 대한 신뢰도를 무너뜨릴 수 있는데요. 따라서 많은 기업이 ChatGPT처럼 포괄적인 모델이 아닌, 특정 분야에 최적화된 검색 서비스에 AI를 접목하고 있습니다.

 논문 및 연구 문서에 특화된 탐색 검색 서비스, Iris AI

노르웨이의 스타트업인 Iris AI는 연구자들을 위한 탐색 서비스와 이 서비스에 탑재하는 학술 논문/특허/기타 기술 등의 연구 문서를 분류/탐색/요약하기 위한 대규모 언어 모델을 개발합니다.

Iris AI의 공동 창립자이자 CEO 아티나 쉬줄 아빌고르(Anita Schjøll Abildgaard)는 “ChatGPT와 같은 초거대 언어 모델은 분야별 지식이 부족하기 때문에 과학 연구에는 적합하지 않다. Iris AI는 검증된 논문 등의 문서로 언어 모델을 개발하고, 과학 연구에서 신뢰할 만한 시스템을 만든다”며 ChatGPT와 Iris AI의 차이를 설명했습니다.

개발자를 위한 AI 검색 서비스, Phind

‘Phind(파인드)’는 개발자를 위한 AI 검색 서비스입니다. 전 세계 주요 개발자 사이트의 데이터를 학습한 언어 모델을 활용한 점이 특징입니다. 빠르고 자세한 답변이 가능하고, 코드 스니펫(Code Sinppet, 프로그래밍 된 코드의 작은 일부)을 요약해 개발자가 질문의 답을 찾기 위해 검색어를 싸매고 돌아다니지 않아도 됩니다.

다음은 ‘How can I configure the heap size when starting a Spring Boot application with embedded Tomcat?’이라는 같은 질문에 대한 구글, ChatGPT, Phind의 검색 결과를 살펴보겠습니다.

구글의 검색 결과도 우수하지만, ChatGPT는 요약과 예제까지 간략하게 보여줍니다. Phind는 질문의 의도에 더욱 가까운 설명과 예제, 참고할 수 있는 문서를 함께 정리해줍니다.

구글 검색은 단어 검색에 강점이 있습니다. 필요한 단어만 입력해도 원하는 결과물을 보여주기 때문에 수년 동안 그 효율성을 의심할 여지가 없었습니다. ChatGPT와 Phind가 구글 검색과 다른 점은 학습한 데이터를 기반으로 새로운 검색 결과를 생성한다는 점입니다. 특히 Phind는 사용자가 여러 사이트를 브라우저 탭에 나열하지 않도록 최대한 질문에 걸맞은 답변을 검색 결과로 생성합니다. 질문이 자연어에 가까울수록, 질문 의도를 명확하게 전달할수록 더 나은 답을 기대할 수 있습니다.

Phind는 개발자를 위한 검색을 표방하지만, 비타민C가 신체 면역 체계를 어떻게 강화하는지, 독수리의 크기는 어느 정도인지 등 일반 상식도 검색할 수 있습니다. 만약 ChatGPT의 인터페이스가 챗봇이 아닌 검색 서비스였다면 Phind에 가까운 모습이었을 것입니다.

 새로운 MS Bing

최근 MS는 ChatGPT와 같은 생성 모델을 탑재한 새로운 검색엔진 ‘Bing(빙)’을 공개했습니다. Bing으로 이용할 수 있는 기능은 ChatGPT와 거의 비슷합니다. 이전처럼 일반적인 검색 결과를 보여주면서 특정 질문에 대해 요약된 답변을 추가로 보여주는데요. 이 추가 답변이 AI가 생성한 결과입니다. 사용자는 검색 결과와 AI 생성 답변을 한 번에 볼 수 있습니다.

ChatGPT와 다른 점은 기존 챗봇처럼 검색 결과 아래에 예상 답변을 제공하고, 생성한 답변의 출처 표시 및 출처의 웹사이트를 모아서 보여주는 것입니다. ChatGPT에 비해 대화보다는 질문에 대한 답을 검색 결과처럼 제공하는 데 중점을 두고 있습니다.

 ChatGPT 대항마? 구글의 야심작 Bard

최근 구글은 ChatGPT와 경쟁하기 위해 LaMDA 기반의 챗봇인 ‘Bard(바드)’를 공개했습니다. 하지만 티저에서 미항공우주국(NASA)의 제임스 웹 망원경의 발견에 대해 9살 아이도 이해할 수 있게 설명해달라는 요구에 ‘태양계 밖 행성의 첫 번째 사진을 찍는 역할을 했다’라는 오답을 내놨습니다. 구글은 ‘이런 오류 때문에 엄격한 테스트가 필요하며, 내부적으로 현실 정보에 근거한 높은 답변의 품질과 안정성 기준을 준수한다’라고 해명했습니다.

MS가 생성 모델을 전면에 내세운 Bing을 선보인 와중에 Bard의 오답이 부각된 것은 구글로서는 좋은 출발이 아니었습니다. 다만, Bard는 Bing과 비교했을 때 확연한 차별점이 있는데요. 날씨나 스포츠 경기 결과처럼 실시간으로 처리해야 하는 질문에도 잘 답변하고, 식당 예약이나 항공권 예매처럼 답변 이상의 역할을 수행할 수 있습니다. Bard와의 대화를 통해 텍스트를 생성하는 것 이상의 결과를 얻을 수 있어 향후 활용 영역이 주목받고 있습니다.