[더팩트｜서초=황원영 기자] “좋은 문서가 네이버 자체 서비스인지 외부 서비스인지 출처는 중요하지 않다. 웹 상에 존재하는 좋은 문서를 빠르고 정확하게 찾는 것이 네이버 검색의 목표다.”
네이버가 ‘웹검색’을 필두로 검색 시스템을 전면 고도화한다. 네이버는 21일 ‘네이버 검색의 변화’라는 주제로 기자단 대상 설명회를 열고 네이버 검색 기술 및 서비스 변화가 진행되고 있다고 밝혔다.
이윤식 검색본부장은 “지난해부터 신뢰할만한 문서를 검색 결과에 노출하기 위해 웹검색 고도화 작업에 나섰으며 이와 맞물려 검색 시스템 전반에 큰 변화가 생기고 있다”고 말했다. 네이버는 △문서수집시스템 △검색 플랫폼 △웹문서 분석 및 알고리듬 등 세 가지 부문 개선 작업을 내부적으로 추진해왔다.
◆ 문서 수집 시스템 ‘지능적’으로 바뀐다
네이버는 좋은 문서를 보다 효율적으로 수집하기 위해 문서 수집 시스템 전반에 변경을 가한다. 이번에 개편된 수집 시스템에는 사용자 선호도 변화에 따른 지능적인 수집제어 기능이 추가됐다.
이날 발표에 나선 원성재 문서수집랩장은 “웹문서의 증가 속도가 수집 속도를 넘어선지 오래”라며 “검색사업자가 웹문서를 모두 수집한다는 것은 사실상 불가능하다”고 말했다. 그는 “검색사업자가 알고 있는 URL들 중에서 어떤 URL을 수집할지 선택 및 판단할 수 있는 고도의 기술이 절실하다”고 말했다.
네이버는 이용자가 바라는 결과를 빠르고 정확하게 수집하는 것을 목표로, 문서수집 시스템 개선을 진행해왔다. 즉, 과거에는 기존에 수집된 문서 관리에 비중을 둔 반면, 현재는 사용자의 변화를 빠르게 읽고 이를 수용하기 위해 스트리밍 구조에 초점을 맞춘다는 것이다. 원 랩장은 이를 글로벌 웹 문서 수집을 위한 준비라고 설명했다.
◆ 웹검색 개편 ‘타우린 프로젝트’ 가동
네이버는 지난해부터 외부 문서를 이용자들이 쉽고 편리하게 검색할 수 있는 ‘웹검색’ 개편 프로젝트 ‘타우린’을 추진하고 있다. 예를 들어 ‘추석차례상’이라는 키워드 검색 시 ‘국립민속박물관’이 안내하는 페이지를 보여주거나, ‘용산구 인구’ 키워드 검색 시 용산구청이 제공하는 문서 등 공신력 있는 문서의 노출을 강화하는 것이다.
네이버는 타우린 프로젝트 가동 이후 이용자가 ‘웹문서’ 영역에서 톱(top) 20개 사이트로 이동하는 비율이 44%에서 16%로 축소됐다고 밝혔다. 또한 ‘위키피디아’, ‘go.kr’, ‘ac.kr’ 등과 같은 도메인의 사이트도 클릭 비율이 증가했다.
검색연구센터 김상범 박사는 “네이버 내의 문서가 아니라 어떻게 하면 바깥의 좋은 문서까지 잘 찾아 보여줄 수 있을까를 고민해왔다”며 “이를 위해 외부 문서 노출 비중을 늘리는 방향으로 알고리듬을 발전시키고 있다”고 말했다.
◆ 검색 플랫폼 전면 리뉴얼 나선다
네이버는 지난 2011년부터 ‘빅브류(BigBrew)’ 프로젝트를 통해 검색 플랫폼을 전면 리뉴얼해왔다.
이를 통해 서버에 보관되는 문서의 양과 처리의 복잡도가 증가해도 해당 문서의 추가, 삭제, 변경만을 검색서비스에 반영하는 ‘증분식’ 방법을 검색 시스템에 추가했다. 곽용재 검색시스템센터장은 “검색 알고리듬이 복잡해질수록 이를 지탱할 수 있는 빠른 연산 메커니즘을 제공해야한다”고 말했다.
네이버는 외부 데이터 및 실시간성의 중요도가 커지면서 보유문서량, 변경량 등 을 늘려가고 있다. 이번 프로젝트의 핵심개념은 저장-색인-서빙의 3단계를 본산 저장소, 동적 증분 색인, 동적 증분 서빙으로 구축하기 위한 리뉴얼이다. 즉, 사용자가 키워드를 입력했을 때 서버에 저장된 가장 최신 문서를 효율적으로 이용자에게 전달하려는 시도다.
◆ 네이버 검색, 개편 목적은 외부 문서 확대?
이날 이 본부장은 “웹문서 환경 특성상 네이버가 구글 등 해외 검색 엔진과는 다르게 진화했다. 검색엔진을 몇몇 키워드로 단순 비교하는 것은 적절하지 않다”고 말했다. 외산 검색 엔진은 방대한 영문 웹 페이지 문서를 연결하는 방식으로 발전했지만, 국내 검색 서비스의 경우 한글 콘텐츠 부족의 문제를 지식iN(지식인) 등과 같은 서비스를 통해 구축하고 이를 연계하는 방향으로 발전됐다는 설명이다.
네이버는 이러한 한계를 극복하고, 국경 없는 웹 환경에 맞는 글로벌 문서 수집을 위해 변화를 꽤할 예정이다. 검색 사업자 입장에서 내부문서와 외부문서를 구분하는 것은 의미가 없다는 입장이다.
이를 위해 사용자 선호도를 반영한 새로워진 문서 수집 시스템을 도입하고, 웹문서 영역에서 신뢰할만한 출처의 외부 문서 노출 확대, 특정 사이트 편중을 해소하고 위키피디아 등 참여형 백과에 대한 클릭을 증가시킨다.
이 본부장은 “이용자들이 좀 더 신뢰할만한 문서를 보다 쉽게 찾을 수 있도록 검색 기술 고도화 작업을 지속적으로 추진할 것”이라고 말했다.
hmax875@tf.co.kr
비즈포커스 bizfoucs@tf.co.kr
- 발로 뛰는 <더팩트>는 24시간 여러분의 제보를 기다립니다.
- ▶카카오톡: '더팩트제보' 검색
- ▶이메일: jebo@tf.co.kr
- ▶뉴스 홈페이지: http://talk.tf.co.kr/bbs/report/write
- - 네이버 메인 더팩트 구독하고 [특종보자▶]
- - 그곳이 알고싶냐? [영상보기▶]