네이버, 국내 검색만으로는 여기까지가 한계다.

요 며칠전에 이 블로그에 검색 시장에 대한 내용을 포스팅한 적이 있다.

검색 시장을 장악하는 것이 인터넷을 장악하는 것! (2007. 7. 6)

원래는 그 글에 좀 더 수정을 해서 포스팅을 할려다가 내용에 많은 수정이 있을거 같아서 아예 따로 포스팅을 남겨본다. 검색 엔진의 능력을 얘기해볼려고 하기 때문이다.

검색 엔진에 대해서 흥미를 느낀 것은 훨씬 이전의 일이지만 블로그에 포스팅을 해야겠다고 생각한 것은 역시나 '이것이 네이버다'라는 책을 통해서다. 그 책에서는 네이버의 탄생과 그 비하인드 스토리가 잘 나와있으며 동시에 이해진 사장과 그 주변 인물들과의 상관관계도 잘 나와있었다.

책 리뷰 : 이것이 네이버다 (2007. 7. 7)

그 중에서 박석봉이라는 인물이 눈에 띈다. 바로 현 엠파스의 CEO이며 엠파스의 창업자다. 엠파스가 1997년 처음 세상에 나왔을 때 엠파스는 이미 시장을 장악하고 있었던 야후를 누르기 위해 야후에 직접적인 공격 광고를 때리기 시작했다. '야후에 없으면 엠파스', '야후에서 못찾으면 엠파스로'라는 광고 카피로 야후를 공격하면서 점점 세를 넓혀가더니 끝내는 야후를 뒤집고 국내 No.1 검색엔진으로서 위상을 드높히게 된다.

엠파스의 박석봉 사장은 철저한 엔지니어였다. 엠파스라는 서비스 역시 기술 위주의 서비스였다. 적어도 검색 엔진의 퀄리티만으로 따지면 적어도 네이버보다는 위라고 생각하고 있다. 그리고 그 중심에는 위에서 언급한 박석봉 사장과 또 한명의 핵심 인물이 중심에 있다. 바로 엠파스 검색엔진을 개발하고 네이버의 검색엔진을 한차원 높힌 이준호 숭실대 컴퓨터공학과 교수가 그 주인공이다.

이준호 교수는 한국 검색엔진 역사에 있어서 독보적인 존재며 아직도 이만한 검색엔진 전문가가 없을 정도로 그 실력을 인정받고 있다. 현재 네이버 CTO로 활동중인 것으로 알고 있으며 네이버가 엠파스를 제치고 국내 No.1 포탈 서비스로 발돋움 하는데 있어서 가장 큰 역할을 한 인물로 알려져있다. 자연어 검색을 처음으로 주장한 것이 바로 이 인물이라는 사실이 그것을 증명해준다.

여하튼 박석봉과 이준호의 만남으로 엠파스의 검색엔진은 적어도 국내에서는 No.1이라고 할 수 있었다. 한때는 국내 No.1 검색엔진으로 명성을 날렸기도 했다. 다만 이준호를 네이버로 빼앗긴 것이 박석봉과 엠파스 입장에서는 뼈아픈 실책이라고 할 수 있을 것이다.

여하튼 이런저런 배경하에서 내가 생각하기로 적어도 엠파스의 검색 엔진 기술만은 네이버보다는 우위에 있다고 볼 수 있다. 철저한 기술 위주의 성격상 네이버보다 그 세가 약하다는 평가를 받는 엠파스지만 검색의 범위에 있어서는 네이버보다는 훨씬 우위에 있다고 보기 떄문이다. 그 대표적인 예가 바로 열린 검색이다. 엠파스 내부 자료 뿐만 아니라 네이버와 파란 등 타 포탈 서비스의 자료까지도 검색의 대상으로 했던 그 시도는 정말 훌륭했다. 다만 국내 자료들이 너무 적었고 그렇기에 각 포탈 서비스들의 자료들이 서로 중복되어있었던 부분으로 크게 빛을 못본 대표적인 서비스라고 생각이 든다.

네이버의 경우 자체 DB의 검색은 빠르나 타 웹페이지의 검색은 형편없다고 알려져있다. 하지만 네이버 검색이 위력을 발휘하는 이유는 자체적으로 갖고있는 자료의 양이 타의 추종을 불허할 정도로 압도적으로 많기 떄문이다. 1000만에 가까운 네이버 블로그 뿐만 아니라 네이버를 지금의 규모로 만든 1등공신인 지식iN에 있는 자료의 양은 상상을 초월하는 것이기 때문이다. 얼마만큼 자료를 확보하는 가가 포탈 서비스의 질을 결정하는 단서이기 때문에 네이버는 현재 No.1 포탈 사이트의 명성을 누리고 있는 것이고 그 허접한 검색 엔진으로도 충분히 원하는 자료를 찾을 수 있다는 것이다. 왜? 자료가 워낙 많기 때문에 다른 알고리즘을 쓰지 않아도 자체 자료만으로 충분히 커버할 수 있다는 것이다. 네이버에는 카우봇(Cowbot)이라는 웹 크롤러가 존재한다. 그런데 카우봇에서 수집한 정보보다는 자체 정보에 가중치를 더 두고 있다. 아마도 카우봇에서 수집한 데이터가 썩 만족스럽지 못한듯 싶고 자체 자료만으로도 충분히 커버할 수 있다는 이유때문이리라.


검색 엔진의 목적이 어떤 것인지 다시 한번 생각해 볼 필요가 있다. 구글이던 네이버던 자체적으로 갖고 있는 DB를 검색해서 보여주는 것은 동일하다. 그런데 구글은 웹 크롤러들이 수집한 데이터를 바탕으로 페이지랭크를 이용해서 검색 결과를 보여주고 있다. 즉, 수집한 웹 페이지 들을 중심으로 보여준다는 것이다. 그런데 네이버는 수집된 웹 페이지 중심이 아닌 자사 컨텐츠 중심으로 보여준다. 즉, 구글이 페이지랭크 알고리즘으로 신뢰성있는 웹 페이지를 보여주는데 반면에 네이버는 자사의 서비스 데이터인 지식iN과 블로그, 카페에 있는 데이터들을 먼저 보여주고 뒷부분에 카우봇(네이버 웹 크롤러)이 수집한 웹 페이지를 보여준다. 즉, 자사 서비스 데이터들의 신뢰성을 웹 크롤러를 통해 수집하고 어떤 알고리즘을 사용하는지는 모르지만 어찌되었던 분류한 웹 페이지 검색 결과보다 더 높게 쳐준다는 것이다. 내 판단으로는 스스로 자사의 웹 크롤러 수준과 검색 알고리즘 수준이 떨어짐을 자사 컨텐츠를 먼저 보여줌으로 가릴려고 하는 것처럼 보인다.

엠파스의 열린 검색은 엠파스 스스로가 갖고있는 DB의 양으로는 도저히 퀄리티가 높은 검색 결과를 가져다주지 못하기 때문에 다른 포탈 사이트의 데이터들도 같이 활용하자는 의미에서 시작되었다고 본다. 물론 그 이면에는 네이버로부터 트래픽을 좀 더 뺏어오자라는 생각도 있었을 것이고 말이다. 하지만 열린 검색을 함으로 네이버의 DB 구조 등을 파악하고 검색을 시도하는 것을 좋았다고 생각하고 있다. 네이버는 아예 그런 생각조차 안하고 그저 자기들이 갖고있는 데이터만을 어떻게든 유지할 것인가에만 몰두하고 있었기 떄문이다. 즉, 검색 엔진으로서의 네이버는 그다지 좋은 검색 엔진은 아니라는 생각이다.

네이버의 검색엔진은 이준호 교수를 영입하고 한번 크게 변화한다. 지금의 검색 엔진으로 수준을 높힌 것이다. 하지만 그 이후에는 검색 엔진에 대한 연구나 개발은 그다지 없는듯 하다. 그 이후로 변화가 없기 때문이다. 한때 색다른 검색으로 사람들의 이목을 집중시켰던 '첫눈'을 네이버가 인수했다. 그리고는 많은 사람들은 네이버의 검색이 좀 더 바뀌어질 것이라고 생각을 했다. 하지만 첫눈 인수를 한지 1년이 가까이 되는데 큰 변화는 없는것 같다. 들리는 얘기로는 첫눈 출신의 개발자들을 다른 검색 엔진 회사에 뺏기기 싫어서 인수했다는 얘기도 들린다.

구글이 점점 국내 검색시장에서 영역을 넓혀나가고 있다. 비록 UI 부분에서 국내 포탈 사이트에 밀려서 힘을 못쓰고 있지만 엄청난 양의 DB와 빠르고 정확한 검색 능력을 바탕으로 점점 그 세를 넓혀가고 있다. 구글의 힘은 구글에 등록하지 않는 웹 페이지까지도 웹 크롤러가 찾아가서 정보를 가져온다는 점에 있다. 그렇기 때문에 엄청난 양의 데이터를 자랑하는 것이다. 그리고 검색 결과 역시 빠르며 퀄리티 역시 높다는 점도 장점이다. 내가 엠파스 검색 엔진을 네이버보다 위로 쳐주는 이유도 바로 이런 점이다. 구글 정도는 아니지만 적어도 국내 엔진 중에서는 자기가 갖고 있는 데이터 뿐만 아니라 자기가 갖고있지 않는 데이터까지 어떻게든 포함시킬려는 것은 충분히 훌륭하다는 생각이다. 비록 네이버의 방해로 인해서 그 빛을 많이 잃었지만 말이다.

현재 이 작은 한국 시장 안에서는 네이버가 힘을 발휘할 수 있다고 본다. 하지만 점점 세계로 그 영역을 넓히다보면 네이버가 갖고있는 검색 엔진 기술로는 도저히 구글을 이길 수 없다고 본다. 오히려 엠파스의 검색 엔진이 영역을 세계로 넓히면 더 유리하다고 본다.

즉, 내가 하고 싶은 이야기는 그저 자기가 갖고있는 자료의 검색에 만족하지 말고 좀 더 검색의 영역을 키워 나가야 하며 그렇게 하기 위해서는 검색 알고리즘의 개발과 웹 크롤러를 통한 자료 수집에 좀 더 신경을 써야 한다는 것이다.

ps) 내 개인적인 생각을 쓴 것이다. 너무 '카더라'에 치중했다고 욕하지는 말아줬으면. ^^;