검색 시장을 장악하는 것이 인터넷을 장악하는 것! (2007. 7. 6)
원래는 그 글에 좀 더 수정을 해서 포스팅을 할려다가 내용에 많은 수정이 있을거 같아서 아예 따로 포스팅을 남겨본다. 검색 엔진의 능력을 얘기해볼려고 하기 때문이다.
검색 엔진에 대해서 흥미를 느낀 것은 훨씬 이전의 일이지만 블로그에 포스팅을 해야겠다고 생각한 것은 역시나 '이것이 네이버다'라는 책을 통해서다. 그 책에서는 네이버의 탄생과 그 비하인드 스토리가 잘 나와있으며 동시에 이해진 사장과 그 주변 인물들과의 상관관계도 잘 나와있었다.
책 리뷰 : 이것이 네이버다 (2007. 7. 7)
그 중에서 박석봉이라는 인물이 눈에 띈다. 바로 현 엠파스의 CEO이며 엠파스의 창업자다. 엠파스가 1997년 처음 세상에 나왔을 때 엠파스는 이미 시장을 장악하고 있었던 야후를 누르기 위해 야후에 직접적인 공격 광고를 때리기 시작했다. '야후에 없으면 엠파스', '야후에서 못찾으면 엠파스로'라는 광고 카피로 야후를 공격하면서 점점 세를 넓혀가더니 끝내는 야후를 뒤집고 국내 No.1 검색엔진으로서 위상을 드높히게 된다.
엠파스의 박석봉 사장은 철저한 엔지니어였다. 엠파스라는 서비스 역시 기술 위주의 서비스였다. 적어도 검색 엔진의 퀄리티만으로 따지면 적어도 네이버보다는 위라고 생각하고 있다. 그리고 그 중심에는 위에서 언급한 박석봉 사장과 또 한명의 핵심 인물이 중심에 있다. 바로 엠파스 검색엔진을 개발하고 네이버의 검색엔진을 한차원 높힌 이준호 숭실대 컴퓨터공학과 교수가 그 주인공이다.
이준호 교수는 한국 검색엔진 역사에 있어서 독보적인 존재며 아직도 이만한 검색엔진 전문가가 없을 정도로 그 실력을 인정받고 있다. 현재 네이버 CTO로 활동중인 것으로 알고 있으며 네이버가 엠파스를 제치고 국내 No.1 포탈 서비스로 발돋움 하는데 있어서 가장 큰 역할을 한 인물로 알려져있다. 자연어 검색을 처음으로 주장한 것이 바로 이 인물이라는 사실이 그것을 증명해준다.
여하튼 박석봉과 이준호의 만남으로 엠파스의 검색엔진은 적어도 국내에서는 No.1이라고 할 수 있었다. 한때는 국내 No.1 검색엔진으로 명성을 날렸기도 했다. 다만 이준호를 네이버로 빼앗긴 것이 박석봉과 엠파스 입장에서는 뼈아픈 실책이라고 할 수 있을 것이다.
여하튼 이런저런 배경하에서 내가 생각하기로 적어도 엠파스의 검색 엔진 기술만은 네이버보다는 우위에 있다고 볼 수 있다. 철저한 기술 위주의 성격상 네이버보다 그 세가 약하다는 평가를 받는 엠파스지만 검색의 범위에 있어서는 네이버보다는 훨씬 우위에 있다고 보기 떄문이다. 그 대표적인 예가 바로 열린 검색이다. 엠파스 내부 자료 뿐만 아니라 네이버와 파란 등 타 포탈 서비스의 자료까지도 검색의 대상으로 했던 그 시도는 정말 훌륭했다. 다만 국내 자료들이 너무 적었고 그렇기에 각 포탈 서비스들의 자료들이 서로 중복되어있었던 부분으로 크게 빛을 못본 대표적인 서비스라고 생각이 든다.
네이버의 경우 자체 DB의 검색은 빠르나 타 웹페이지의 검색은 형편없다고 알려져있다. 하지만 네이버 검색이 위력을 발휘하는 이유는 자체적으로 갖고있는 자료의 양이 타의 추종을 불허할 정도로 압도적으로 많기 떄문이다. 1000만에 가까운 네이버 블로그 뿐만 아니라 네이버를 지금의 규모로 만든 1등공신인 지식iN에 있는 자료의 양은 상상을 초월하는 것이기 때문이다. 얼마만큼 자료를 확보하는 가가 포탈 서비스의 질을 결정하는 단서이기 때문에 네이버는 현재 No.1 포탈 사이트의 명성을 누리고 있는 것이고 그 허접한 검색 엔진으로도 충분히 원하는 자료를 찾을 수 있다는 것이다. 왜? 자료가 워낙 많기 때문에 다른 알고리즘을 쓰지 않아도 자체 자료만으로 충분히 커버할 수 있다는 것이다. 네이버에는 카우봇(Cowbot)이라는 웹 크롤러가 존재한다. 그런데 카우봇에서 수집한 정보보다는 자체 정보에 가중치를 더 두고 있다. 아마도 카우봇에서 수집한 데이터가 썩 만족스럽지 못한듯 싶고 자체 자료만으로도 충분히 커버할 수 있다는 이유때문이리라.
검색 엔진의 목적이 어떤 것인지 다시 한번 생각해 볼 필요가 있다. 구글이던 네이버던 자체적으로 갖고 있는 DB를 검색해서 보여주는 것은 동일하다. 그런데 구글은 웹 크롤러들이 수집한 데이터를 바탕으로 페이지랭크를 이용해서 검색 결과를 보여주고 있다. 즉, 수집한 웹 페이지 들을 중심으로 보여준다는 것이다. 그런데 네이버는 수집된 웹 페이지 중심이 아닌 자사 컨텐츠 중심으로 보여준다. 즉, 구글이 페이지랭크 알고리즘으로 신뢰성있는 웹 페이지를 보여주는데 반면에 네이버는 자사의 서비스 데이터인 지식iN과 블로그, 카페에 있는 데이터들을 먼저 보여주고 뒷부분에 카우봇(네이버 웹 크롤러)이 수집한 웹 페이지를 보여준다. 즉, 자사 서비스 데이터들의 신뢰성을 웹 크롤러를 통해 수집하고 어떤 알고리즘을 사용하는지는 모르지만 어찌되었던 분류한 웹 페이지 검색 결과보다 더 높게 쳐준다는 것이다. 내 판단으로는 스스로 자사의 웹 크롤러 수준과 검색 알고리즘 수준이 떨어짐을 자사 컨텐츠를 먼저 보여줌으로 가릴려고 하는 것처럼 보인다.
엠파스의 열린 검색은 엠파스 스스로가 갖고있는 DB의 양으로는 도저히 퀄리티가 높은 검색 결과를 가져다주지 못하기 때문에 다른 포탈 사이트의 데이터들도 같이 활용하자는 의미에서 시작되었다고 본다. 물론 그 이면에는 네이버로부터 트래픽을 좀 더 뺏어오자라는 생각도 있었을 것이고 말이다. 하지만 열린 검색을 함으로 네이버의 DB 구조 등을 파악하고 검색을 시도하는 것을 좋았다고 생각하고 있다. 네이버는 아예 그런 생각조차 안하고 그저 자기들이 갖고있는 데이터만을 어떻게든 유지할 것인가에만 몰두하고 있었기 떄문이다. 즉, 검색 엔진으로서의 네이버는 그다지 좋은 검색 엔진은 아니라는 생각이다.
네이버의 검색엔진은 이준호 교수를 영입하고 한번 크게 변화한다. 지금의 검색 엔진으로 수준을 높힌 것이다. 하지만 그 이후에는 검색 엔진에 대한 연구나 개발은 그다지 없는듯 하다. 그 이후로 변화가 없기 때문이다. 한때 색다른 검색으로 사람들의 이목을 집중시켰던 '첫눈'을 네이버가 인수했다. 그리고는 많은 사람들은 네이버의 검색이 좀 더 바뀌어질 것이라고 생각을 했다. 하지만 첫눈 인수를 한지 1년이 가까이 되는데 큰 변화는 없는것 같다. 들리는 얘기로는 첫눈 출신의 개발자들을 다른 검색 엔진 회사에 뺏기기 싫어서 인수했다는 얘기도 들린다.
구글이 점점 국내 검색시장에서 영역을 넓혀나가고 있다. 비록 UI 부분에서 국내 포탈 사이트에 밀려서 힘을 못쓰고 있지만 엄청난 양의 DB와 빠르고 정확한 검색 능력을 바탕으로 점점 그 세를 넓혀가고 있다. 구글의 힘은 구글에 등록하지 않는 웹 페이지까지도 웹 크롤러가 찾아가서 정보를 가져온다는 점에 있다. 그렇기 때문에 엄청난 양의 데이터를 자랑하는 것이다. 그리고 검색 결과 역시 빠르며 퀄리티 역시 높다는 점도 장점이다. 내가 엠파스 검색 엔진을 네이버보다 위로 쳐주는 이유도 바로 이런 점이다. 구글 정도는 아니지만 적어도 국내 엔진 중에서는 자기가 갖고 있는 데이터 뿐만 아니라 자기가 갖고있지 않는 데이터까지 어떻게든 포함시킬려는 것은 충분히 훌륭하다는 생각이다. 비록 네이버의 방해로 인해서 그 빛을 많이 잃었지만 말이다.
현재 이 작은 한국 시장 안에서는 네이버가 힘을 발휘할 수 있다고 본다. 하지만 점점 세계로 그 영역을 넓히다보면 네이버가 갖고있는 검색 엔진 기술로는 도저히 구글을 이길 수 없다고 본다. 오히려 엠파스의 검색 엔진이 영역을 세계로 넓히면 더 유리하다고 본다.
즉, 내가 하고 싶은 이야기는 그저 자기가 갖고있는 자료의 검색에 만족하지 말고 좀 더 검색의 영역을 키워 나가야 하며 그렇게 하기 위해서는 검색 알고리즘의 개발과 웹 크롤러를 통한 자료 수집에 좀 더 신경을 써야 한다는 것이다.
ps) 내 개인적인 생각을 쓴 것이다. 너무 '카더라'에 치중했다고 욕하지는 말아줬으면. ^^;
TAG empas,
Google,
Naver,
검색 시장,
검색 엔진,
검색엔진,
구글,
국내 검색,
네이버,
박석봉,
엠파스,
열린검색,
웹 검색,
웹 크롤러,
이준호,
이해진,
해외 검색
댓글을 달아 주세요
저는 네이버 검색엔진 자체가 딱히 나쁘다고 보지는 않습니다만 문제는 네이버는 자사 서버에 있는 컨텐츠의 검색결과에 가중치를 두다 보니깐 정작 중요한 자료가 네이버 쪽의 뻘글에 밀려 뒤로 밀려나는 어처구니 없는 일이 일어난다는 것이지요.
2007/07/09 12:45이런 치사한 정책만 좀 바꿔도 네이버 검색이 많이 개선이 될 겁니다.
그런데 그런 치사한 정책을 안쓰면 네이버는 타 검색엔진에 밀릴수도 있어요. ^^;
2007/07/09 13:11자기네들도 어쩔 수 없는듯 합니다.
그게 바로 기술의 문제입니다. 정작 중요한 (더 관련있는) 자료가 네이버 컨텐츠보다 더 앞에 두기 위해선 검색 기술이 필요한데 그걸 자동으로 하지 못하는 거죠.
2007/07/09 13:16기술의 문제 보다는 철학의 문제인듯 싶다는 생각입니다.
2007/07/09 13:40예전에 김중태님도 시멘팁웹 책에서 비슷한 말씀을 언급하셨지요.
기술은 충분한데 철학의 부재로 이렇다라는. -.-;
결론은 비슷하지만 논리는 약간 다르게 생각합니다.
2007/07/09 13:45외부의 정보를 다량으로 끌어오고 크롤링하는 자체는 현시점에서 그리 대단한 기술이 아닙니다. 물론 상당한 투자가 필요하고 구글은 그런면에서 엄청난 투자를 하고 있지만, 단순히 기술만으로 가능하고 말고의 문제가 아니라는거죠. 이미 망한 알타비스타나 라이코스도 그런면에서는 탁월했습니다.
문제는 구글의 페이지랭크처럼, 검색결과에 가중치를 두고 그것을 소개하는 방법이죠. 이것은 기술적이라기 보단(물론 기술도 필요하지만) 그것을 하겠다는 아이디어와 철학이 중요합니다.
네이버는 무조건 자신의 안에 가두고, 자신의 품안에 것만 중요하게 여기는 기준을 가지고 있고, 그것은 올바르게 가중치를 평가하겠다는 제대로 된 철학이 없는 격입니다. 그런면에서 네이버가 뒤쳐지고 있고, 결국은 스팸이나 여러 노이즈를 걸러내지 못하고 사람들이 점차 네이버 밖에도 눈을 돌리면서 검색의 신뢰성을 내외적으로 떨어트리는 결과를 가져올겁니다.
네이버의 이러한 현상은 단순히 분류작업을 수동으로 열심히 하거나, 새 서비스를 오픈하거나 해서 해결될 문제가 아니기 때문에.... 근본적인 기준을 바꾸지 않는 이상 네이버의 많은 유저수덕에 가려있지만 점차 드러나게 될 문제일 것입니다.
솔직히 아이디어와 철학도 기술적인 측면에 속한다고 봅니다.
2007/07/09 13:56기술이 못받쳐주니 아이디어를 내놓아도 만들 수 없고 그렇기 때문에 구글과 같은 철학적인 면을 못내놓는거라 생각합니다.
어째되었던 네이버는 지금보다는 빨리 변화를 모색해야 할꺼라고 생각이 듭니다.
웹 크롤러가 없을리가요 -_-;;
2007/07/09 13:54대체 그런 확인되지도 않는 카더라 통신의 출처는 어디에서 오는 것인지...
아.. 전에 잘못 얘기들은 것입니다.
2007/07/09 13:58찾아보니 웹 크롤러가 있군요. -.-;
네이버는 Cowbot이라고 하네요. -.-;
본문중에 카더라가 너무 많은데요. R&D는 없는것같다. 웹크롤러없는것 같다. 외부 컨텐츠는 검색결과에 없는것 같다.
2007/07/09 14:01네이버에서 몇번만 검색해보면 확인해 보실 수 있는 내용인데, 없는 사실을 적으실 필요는 없지 않을까 합니다.
R&D가 없는거 같다는 것은 검색 결과나 그런 부분이 이전과 큰 변화가 없고 원하는 검색 결과의 만족도도 그다지 훌륭하지 않았다는 개인적인 판단으로 쓴 얘기입니다. 그리고 R&D가 없다라고는 말 안했습니다.
2007/07/09 14:04또한 외부 컨텐츠는 검색 결과에 없는거 같다고도 말 안했는데 너무 확대 해석하시는게 아닌지?
Naverbot이라는 리퍼러도 제 블로그에 잡히던데...
2007/07/09 14:01그런가요?
2007/07/09 14:05지식iN에서 찾아보니 CowBot이라고 하더라고요. 쩝. -.-;
그런데 왜 내 리퍼러에는 안잡혔지? -.-;
요즘은 모르겠습니다. 오래전에 봇때문에 발생하던 카운트덕분에 고생할때 따로 통계프로그램 달아서 리퍼러 모으다 본거라서 지금은 다를지도 모르죠.
2007/07/09 17:13여하튼 글의 일부를 수정했습니다.
2007/07/09 17:33네이버 지식in 그 방대한 지식의 양에 놀랄때가 한두번이 아닙니다. 제 익스플로러 시작페이지는 네이버.
2007/07/09 19:03제 파이어폭스 시작페이지는 학주니닷컴이고요. ^^;
2007/07/09 19:14익스폴러 시작페이지는 빈페이지입니다. ^^;
제 익스플로러 시작페이지는 다음(Daum)
2007/07/10 08:50자기 블로그가 있는 사람들은 자기 블로그가 시작페이지일듯 하고요.
2007/07/10 09:29그렇지 않다면 포탈 사이트들이 시작페이지일 경우가 많지요.
네이버, 다음, 엠파스, 야후, 어떤 분들은 구글을 시작페이지로 두시는 분들도 계시더군요. ^^;
네이버가 굳이 세계로 나아갈 이유가 있나요? 네이버는 그 자체로 로컬화된 사이트 같습니다. 구글과는 약간 다른...전세계를 통합하지는 않지만 개별적으로는 필요한 정보를 찾는데 최적화된 것 같습니다. 사실 전 구글 검색 자주 이용하지만 국내자료에 관해서는 원하는 정보를 제대로 찾은 적이 없습니다.
2007/07/10 10:47생각의 차이인듯 합니다.
2007/07/10 10:54국내 전용으로 커스터마이징된 네이버 서비스도 좋지만 네이버 스타일의 해외 자료까지 찾을 수 있는 서비스를 원하는 사람들도 많기 때문이고 또한 해외의 구글과 같은 서비스들이 막강한 자본력과 기술력을 이용해서 국내 서비스를 본격적으로 시도한다면 제가 봤을때는 거의 초토화된다고 보기 때문에 미리 네이버가 세계화를 대비해서 준비하는 것이 좋지 않을까 하는 생각을 한 것입니다. ^^;
학주니 회원님의 포스트가 미디어몹 헤드라인에 링크되었습니다. 다음 헤드라인으로 교체될 경우 각 섹션(시사, 문화, 엔조이라이프, IT) 페이지로 옮겨져 링크됩니다.
2007/07/11 16:21논란의 소지가 많은 글일텐데.. ^^;
2007/07/11 16:25여하튼 감사합니다.. ^^;
저도 동감합니다^^
2007/07/24 11:09어제 네이버에 관한 글을 써놓은게 있어 트랙백 쏩니다
트랙백을 타고 가서 글을 잘 읽었습니다.
2007/07/24 13:06답변은 해당 글에 달아놓을께요. ^^;
크게 동감합니다.
2007/10/30 04:50구글의 초거대 데이타 관리능력은 곧 네이버를 우리 기억에서 지우겠지요.
그래도 아직까지는 네이버가 국내에서는 엄청난 영향력을 지니고 있지요.
2007/11/01 10:03변화를 조금씩은 모색하는거 같습니다.
좋은 글, 잘 읽었습니다.
2007/11/07 22:10구글을 통해서 방문했네요. 네이버를 사용했다면 오지 못했을지도? :-D
현재의 네이버는(그리고, 대부분의 국내 사이트)는 사실상 과거의 PC통신과 같은 형태가 되어 있습니다. 따라서, 웹 검색엔진이라기 보다는 그냥 "포탈"이라고 칭하는 것이 맞겠죠. :-)
네이버를 엠파스와 비교하면, 외부 검색엔진 이외에도,내부 연동자료의 질적인 측면에서는 오히려 엠파스가 낫다고 생각됩니다. (예를 들면, 사전. 엠파스는 브리태니커와 민족문화대백과가 나오고, 네이버는 두산백과사전이 나옵니다.)
물론, 양적인 측면과 사용자 편의성에서는 네이버가 나을 수도 있고, 상업적 정보는 네이버가 풍부합니다.
모든 사람들이 고급 혹은 전문적 정보가 필요한 것은 아니기 때문에 "구글이나 엠파스가 무조건 좋고, 네이버는 무조건 뒤떨어진다"고 말할 수는 없는 것이지만, 아무튼 네이버를가 "최고"라고 칭하는 것은 어불성설이겠죠. ;-(
감사합니다.. ^^;
2007/11/09 13:23확실히 네이버가 규모면에서는 크지만 내용은 그다지 충실하지 못한듯한 느낌이네요. ^^
지나가다..제 네이버 블로그에 옮겨도 될지요...
2007/11/18 22:45딱 한마디만 던지겠습니다.
기업의 입장에서 홈페이지는 마케팅의 가장 중요한 수단 중의 하나인데, 네이버로 인해서 시장이 왜곡된 점은 부정할 수 없겠군요.
이렇게 카피를 던지죠.
당신이 네이버를 볼 동안, 바이어는 구글을 보고 있다.
국내사이트들이 구글에 맞추어 최적화를 한다면, 성장률 2% 더 달성은 시간문제이다. 얼마나 많은 기업들이 네이버라는 온실속에 갖혀 정작 더 큰 바다를 못 바라 보고 있는가?
뭐.. 괜찮지요.. ^^;
2007/11/19 10:27