구글, 하루에 20000 테라바이트(TB)의 자료를 처리한다고?

구글이 하루에 처리하는 데이터 용량이 얼마인지 아는가? 최근 구글 엔지니어에 의해 쓰여진 백서(white paper)에 의하면 구글은 웹을 인덱싱하고 검색 결과를 처리하고 광고를 처리하고 그 외의 나머지 일들을 하는데 20000 terabytes(TB, 20000 TB = 20 petabytes, 20PB)의 데이터를 하루에 처리한다고 한다.

Google Processing 20,000 Terabytes A Day, And Growing (TechCrunch)

이 엄청난 양의 처리능력은 야후나 MS와 같은 경쟁사에 대해 엄청난 경쟁력을 지닐 수 있는 기반이 된다. 구글은 매년 10배 이상으로 데이터 처리 능력을 향상시켜왔고 그 처리능력은 현재도 계속 향상되고 있는 진행형이라는 것이 놀라울 뿐이다.



구글은 최근 데이터센터들을 계속 세우면서 처리능력 및 보관용량을 점점 키워왔다. 그리고 구글은 HP, IBM, Sun 등의 대형 브랜드 서버 제품을 사용하지 않고 직접 서버를 제작해서 사용하는 것으로 유명하다. OS는 리눅스를 사용하며 자체적으로 커널을 커스터마이징해서 사용하는 것으로 알려졌다. 10년 가까이 운영하면서 생긴 노하우로 인해 그러한 데이터 처리능력을 자랑할 수 있는 위치에 온 것이다. 대단하다 말할 수 밖에 없다.

최근 구글 애드센스의 정책 변경으로 구글의 위상에 약간의 변화가 있는 것은 사실이지만 전 세계적으로 가장 많이 사용하고 있는 검색엔진이 아직까지 부동의 1위가 구글이라는 사실은 그만큼 구글의 데이터 처리능력이나 검색엔진으로서의 신뢰성이 타 서비스에 비해서 월등하다는 증거라 할 수 있을 것이다.

과연 국내 포탈사이트들이 하루에 20PB 정도의 데이터를 소화해낼 수 있을까? 내 생각으로는 아마 100TB도 어려울 듯 싶다. 아무리 국내 인터넷 인프라가 잘 갖춰져있더라도 처리할 수 있는 데이터는 상대적으로 적기 때문이다. 그래도 국내 포탈사이트가 구글정도까지는 아니더라도 100TB 정도는 무난하게 처리할 수 있는 날이 오기를 바랄 뿐이다.

* 관련글 *
2007/12/26 - [IT Story/IT 이슈] - 무엇이 IT 사회를 이끌어 갈 것인가? 미래 IT 시장의 방향은?
2008/01/07 - [IT Story/IT 이슈] - 올해의 미국 주요 IT 서비스의 기술적인 이슈는?
2008/01/09 - [IT Story/IT 이슈] - 애드센스 정책 변경, 그리고 예전과 틀린 구글의 위상