Google завершила работу над Caffeine

Google сообщает о завершении работы над новой системой индексирования веб-сайтов – Caffeine. Эта система на 50% «свежее» предыдущего индекса и представляет собой самую большую коллекцию веб-страниц за всю историю.  

Напомним, что когда вы ищете информацию в Google, вы не работаете с «живой» сетью. Поиск осуществляется по индексу сети, созданному Google. Этот индекс очень похож на предметный указатель в конце книги, помогающий вам найти нужную информацию.  

Зачем нужна новая система индексации? Во-первых, количество информации в сети растет, а форматы ее представления становятся все разнообразнее: видеоролики, изображения, новости и обновления в реальном времени. Страницы стали насыщеннее и сложнее по структуре. Во-вторых, люди ждут намного большего от поиска. Пользователей интересует самая свежая информация по теме, а издатели хотят, чтобы их аудитория могла найти материал сразу же после публикации.

На картинке вы видите, как работала старая система индексации и как теперь работает новая. 

В старом индексе было несколько слоев, некоторые из которых обновлялись регулярнее, чем другие. Большая часть индекса обновлялась каждые две недели. Чтобы обновить слой индекса, нам нужно было проанализировать всю сеть, что создавало задержку между моментом нахождения страницы и тем, когда она становилась доступной пользователю. 

Caffeine, в свою очередь, позволяет анализировать информацию в Интернете «по частям» и непрерывно обновлять поисковый индекс. Это означает, что результаты поиска будут отображать максимально свежую информацию, вне зависимости от времени и места публикации. 

Каждую секунду система обрабатывает сотни тысяч страниц. В базе данных Caffeine содержится порядка 100 млн. гигабайт данных, а новая информация добавляется со скоростью нескольких сотен тысяч гигабайт в день 

Источник: pcweek