Менеджмент корпорации Google

• Скорость поиска

Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

• Наглядность

Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.

1.2.2. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время[33].

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами [7].

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов[32].

В настоящее время существуют три основные международные поисковые системы – Google, Yahoo и MSN, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo[1].

1.2.3. Модуль индексирования поисковой системы

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ [8].

Ссылки извлекаются из тэгов a, area, base, frame, frameset, и др. Наряду со ссылками, многими роботами обрабатываются редиректы (перенаправления). Каждая скачанная страница сохраняется в следующем формате:

• URL страницы
• дата, когда страница была скачана
• http-заголовок ответа сервера
• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д [31].

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

1.2.4. База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов [9].

1.2.5. Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска [30].

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов [3].

Глава 2. Менеджмент корпорации Google

2.1 Десять базовых принципов Google

«Идеальная поисковая система, – заметил как-то Ларри Пейдж, – сразу поймет, что ищет человек, и найдет именно ту информацию, которая ему нужна». Надо сказать, что даже когда Google только появился, сотрудники уже находили ответ на запрос пользователя быстрее, чем другие поисковые системы того времени. И успех компании был обусловлен именно этим [10].

Однако с тех пор технологии шагнули далеко вперед. И Google, конечно, не стоит на месте. Проблема в том, что создать идеальный поиск практически невозможно, а значит, компании есть куда стремиться. Google продолжит расширять технологические горизонты, чтобы сделать поиск еще более быстрым, точным, доступным и простым. Компания хочет, чтобы любой человек на планете, независимо от того, находится ли он в Москве или в маленькой индийской деревушке, мог задать вопрос и получить на него мгновенный ответ в Интернете.

Google несколько лет назад сформулировали 10 принципов, которые помогали им во всех начинаниях:

1. Первым делом – пользователь

Все, что делают сотрудники компании, они делают  для нас. Создавая новый браузер или внося незначительные изменения на главную страницу поиска, они неизменно стремимся к тому, чтобы сделать нашу жизнь удобнее. При этом на второй план отходят даже вопросы прибыли. Так же они никогда не торговали местами в результатах поиска и информацией пользователей. Рекламные блоки на Google никогда не смешиваются с поисковыми результатами и четко отделены от них. Однако тематически реклама дополняет поиск, помогая пользователям быстрее найти нужную информацию. Работая над новыми продуктами, компания хочет сделать их именно такими, какими их хотите видеть пользователи[29].

2. Лучше делать что-то одно, но делать это очень и очень хорошо

Google – это прежде всего поиск. В компании действует один из крупнейших в мире исследовательских центров, включающий десятки групп, которые занимаются исключительно решением задач, связанных с поиском. Благодаря этому, сотрудники компании действительно знают, что у них получается хорошо, а что можно было бы делать еще лучше. Именно стремление превзойти самих себя позволяет им постоянно улучшать сервис, которым уже пользуются миллионы людей во всем мире. Более того, многое из того, что сотрудники узнают о поиске, применяется и в других своих продуктах, таких как, например, Gmail и Карты Google. «Мы будем и дальше развивать поисковые технологии, чтобы со временем охватить все области человеческого знания и сделать их доступными для всех» - сотрудники компании.

3. Лучше быстрее, чем медленнее

В современном мире время для пользователя ценно, когда он ищет вопрос в сети, хотелось бы сразу найти на него ответ, и Google стремится этому угодить. Компания побила собственные рекорды скорости во много раз, так что доли секунды – это среднее время реагирования на результат поиска. Компания стремится создавать каждый новый продукт, который будет являться мобильным приложением Google Chrome. [11].

4. Нужно верить в интернет-демократию

Поиск Google дает качественные результаты. И происходит это прежде всего благодаря миллионам людей, ежедневно публикующих в Интернете миллиарды ссылок на материалы, которые они считают заслуживающими внимания. Каждая ссылка – это голос, отданный за тот или иной ресурс. Именно эти ссылки помогают Google определять наиболее значимые для вас сайты и показывать их в результатах поиска. Вообще, анализируя качество и значимость того или иного сайта, сотрудники проверяют более 200 признаков и используем довольно много различных техник. Однако мнение пользователей для них является одним из основных критериев выбора. Для подсчета голосов компания используем алгоритм PageRank™, который был создан и запатентован компанией. Таким образом, свободное волеизъявление пользователей помогает компании находить лучшие источники информации, а пользователям получать точные ответы на вопросы пользователей. Каждый новый сайт, который появляется в Интернете, становится сразу и новым источником информации, и площадкой для голосования. И чем больше голосов и источников будет, тем точнее и лучше будет становиться поиск. Точно также работает и идея о программном обеспечении с открытым исходным кодом. Google полностью поддерживает это направление в разработке, потому что именно открытые технологии – это инновации, которые создаются в результате совместной работы множества независимых программистов. И именно такие решения пройдут проверку временем и смогут помочь людям [28].

5. Чтобы пользоваться Интернетом, не нужен компьютер

Темп жизни ускоряется. Общество становится все более мобильным, и старого доброго великана настольного компьютера уже недостаточно. Информация нужна здесь и сейчас. И на сцену выходит мобильный Интернет. Google полностью осознает важность мобильных технологий для современного человека. Google хочет, чтобы пользователи могли искать информацию, проверять почту, смотреть видео и работать с документами, даже если у вас под рукой только мобильный телефон. Именно для этого Google создают мобильные сервисы. Именно для этого была создана открытая мобильная платформа Android, дающая огромные возможности пользователям, программистам и производителям мобильных устройств. Ее главное преимущество заключается в том, что любой человек или организация может дорабатывать и изменять ее абсолютно бесплатно и практически без ограничений. Благодаря открытости Android, программисты могут писать приложения, идеально работающие на любых Android-устройствах, производители – создавать новые модели мобильных телефонов в разных ценовых сегментах, а пользователь получает широчайший выбор мобильных программ и устройств [12]. В результате выигрывают все.

6. Бизнес должен быть полезным для всех

Google – это коммерческое предприятие. Два основных источника дохода – это предоставление поисковых технологий корпоративным клиентам и продажа рекламы на страницах с результатами поиска Google и десятках тысяч других сайтов. Рекламодателями компании являются сотни тысяч человек и компаний по всему миру. Чтобы разместить рекламу на Google или через Google, требуется всего лишь один инструмент – AdWords. Кроме того, компания помогаем заработать и владельцам сайтов. Используя систему AdSense, они могут размещать на своих веб-ресурсах рекламные блоки, в которых появляются объявления рекламодателей Google. При этом содержание объявлений соответствует тематике сайтов, а доход от рекламы компания делит с их владельцами. Но главная задача Google – сделать рекламу полезной не только для рекламодателей или владельцев сайтов, но и для всех интернет-пользователей [27]. Именно с этой целью компания разработала для самих себя несколько простых правил:

• Реклама должна появляться рядом с результатами поиска, которым она соответствует тематически. Только тогда она будет полезной, помогая пользователю быстрее найти то, что он ищет. Если у пользователей нет объявлений для какого-то запроса, просто реклама не показывается.
• Реклама не должна раздражать или мешать. Именно поэтому пользователи никогда не увидят на Google всплывающих окон. Более того, простое текстовое объявление, показанное рядом с соответствующими результатами поиска, привлечет гораздо больше людей, чем яркий, мигающий баннер, не имеющий ничего общего с содержанием веб-страницы.
• Рекламные объявления на сайтах Google всегда четко определены как "рекламные ссылки". Google стремится предоставлять объективные результаты, и этому ничто не должно мешать. Компания никогда не манипулирует рейтингом с целью предоставления более высоких позиций объявлениям наших партнеров. Никто не может купить более высокий показатель PageRank. Пользователи верят в объективность Google, и кратковременная прибыль для компании не стоит утраченного доверия.

7. Информации много не бывает

Когда Google проиндексировал больше HTML-страниц в Интернете, чем любой другой поисковик, инженеры компании обратятся к другим, менее доступным источникам информации. Так появились функции поиска по телефонным номерам, адресам, словарям и справочникам. Затем Google пошел еще дальше. И теперь появилась возможность искать на Google новости, патенты, статьи в журналах, картинки, книги, видеоролики и многое-многое другое [13]. И это еще далеко не конец.