Поиск информации в сети Интернет

 

Подписаться на запрос очень просто — нужно заполнить форму по адресу http://yndex.ru/subscribe/regform.html, после  чего вы получите по электронной почте  имя пользователя и пароль, с которыми сможете зайти на страницу http://yandex.ru/subscribe/. Запросы для подписки создаются  так же, как и обычные запросы  в Yandex.Ru (4юрма аналогична странице расширенного поиска). 

 

На момент подготовки этого материала  система Andex имела самую большую базу проиндексированных документов среди российских поисковых систем. Система обрабатывает более 14 000 000 документов с более чем 60 000 серверов русскоязычного Интернета. 

 

Апорт 

 

 

 Поисковая система Апорт (www.aport.ru) была создана российской компанией Агама на базе собственных уникальных разработок и действует в Интернете с 1996 года. 

 

В 1997 году проект был одобрен московскими  представительствами корпораций Intel и Microsoft и обеспечен их постоянной поддержкой.  

 

Апорт — уникальная двуязычная поисковая  машина. Имея те же основные черты, что  и AltaVista, Апорт содержит данные о намного большем числе современных ресурсов российского Интернета. Также Апорт входит в число ведущих поисковых систем, сертифицированных Microsoft как локальные поисковые системы для русской версии броузера Microsoft Internet Explorer. Очередной этап в истории проекта (конец 1998 года) связан с появлением у компании Агама нового стратегического партнера, привлекшего в Апорт иностранные инвестиции. Это еще более ускорило рост поисковой системы. В течение 1999 г. система Апорт несколько раз поменяла свой внешний вид и включила в себя ресурсы Интернет-каталога @Rus (бывшего «Ау!»). 

 

К третьему тысячелетию компания Агама  выпустила новую, кардинально переработанную версию поисковой системы — Апорт 2000. На ее создание ушло несколько человеко-лет работы квалифицированных программистов.  

 

Успех системы Апорт 2000 во многом определяется стратегической линией, выбранной компанией. Важным шагом в этом направлении  является новая степень интеграции поисковой машины с каталогом-рубрикатором @Rus: Апорт 2000 использует при выдаче результатов поиска аннотации сайтов, составленные редакторами каталога. Подробная аннотация — один из важных элементов нового формата выдачи, позволяющий системе Апорт 2000 сделать поиск информации в Интернете более быстрым и точным. Ведущие мировые ресурсы, работающие в области поисковых услуг, сегодня также развиваются в этом направлении: все больше и больше внимания навигационные системы уделяют участию человека в обработке информации. Если в начале 1996 года только один из шести ведущих поисковых серверов — Yahoo! — использовал в своей базе, а также при выдаче результатов информацию, обработанную людьми, то сегодня по этому пути пошли также MSN Search, Netscape Search, Lycos и AltaVista. 

 

Основные свойства поисковой системы  Апорт: 

 

 

 перевод запроса и результатов поиска с русского на английский и наоборот;  

 

автоматическая проверка орфографических  ошибок запроса; 

 

более информативный вывод результатов  поиска для найденных сайтов (не только первое предложение!); 

 

 

 возможность поиска в любой грамматической форме (что особенно важно для русского языка); 

 

 

 мощный  язык расширенных запросов для профессиональных пользователей. 

 

Дополнительные свойства: 

 

 

 поддержка пяти основных кодовых страниц (разных операционных систем) для русского языка; 

 

 

 технология  поиска с использованием ограничений  по URL (адресу) и дате документов; 

 

поиск ведется не только по тексту, но и по заголовкам, комментариям и  подписям к картинкам и т. д.; 

 

 

 сохранение  параметров поиска и определенного  числа предыдущих запросов пользователя;  

 

объединение копий документа, находящихся  на разных серверах. 

 

Новый формат представления информации в системе Апорт 2000 является, пожалуй, одним из самых удобных среди  крупнейших поисковых систем российского  Интернета. Группировка документов по сайтам и вывод на экран тех  предложений, в которых были обнаружены искомые слова, очень помогают ориентироваться  в найденных документах. ;-?- 

 

AltaVista 

 

Alta Vista (www.altavista.com) — одна из старейших поисковых систем в Интернете. Первый Web-индекс был представлен компанией в 1995 году. В настоящее время индекс AltaVista содержит данные о более чем 250 миллионах документов. 

 

Ядро поисковой системы обязано  своим рождением странной особенности  исследовательской лаборатории  компании Digital Equipment Corp. Сотрудники этой лаборатории зачем-то хранили всю свою электронную переписку за последние 10 лет. Чтобы эта куча информации не просто занимала дисковое пространство, а приносила хоть какую-то пользу, была создана программа для индексирования документов и поиска нужных слов в ворохе пожелтевшей от времени электронной корреспонденции. Система получилась настолько удачной, что впоследствии с успехом перекочевала на просторы Всемирной паутины. 

 

Индекс Alta Vista содержит документы на 25 языках. В область поиска можно включить документы на всех поддерживаемых языках или только в документах на определенном языке, а на специальной странице можно указать несколько языков для поиска на всех выбранных языках одновременно. 

 

Окно поиска AltaVista содержит следующие элементы (рис. 4.3). 

 

 

 Поле  ввода запроса (Find this:). В это поле вводится запрос для поиска интересующей вас информации. Запрос может представлять собой вопрос, утверждение, фразу или просто несколько слов, определяющих предмет поиска. 

 

 

 Советы  и примеры поиска. Под полем  ввода запроса на экран выводится  совет или пример, показывающий способ более эффективного поиска с помощью AltaVista. Советы и примеры периодически обновляются, поэтому с их помощью можно приобрести ценный опыт в таком непростом деле, как поиск информации в Интернете.  

 

Меню выбора языка. С помощью  раскрывающегося списка выбора языка  можно ограничить область поиска только документами, написанными на указанном языке. В настоящее  время поддерживаются 25 языков. 

 

 

 Переключатели области поиска (Find results on:). Переключатели под полем запроса используются для того, чтобы указать системе, где искать интересующую вас информацию. По умолчанию установлен переключатель The Web, означающий, что AltaVista будет искать информацию среди всех ресурсов World Wide Web. В зависимости от предмета поиска можно ограничиться поиском только в новостях (News), зонах предложения товаров через Интернет (Products) или конференциях (Discussion Groups). 

 

 

 Ссылки. В окне поиска имеются ссылки на раздел справочной информации (Help), страницу настройки «семейного фильтра» (Family Filter) и страницу настройки языковых параметров AltaVista (Language Settings). 

 

Вкладки. Над полем ввода запроса  находится пять вкладок. Первая вкладка (Search) открывается по умолчанию и содержит описанные выше элементы. Вторая вкладка (Advanced Search) предназначена для ввода усложненных запросов. Третья, четвертая и пятая вкладки (Images, Audio/МРЗ и Video) предназначены, соответственно, для поиска изображений, звуковых файлов и видео. Если требуется найти элемент мультимедиа вместо текстовой информации, то следует использовать эти вкладки. 

 

AltaVista является одной из крупнейших систем поиска в Интернете. Она обладает развитым языком запросов и отлично подходит для поиска в Сети как специальной информации в определенной области, так и информации более общего характера. 

 

Тематические каталоги 

 

Тысячи путей ведут к заблуждению; к истине — только один. 

 

Жан-Жак Руссо 

 

Кроме поисковых систем в Интернете  имеются также электронные каталоги документов, которые, в отличие от автоматических индексных систем, составляются и упорядочиваются при участии  человека. Конечно, такие системы  содержат информацию о меньшем количестве ресурсов, но форма представления  и методы сортировки материала выгодно  отличают их от большинства индексных  поисковых систем. Ресурсы Интернета  в каталогах упорядочены и  распределены по тематическим категориям, поэтому, если вы интересуетесь какой-то определенной темой, то каталог ресурсов будет для вас полезнее текстовой  поисковой системы. Например, если вас  интересует творчество поэтов «серебряного века», и вы хотите найти не документы  с упоминанием того или иного  поэта, а сайт, полностью посвященный  именно этой теме, то лучше обратиться к каталогу Интернет-ресур-сов. Обширный тематический каталог российских ресурсов имеется на сервере системы Rambler (http://www.rambler.ru), предлагающей пользователю наряду с обычным текстовым поиском обратиться к самым популярным сайтам, распределенным по разнообразным категориям (рис. 4.5). 

 

 

 Хороший каталог Интернет-ресурсов имеется  на сервере http://www. stars, ru, не забудьте также об уже упоминавшемся @Rus (http://www.atrus.ru). Из зарубежных систем для общетематического поиска стоит обратить внимание на Yahoo! (http:// www.yahoo.com), имеющего хороший каталог ресурсов Сети. 

 

Полезные ссылки 

 

Кроме уже рассмотренной зарубежной поисковой системы AltaVista, стоит посетить также такие системы, как: HotBot (http://www.hotbot.com), Infoseek (http:// www.infoseek.com), Lycos (http://www.lycos.com), MSNWeb Search (search.msn.corn), Northern Light (www.northernlight.com). 

 

В зарубежном Интернете имеется  большое число специализированных поисковых систем, среди которых  можно отметить, например, поисковые  узлы для детей: Ask Jeeves for Kids (http://www.ajki'ds.com), Lycos SafetyNet (personal.lycos.com/safetynet/ safetynet.asp), Yahooligans! (http://www.yahooh'gans.com). 

 

Кроме того, существует множество  разнообразнейших поисковых серверов на все случаи жизни. Можно найти  адрес человека, квартиру, гостиницу, адвоката, работу и даже место расположения ближайшего банкомата. Вот, например, серверы  для поиска медицинской информации в зарубежной части сети Medical World Search (www.mwsearch.com) и в России (http://www.rusmedsery.com). Техническую информацию можно найти на сайте www.developer.com или на российском сервере ixbt.stack.net. 

 

В заключение скажем несколько слов о системах метапоиска (или параллельного поиска). Эти системы передают сформулированный пользователем запрос разным поисковым системам, что позволяет выполнять поиск сразу в нескольких системах. Повторяющиеся ссылки, полученные от разных систем, как правило, исключаются из представляемых пользователю результатов поиска. Вот несколько адресов зарубежных систем метапоиска: 

 

 

 MetaCrawler (http://www.metacrawler.com); 

 

 

 Debriefing (http://www.debriefing.com); 

 

 

 Dogpile (http://www.dogpile.com); 

 

 

 Highway 61 (http://www.highway61.com); 

 

 

 ProFusion (http://www.profusion.com); 

 

 

 SavvySearch (http://www.savvysearch.com). 

 

 

  

 

 

  

На начальном этапе развития интернета, число пользователей  сети было невелико и количество информации относительно небольшим. В подавляющем  большинстве случаев пользователями Интернет были сотрудники различных университетов или научных организаций. В то время поиск нужной информации в сети был не столь актуален, как теперь.

Одной из первых попыток организации  доступа к информационным ресурсам сети стало создание тематических каталогов  сайтов. Первым, открывшимся в апреле 1994 г, стал Yahoo. Это еще не было поисковой системой, в современном понимании, т.к. возможность поиска информации ограничивалась ресурсами зарегестрированными в каталоге Yahoo. 

Каталоги ссылок ранее использовались довольно широко, но в настоящее  время практически утратили свою популярность . Объяснение этому очень простое – даже современные, содержащие огромное количество ресурсов каталоги, представляют информацию лишь о довольно незначительной части сети. Для сравнения - самый полный каталог сети интернет - DMOZ содержит информацию о примерно 12.000.000 ресурсов, в то время как база данных самой полной поисковой системы Google состоит из более чем 28.000.000.000 документов. 

Первой полноценной поисковой  системой в 1994г. стал проект WebCrawler. Далее в 1995 году появились поисковые системы AltaVista и Lycos. 

В 1997 году в Стэнфордском университете, в рамках исследовательского проекта, была создана Google - самая популярная поисковая система на данный момент в мире. 

В 1997 году появилась поисковая система - Yandex, лидер в русскоязычной части Интернета.  

На данный момент основными поисковыми системами являются три международных  – Google, Yahoo и MSN Search. Остальные, коих не мало, используют целиком или частично базы и(или) алгоритмы выше приведенных систем. 

В Рунете основной поисковой системой является Яндекс, далее по популярности идут Rambler, Google.ru, Mail.ru и Aport 

 

Поисковая система - это сумма следующих  компонентов

Web server (веб-сервер) – сервер поисковой машины, который осуществляет взаимодействие между пользователем и остальными компонентами системы.

Spider (паук)- программа написанная по принципу браузера, предназначена для скачивания веб-страниц. Браузер предназначен для визуального использования страниц, а паук работает с HTML кодом напрямую. Чтобы посмотреть "сырой" исходник нажмите в меню браузера: Вид- Просмотр HTML кода

Crawler («путешествующий» паук) – программа, которая автоматически уходит по всем внешним ссылкам страницы. Ее задача - поиск не известных (или измененных) документов и в расстановке приоритетов, куда дальше должен идти Spider.

Indexer (индексатор) - программа-анализатор скаченных пауками веб-страниц. Она "разбирает" на части скачанную страницу и анализирует ее элементы, такие как текст, служебные html-теги, заголовки, особенности стилистики и структурные формы

Database (база данных) – хранилище для скачанных и обработанных страниц - общая база данных поисковой машины.

Search engine results engine (система выдачи результатов) – извлекает результаты поиска из базы данных поисковой системы. Именно она решает, какие страницы более соответствуют запросу пользователя и отсортировывает их в нужном порядке. Модуль работает согласно заданным поисковой системой алгоритмам ранжирования 

 

Так-же в поиковые ситемы встроены различные модули: определение IP-хоста сайта, WHOIS - определение имени владельца и сроков регистрации, copyscape - проверка "заимственности" содержания сайта и многое многое другое.