Сравнительно недавно мир увидел новое творение от корпорации Яндекс — Yandex.Browser. Базируется на обычном движке Chromium, а интерфейс был полностью переработан и отличителен.

Практически все характеристики новой программы находятся на приличном уровне и кроме этого разработчики от Яндекс внедрили туда несколько собственных новых технологии. Обладает целой серией сервисов, которые были ранее выпущены под эгидой Yandex.

Имеет ряд преимуществ: улучшена функция проверки орфографии, можно осуществлять просмотр документов прямо в браузере (поддерживаются такие популярные форматы, как DOCX, PDF, PPTX и другие), можно переводить слова прям на странице и многое другое. Помимо всего прочего присутствует режим «Турбо», мир увидел его значительно ранее в функциях другого популярного браузера от Opera. Когда данный режим активирован, софт получает все данные в сжатом виде, и не будет загружать самые «объёмные» элементы. Таким образом, можно очень значительно сократить объём всей поставляемой информации и соответственно порядком ускорить загрузку страниц. Попробуйте программу в действии, нужно всего-то скачать Яндекс браузер на компьютер и установить, запустив скаченный exe файл.

У Яндекс браузера отсутствует полноценная галерея. Стоит обратить внимание на раздел «Дополнения», там есть пятнадцать разных дополнений. Кроме этого, можно интегрировать дополнения от Chrome, они не коим образом не конфликтуют с содержимым Yandex.

Немного истории.
Веб-обозреватель впервые появился на просторах сети Интернета в октябре 2012 года. На сентябрь 2013 года приложением уже пользовалось более 5 миллионов человек. Каждый день количество пользователей Яндекс.Браузера растет и растет, стоит отметить, очень быстро. Уже сегодня, в России и странах СНГ, Yandex.Browser вышел в лидеры и занял первое место по числу пользователей.

Многие пользователи хвалят приложение за стабильную работу, хорошую скорость и уникальный набор функций. Следует отметить, что поиск по страницам работает не только по точечным совпадениям, но и по другим формам (фразы или слова). Подобная функция отсутствует в любых других веб-обозревателей. Вместо «горячих» клавиш можно использовать жесты мышью (закрыть вкладку, восстановить вкладку, перейти вперёд и т.д.). В адресную строку можно вводить не только ссылки на нужные сайты, но и поисковые запросы.

Браузер от Яндекса анализирует ваши запросы и предоставляет поисковые подсказки. Новая технология также порядком экономит время и автоматически исправляет ошибки в адресе сайта. При этом вовсе не обязательно вбивать точный адрес, приложение знакомо со всеми популярными сайтами и будет их открывать, сразу после того, как вы введёте название.

Приятным дополнением к интерфейсу веб-обозревателя является панель быстрого запуска. На ней будут располагаться плитки с ссылками на те сайты, которые вы будете посещать чаще всего. Кроме этого, будет отображаться другая полезная информация: количество не просмотренных сообщений в почте, погода, пробки, новости и многое другое. Это очень удобно.

Безопасность.
Сейчас в сети можно встретить очень много разных сайтов с троянами и прочим вредоносным ПО, но Яндекс.Браузер предоставляет своим пользователям солидный уровень безопасности, поскольку сотрудничает с не безызвестной лабораторией Касперского, и всегда будет осуществлять проверку тех ресурсов, которые вы будете посещать на наличие вредоносных программ. Помимо всего прочего браузер от Яндекса будет всегда сохранять вкладки, настройки и многое другое. Вы сможете получить к ним доступ с любого компьютера, просто нужно будет активировать свой профиль.

Интернет сегодня - это кладезь информации планетарных масштабов, где каждый житель Земли способен найти практически всё, что ему требуется. Обладая немыслимыми объёмами данных и сведений, человечество также имеет все необходимые средства для максимально быстрого и комфортного поиска того, что требуется каждому в определённый момент времени. Этими средствами являются поисковые системы, которыми каждый из нас пользуется ежедневно: Google, Yandex, Rambler, Yahoo и многие другие технологии со своими уникальными возможностями под разные предпочтения.

И объединяет их ровным счётом одно простое свойство - ни одна из систем не является неким сверхтехнологичным центром, хранящим в своих ресурсах невообразимое количество информации на все случаи жизни. Все они по своей сути являются путеводителями для пользователей по огромным просторам Интернета и работают по определённым программным алгоритмам.

поисковой машины «Яндекс»: базовые основы

Функционал «Яндекса» позволяет довольно гибко сортировать все получаемые результаты с учётом конкретных доменов, регионов, языков и многих других параметров. Формат вводимых данных и получаемые результаты могут настраиваться и фильтроваться пользователями при помощи простых комбинаций символов. Благодаря этому существенно повышаются эффективность и удобство поиска.

Каждый запрос от пользователя сначала отправляется на наиболее свободный сервер (сразу после автоматического анализа на загруженность системы), после чего его обработкой занимается программа «Метапоиск». Софт в реальном времени проводит анализ введённой информации в поисковой строке на предмет лингвистики, географического положения пользователя, принадлежности запроса к категориям «наиболее популярных»/«недавно заданных» и т. д. Результаты поиска для этих случаев на некоторое время сохраняются в кэше «Метапоиска», благодаря чему выдача необходимой информации осуществляется быстрее.

В случае поиска более редкой информации, сведения о которой в кэше отсутствуют, обработка запроса перенаправляется к другому программному механизму - «Базовый поиск». Тот анализирует всю базу данных, разбитую по различным дублирующимся серверам для ускорения процессов поиска, и выдаёт найденную информацию обратно «Метапоиску».

Все полученные данные в итоге упорядочиваются и предъявляются пользователю в готовом, удобно воспринимаемом виде. Весь процесс в среднем занимает максимум 1-2 секунды.

Правильный поиск в «Яндекс»: язык поисковых запросов и особенности синтаксиса

Наличие определённых слов в полученных результатах, а также их взаимное расположение можно легко настраивать при помощи специальных операторов, формирующих язык поисковых запросов «Яндекса».

Оператор	Функция	Пример использования
+	Отображение результатов по тем ресурсам, в которых обязательно есть обозначенное оператором слово. Язык запросов поисковой системы «Яндекс» допускает многократное использование при наличии двух или более слов в запросе.	всемирная+паутина+интернет «Яндекс» выдаст те результаты, которые точно содержат слова «паутина», «интернет» и, возможно, «всемирная».
"	Поиск по конкретно заданной форме или последовательности символов.	"уходит далеко в багровый закат" Результаты поиска обязательно будут содержать в себе данную фразу без изменений.
*	Используется только лишь с предыдущим оператором. Данный символ позволяет организовать поиск цитаты с пропущенными словами.	уходит *в багровый закат Поисковик выдаст результаты с данной цитатой и пропущенным словом. уходит ** закат Поисковик выдаст результаты с данной цитатой и пропущенными словами.
&	Поиск результатов с предложениями, которые содержат объединённые данным оператором слова.	красиво & интерьер & дом Пользователю будут представлены результаты, в которых как минимум одно предложение содержит данный набор слов (их можно задавать оператором от двух и более).
&&	Поиск ресурсов, которые просто содержат данный набор слов.	референдум && Великобритания && Европа & кризис Будут выданы все результаты, содержащие эти слова вне зависимости от расстояния и расположения друг к другу.

По признакам служебной информации

Существуют операторы поисковых запросов «Яндекс» для уточнения сведений по таким параметрам, как: заголовки, типы файлов, хост, домены, дата последнего изменения страниц результатов и их язык.

Оператор	Функция	Пример использования
title:	Поиск по документам, содержащим слова из запроса в заголовках.	title: машиностроение Будут найдены документы со словом «машиностроение» и его словоформами в заголовке. title: (машиностроение ФРГ) Будут найдены документы с заголовками, содержащие слова «машиностроение» и «ФРГ» (для запросов, в которых нужно скомбинировать для поиска два и более слова, необходимо ставить скобки).
mime:	Поиск по документам определённого формата.	шаблон резюме mime:docx Результатами поиска будут все документы формата.docx, которые содержат слова «шаблон» и «резюме».
host:	Поиск по страницам, которые размещены на определённом хосте.	законопроект host:www.yandex.ru На хосте www.yandex.ru будет проведён поиск по всем документам, содержащим слово «законопроект».
domain:	Поиск по страницам всего домена.	хилари клинтон host:www.whitehouse.gov На домене www.whitehouse.gov будет проведён поиск всех документов, содержащих слова «хилари» и «клинтон».
date:	Поиск по страницам с учётом даты их последнего изменения (использование языка запросов «Яндекс» предусматривает также отсутствие значения дня и месяца, если их заменить символом *).	событие дня date:20160624 Будут найдены все документы, содержащие слова «событие» и «дня», а также их словоформы, дата последних изменений которых соответствует 24.06.2016 саммит date:20150819..date20150909 Поиск результатов, дата последних изменений которых находится в интервале от 19.08.2015 до 09.09.2015 круиз date:>20160611 Отображаются все результаты, дата последних изменений которых позднее 11.06.2016 < - дата последних изменений ранее указанного срока >= - последние изменения сделаны позднее или в этот же указанный срок <= - последние изменения сделаны ранее или в этот же указанный срок
lang:	Поиск по страницам на конкретно указанном языке: ru - русский be - беларуская uk - українська en - english fr - français de - deutsch kk - қазақ tt - tatarça tr - türkçe	green card lang:en Поиск англоязычных документов по данному запросу.

Практически любой зарубежный аналог имеет подобный язык запросов. Язык поисковых запросов «Яндекса», в свою очередь, от конкурентов по большому счёту отличается чуть более расширенными возможностями и функциями.

Морфологические уточнения

По умолчанию поисковик предлагает пользователю широкий спектр выдаваемых результатов по введённому запросу, основу чего составляет не только само введённое слово/фраза, но и различные его формы (падеж, род, склонение, число и т. д.). Также учитываются вариации части речи (будь то существительное, глагол, прилагательное и т. д.) и регистр первой буквы. К примеру, при вводе в поисковую строку «атаковал» пользователь получит информацию и по прочим глагольным формам: «атаковать», «атакую», «атакован» (но однокоренные слова наподобие «атака», «атакованный», учитываться не будут). При этом будут показаны результаты как с заглавной первой буквой в запрошенном слове, так и с маленькой.

Практически все особенности языка запросов различных поисковых систем основаны на подобных принципах работы. В «Яндексе» ограничение по морфологическим признакам может пригодиться для более точной работы поисковика:

Оператор	Функция	Пример использования
!	Поиск слова исключительно в заданной форме. Язык поисковых запросов «Яндекса» допускает многократное использование оператора при наличии двух или более слов в запросе.	!интернет «Яндекс» выдаст все результаты в заданной форме запроса с заглавной и строчной первой буквой. !Интернет «Яндекс» выдаёт результаты по заданной форме запроса, начинающиеся исключительно с заглавной буквы.
!!	Чуть более широкий поиск слова и производных его форм.	!!пень Будут выданы результаты любой из форм этого слова («пнём», «пну», «пеньком» и т. д.), однако результаты со схожей словоформой глагола «пинать» будут исключены.

Специальные методы подбора ключевых слов под контекстную рекламу

Языки поисковых запросов также распространяются далеко за пределы пользовательского сегмента, награждая простыми рабочими инструментами и рекламодателей. В частности, для подобных целей «Яндекс» имеет на вооружении целый ряд алгоритмов и операторов, позволяющих эффективно продвигать свои сайты и услуги в поисковой системе.

Логика показа контекстной рекламы на запросы пользователя основана на подборе слов, тематически относящихся к предмету этого объявления, а также на иных их словоформах. Например, подобные методы позволяют показывать объявление о юридических услугах не только лишь в ответ на «юридические услуги в городе N», а ещё и тем пользователям, которые делали схожие запросы (будь то «адвокаты город N цены», «адвокатские конторы», «юрист город N дёшево» и т. п.). В результате реклама будет отображаться более широкой аудитории пользователей, и это, соответственно, потенциально привлечёт больше внимания к ней.

Однако объявления должны быть показаны лишь тем пользователям, которые делают тематически смежные запросы в поисковике. К примеру, реклама юридических курсов никак не будет эффективной, если она будет показана пользователям, нуждающимся в услугах адвоката на данный момент. Регулирование подобных моментов осуществляется с помощью целого перечня операторов в поисковой системе «Яндекс». Описание языка запросов для рекламных задач в целом будет выглядеть так, как показано ниже.

Оператор	Функция	Пример использования
-	Исключение для слов в запросах, когда объявление показываться не будет. Допускается многократное использование оператора при необходимости задать два или больше исключений.	юрист-курсы-дёшево Объявление будет показываться по всем запросам со словами «юрист» и «дёшево», но исключая те, которые содержат в себе слово «курсы». юрист-курсы-практика
+	Отображение рекламы для тех запросов, в которых есть определённое слово/слова.	+аренда +квартиры+Сочи недорого
!	Оператор служит определением конкретной формы слова в запросах, согласно которой сообщение будет показываться (либо наоборот).	!клуб!Лепассо Реклама показывается только для тех запросов, в которых содержится хотя бы одно из этих двух слов в конкретно заданной форме. При этом «Лепассо» в запросе обязательно должно начинаться с заглавной буквы для отображения объявления. !клуб!Лепассо-!пейнтбол
	Группировка слов для сложных запросов, состоящих из нескольких слов (язык поисковых запросов «Яндекса» позволяет использовать эту функцию для двух или более слов).	машина-(аренда напрокат) Объявление будет показываться при запросе, содержащих слово «машина», но в то же время не имеющие слова «аренда» и «напрокат». +(машина купить Владивосток) дёшево
""	Показ объявления для запросов, содержащих только слова в кавычках или их словоформы.	"программист" Реклама показывается для запросов этого слова и его словоформ наподобие «программиста», «программисту». В то же время объявление не будет показано для таких запросов пользователей, как «программист ремонт компьютера недорого», «программист взлом сайта».

Уроки комфорта и простоты от поисковых подсказок «Яндекса»

Упрощение процесса ввода поисковой информации при помощи подсказок воспринимается уже без какого-либо ажиотажного восторга. Такая технология сегодня есть в каждой популярной поисковой системе, основывается она на предварительной выдаче популярных запросов, схожих с введёнными пользователем в поисковую строку буквами.

«Яндекс» эту систему реализует посредством некоторых фирменных особенностей. Все наборы подсказок обрабатываются и группируются из числа наиболее массовых запросов пользователей. Используются также и научные термины из энциклопедических статей, названия фильмов, музыкальных произведений и иного тематически подходящего контента. В итоге пользователь с момента ввода самой первой буквы в поисковую строку получает под нею целый перечень вариантов наиболее популярных запросов, начинающихся с тех же символов.

К тому же в подсказках могут сразу указываться ссылки на нужные сайты или же ответ на заданный вопрос. К примеру, достаточно ввести половину запроса «длина окружности», как в соответствующем поле под поисковой строкой пользователю будет представлена готовая формула расчёта. Спрашивая «столица Австралии», вы не успеете дописать фразу до конца, как «Яндекс» тут же выдаст эти сведения в перечне подсказок.

Если же ссылка на какой-либо сайт будет релевантным ответом на запрос, то этот адрес будет доступен сразу в том же поле. Такой подход позволит быстрее перейти на нужный ресурс, минуя список всех найденных результатов.

Фильтрация непотребного контента

Функционал «Яндекса» также предусматривает исключение ресурсов «18+» из поисковых результатов вне зависимости от используемых средств языка запросов. Полезна эта функция будет в первую очередь для защиты малолетних пользователей от «материалов для взрослых» в Сети. И даже если ребёнок не стесняется использовать в действии все средства, которыми богат язык поисковых запросов «Яндекса», то это всё равно ему никак не поможет преодолеть барьер от подобных сайтов.

В поиске «Яндекса» для пользователей предусмотрено 3 режима :

• «Без защиты» - какие-либо ограничения на выдаваемые результаты полностью отсутствуют.
• «Умеренный» - если запрос пользователя явно не направлен на поиск сайтов «18+», то они в таком случае изымаются из результатов поиска.
• «Семейный» - нецензурный контент полностью отсутствует в результатах поиска.

Все эти варианты защиты от недетского содержимого контролируются в соответствующем меню настроек «Яндекса».

Дополнительные функции поисковой машины

Помимо широкого спектра различных операторов языка запросов, «Яндекс» также предлагает ещё пару способов поиска информации:

• «Расширенный» - более приятный сервис с интуитивно понятной структурой для тех, кто нуждается в использовании средств языка запросов. Достаточно только ввести в соответствующие поля необходимые параметры (поиск по конкретному ресурсу, регион, точность совпадения со словами поискового запроса, поиск по заголовкам, язык, формат документа, дата последнего обновления и т. д.), не прибегая к менее комфортному ручному вводу операторов. «Расширенный поиск» и язык запросов «Яндекса» - один и тот же функционал, но с разницей в том, что первый предлагает использование тех же операторов в более удобной форме.

• «Дзен-поиск». Основываясь на истории поисковых запросов пользователя, «Яндекс» предлагает последнему сервис публикаций в СМИ. Доступен только для мобильных устройств и внешне представляет собою набор из превью новостей, подобранных согласно истории просмотров. Пользователь может выбрать любую понравившуюся публикацию, прочитать несколько первых абзацев и, если она ему интересна, перейти на сайт издателя по этому материалу. В противном случае достаточно выбрать "Не нравится" для того, чтобы не отображать конкретную новость или отметить таким образом весь ресурс, исключая его из своей новостной ленты.

Механизмы защиты от нежелательной и вредоносной информации

Основным свойством любой поисковой машины являются не только лишь разнообразные операторы поисковых запросов. «Яндексу» также характерен высокий уровень безопасности всех найденных результатов. Базовая проверка страниц и предупреждения о вредоносных сайтах у этой поисковой системы появились в 2009 году. Обнаружение угроз осуществляется двумя технологиями:

• Антивирусная защита, приобретённая у компании Sophos и основанная на сигнатурном подходе: обращение антивирусной системы при заходе пользователя на веб-страницу к базе данных, содержащей информацию об известном вредоносном ПО. Невзирая на высокую скорость работы, подобная технология практически полностью бесполезна в случае столкновения с новыми вирусными угрозами. Поэтому «Яндекс» дополнительно использует и вторую технологию.
• Фирменный антивирусный комплекс, основу которого составляет Сначала защита при обращении к сайту анализирует, делает ли он запрос у браузера дополнительных файлов, перенаправляет ли на посторонний ресурс и т. д. Если обнаруживаются посторонние действия ресурса без ведома пользователя (запуск модулей JavaScript, полноценных программ, каскадных таблиц стилей), то он заносится в чёрный список опасных сайтов и базу вирусных сигнатур. Владелец самого сайта также будет уведомлён об этих угрозах, и все последующие проверки будут периодически проводиться вплоть до того момента, как все проблемы безопасности на нём не будут полностью устранены.

Подобный подход к анализу предоставляемых страниц с результатами поиска в сочетании с фирменными технологиями «Яндекса» позволили минимизировать процент заражённых сайтов в этом поисковике до единиц. Ежедневные проверки «Яндекса» охватывают в общей сложности до 23 миллионов ресурсов, а за месяц это число доходит примерно до 1 миллиарда.

Уже давно стали неотъемлемой частью российского Интернета. Поисковые системы сейчас – это огромные и сложные механизмы, представляющие собой не только инструмент поиска информации, но и заманчивые сферы для бизнеса.

Большинство пользователей поисковых систем никогда не задумывались (либо задумывались, но не нашли ответа) о принципе работы поисковых систем, о схеме обрабатки запросов пользователей, о том, из чего эти системы состоят и как функционируют…

Данный мастер-класс призван дать ответ на вопрос о том, как работают поисковые системы. Однако, Вы не найдете здесь факторов, влияющих на ранжирование документов. И тем более не стоит рассчитывать на подробное объяснение алгоритма работы Яндекса. Его, по словам Ильи Сегаловича, - директора по технологиям и разработке поисковой машины «Яндекс», можно узнать, лишь «под пыткой» самого Ильи Сегаловича…

2. Понятие и функции поисковой системы

Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

• Полнота

  Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

• Точность

  Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

• Актуальность

  Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

• Скорость поиска

  Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

• Наглядность

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

• URL страницы
• дата, когда страница была скачана
• http-заголовок ответа сервера
• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

6. Заключение

Теперь подытожим все вышесказанное.

• Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
• Основные характеристики поисковых систем:
  1. Полнота
  2. Точность
  3. Актуальность
  4. Скорость поиска
  5. Наглядность
• Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
• В состав поисковой системы входят компоненты:
  1. Модуль индексирования
  2. База данных
  3. Поисковый сервер

Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

Поисковые системы Google, Yahoo, Яндекс, Rambler, Nigma, Aport... служат для обнаружения необходимого ресурса в сети Интернет по ключевым словам. Эти системы, или, как их иначе называют, поисковые машины, ежедневно перебирают миллионы WWW серверов, индексируют и каталогизируют найденные ресурсы. Возможность поиска ресурса в Интернет очень удобна, но нельзя забывать о том, что Сеть живет своей жизнью - каждый день появляются тысячи новых страниц, некоторые старые исчезают... Поэтому, поисковые системы не всегда выдают самую точную информацию.

Средства поиска и структурирования, иногда называемые поисковыми механизмами, используются для того, чтобы помочь людям найти информацию, в которой они нуждаются. Средства поиска типа агентов, пауков, кроулеров и роботов используются для сбора информации о документах, находящихся в Сети Интернет. Это специальные программы, которые занимаются поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый поисковый механизм имеет собственный набор правил, определяющих, как cобирать документы. Некоторые следуют за каждой ссылкой на каждой найденной странице и затем, в свою очередь, исследуют каждую ссылку на каждой из новых страниц, и так далее. Некоторые игнорируют ссылки, которые ведут к графическим и звуковым файлам, файлам мультипликации; другие игнорируют cсылки к ресурсам типа баз данных WAIS; другие проинструктированы, что нужно просматривать прежде всего наиболее популярные страницы.

Поисковые системы -- веб-сайт, предоставляющий возможность поиска информации в Интернете. Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на ftp-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet.

Как правило, основной частью поисковой системы является поисковые машины-- комплекс программ, обеспечивающий функциональность поисковой системы. Основными критериями качества работы поисковой машины являются релевантность (степень соответствия запроса и найденного, то есть уместность результата), полнота базы, учёт морфологии языка. Индексация информации осуществляется специальными поисковыми роботами. В последнее время появился новый тип поисковых движков, основанных на технологии RSS, а также среди XML-данных разного типа.

Улучшение поиска -- это одна из приоритетных задач сегодняшнего Интернета (см. про основные проблемы в работе поисковых систем в статье Глубокая паутина).

По данным компании Net Applications в декабре 2007 года использование поисковых систем на Западе распределялось следующим образом (приложение 2, рисунок 2):

Google -- 77,04 %, Yahoo -- 12,46 %, MSN -- 3,33 %, Microsoft Live Search -- 2,57 %, AOL -- 2,12 %, Ask -- 1,38 %, AltaVista -- 0,13 %, Excite -- 0,07 %, Lycos -- 0,02 %, All the Web -- 0,02 %.

В вышеприведенный отчёт не входят российские поисковики, такие как, например, Яндекс, Рамблер или Nigma.

Одним из первых инструментов поиска в интернете (до WWW) был Archie. Первой поисковой системой для Всемирной паутины был «Wandex», уже не существующий индекс, который создавал «World Wide Web Wanderer» -- бот, разработанный Мэтью Грэем (англ. Matthew Gray) из Массачусетского технологического института в 1993. Также в 1993 году появилась поисковая система «Aliweb», работающая до сих пор. Первой полнотекстовой (т. н. «crawler-based», то есть индексирующей ресурсы при помощи робота) поисковой системой стала «WebCrawler», запущенная в 1994. В отличие от своих предшественников, она позволяла пользователям искать по любым ключевым словам на любой веб-странице -- с тех пор это стало стандартом во всех основных поисковых системах. Кроме того, это был первый поисковик, о котором было известно в широких кругах. В 1994 был запущен «Lycos», разработанный в университете Карнеги Мелона.

Вскоре появилось множество других конкурирующих поисковых машин, таких как «Excite», «Infoseek», «Inktomi», «Northern Light» и «AltaVista». В некотором смысле они конкурировали с популярными интернет-каталогами, такими, как «Yahoo!». Позже каталоги соединились или добавили к себе поисковые машины, чтобы увеличить функциональность. В 1996 году русскоязычным пользователям интернета стало доступно морфологическое расширение к поисковой машине Altavista и оригинальные российские поисковые машины Rambler и Aport. 23 сентября 1997 была открыта поисковая машина Яндекс.

В последнее время завоёвывает всё большую популярность практика применения методов кластерного анализа и метапоиска. Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivisimo. В 2005 году на российских просторах при поддержке МГУ запущен поисковик Nigma, поддерживающий автоматическую кластеризацию. В 2006 году открылась российская метамашина Quintura, предлагающая визуальную кластеризацию в виде облака ключевых слов. Nigma тоже экспериментировала с визуальной кластеризацией.

Помимо поисковых машин для Всемирной паутины, существовали и поисковики для других протоколов, такие как Archie для поиска по анонимным FTP-серверам и «Veronica» для поиска в Gopher.

Популярные поисковые системы

Всеязычные: Google (34,4 % Русскоязычного сегмента); Bing (0,9 % Русскоязычного сегмента); Yahoo! (0,2 % Рунета) и принадлежащие этой компании поисковые машины: Inktomi, AltaVista, Alltheweb.

Англоязычные и международные: AskJeeves (механизм Teoma).

Русскоязычные -- большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках -- украинском, белорусском, английском и др. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах, где доминирует русский язык или другими способами ограничивают своих роботов русскоязычными сайтами. Яндекс (46,3 % Рунета), Mail.ru (8,9 % Рунета), Rambler (3,3 % Рунета), Nigma (0,5 % Рунета), Генон (0,1 % Рунета), Gogo.ru (<0,1 % Рунета), Aport (<0,1 % Рунета). Мета (приложение 2, рисунок 3).

Из перечисленных поисковых систем не все имеют собственный поисковый алгоритм -- так Mail.ru и QIP.ru используют поисковый механизм Яндекса, а Nigma сочетает в себе как свой алгоритм, так и сборную выдачу от других поисковиков.

Главный плюс любой поисковой машины кроется в механизме ее работы. В отличие от каталогов, поисковики, для добавления сайтов в свою базу данных, используют специального робота-паука, который вполне удачно просматривает и индексирует все общедоступные сайты своей Глобальной Паутины. Но для удачного поиска нам будет мало лишь огромной базы нашего спутника, ведь среди всех этих терабайт информации нам нужно найти именно нужную нам.

Важнейшим фактором и залогом нашего успеха является правильность поискового запроса.

Исключение из поиска

Поисковую машину можно не только «заставлять» искать нужный текст, но и исключать некоторые слова из запроса. Если вы не хотите, что бы при поиске реферата на тему История Древнего Египта вам были предложены документы с его Культурой, просто введите в поисковое поле Google: история древнего египта -культура. В Яндексе вместо знака «-» используется сочетание знаков «~~». При таком запросе, слово «культура» было полностью исключено из критериев поиска.

Поиск с учетом регистра

Поисковые системы не учитывают регистр, все заглавные символы воспринимаются машинами как строчные, за исключением использования специального операнда. Таковым является знак восклицания «!», стоящий перед словом. Эта функция очень полезна для поиска сел или городов с распространенными названиями, к примеру «село!Кошки». В данном случае, поисковик не будет искать сайты, где речь ведется о селе, где живут кошки, а будет вести поиск с учетом заглавной буквы.

Рассмотрим подробнее понятие поискового запроса на примере поисковой системы «Яндекс». Поисковый запрос должен быть сформулирован пользователем в соответствии с тем, что он хочет найти, максимально кратко и просто. Допустим, мы хотим найти информацию в «Яндексе» о том, как выбрать автомобиль. Для этого, открываем главную страницу «Яндекса», и вводим текст поискового запроса «как выбрать автомобиль». Далее, наша задача сводится к тому, чтобы открыть предоставленные по нашему запросу ссылки на источники информации в Интернет. Однако, вполне можно и не найти нужную нам информацию. Если таковое произошло, то либо нужно перефразировать свой запрос, либо в базе поисковой системе действительно нет никакой актуальной информации по нашему запросу (такое может быть при задании очень «узких» запросов, как, например «как выбрать автомобиль в Архангельске»)

Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут. А научить пользователей делать «правильные» запросы к системе, т.е. запросы, соответствующие принципам работы поисковых систем, невозможно. Поэтому разработчики создают такие алгоритмы и принципы работы поисковых систем, которые бы позволяли находить пользователям искомую ими информацию.

Это означает, поисковая система должна «думать» так же, как думает пользователь при поиске информации. Когда пользователь обращается с запросом к поисковой машине, он хочет найти то, что ему нужно, максимально быстро и просто. Получая результат, он оценивает работу системы, руководствуясь несколькими основными параметрами. Нашел ли он то, что искал? Если не нашел, то сколько раз ему пришлось перефразировать запрос, чтобы найти искомое? Насколько актуальную информацию он смог найти? Насколько быстро обрабатывала запрос поисковая машина? Насколько удобно были представлены результаты поиска? Был ли искомый результат первым или же сотым? Как много ненужного мусора было найдено наравне с полезной информацией? Найдется ли нужная информация, при обращении к поисковой системе, скажем, через неделю, или через месяц?

Для того, чтобы удовлетворить ответами все эти вопросы, разработчики поисковых машин постоянно совершенствуют алгоритмы и принципы поиска, добавляют новые функции и возможности, всячески пытаются ускорить работу системы.

3. Основные характеристики поисковой системы

Опишем основные характеристики поисковых систем:

• Полнота

  Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.

• Точность

  Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.

• Актуальность

  Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.

• Скорость поиска

  Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.

• Наглядность

4. Краткая история развития поисковых систем

В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.

Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.

Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.

В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.

В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!

В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.

В настоящее время существуют три основные поисковые системы (международные) – Google, Yahoo и , имеющие собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.

5. Состав и принципы работы поисковой системы

В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».

Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.

Модуль индексирования

Модуль индексирования состоит из трех вспомогательных программ (роботов):

Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.

• URL страницы
• дата, когда страница была скачана
• http-заголовок ответа сервера
• тело страницы (html-код)

Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.

Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.

Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.

База данных

База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.

Поисковый сервер

Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.

Поисковый сервер работает следующим образом:

• Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде , то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).
• Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.
• В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).
• Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.
• Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов.

Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.

6. Заключение

Теперь подытожим все вышесказанное.

• Первоочередная задача любой поисковой системы – доставлять людям именно ту информацию, которую они ищут.
• Основные характеристики поисковых систем:
  1. Полнота
  2. Точность
  3. Актуальность
  4. Скорость поиска
  5. Наглядность
• Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.
• В состав поисковой системы входят компоненты:
  1. Модуль индексирования
  2. База данных
  3. Поисковый сервер

Надеемся, наш мастер-класс позволит Вам поближе ознакомиться с понятием ПС, лучше узнать основные функции, характеристики и принцип работы поисковых систем.

По материалам сайта: http://www.seonews.ru/

Справочники и поисковые системы глобального масштаба

Все перечисленные системы предназначены для поиска информации в Интернет в целом, без относительно к какому либо региону мира. При необходимости выявления исчерпывающей информации рекомендуется провести последовательный поиск с использованием нескольких поисковых машин или справочников.

About

Справочник, поддерживаемый экспертами различных областей знания. Основная задача - отразить не все, а лишь наиболее ценные ресурсы. Описания сайтов составлены очень квалифицированно. Удобен при необходимости отбора самых качественных ресурсов по конкретной тематике. Основной недостаток - медленное обновление материала.

AlltheWeb

Изначально - поисковая система, расположенная в Европе и ориентированная преимущественно на европейские сайты. С марта 2004 года под брэндом AlltheWeb была размещена и запущена поисковая система Yahoo! и в настоящее время AlltheWeb представляет собой фактическое “зеркало” поисковой системы Yahoo! Serach, с той лишь разницей, что в его модуле выдачи результатов гораздо лучше решены проблемы вывода документов на разных языках, использующих кодировки, отличные от расширенной латиницы. В число 36 языков, с которыми система работает вполне корректно, попал и русский.

Alta Vista

В прошлом одна из наиболее популярных поисковых систем мира. С марта 2004 года под брэндом Alta Vista была размещена и запущена поисковая система Yahoo! и в настоящее время Alta Vista представляет собой фактическое “зеркало” поисковой системы Yahoo! Serach.

Excite

Поисковая система, объем базы данных которой насчитывает более 250 миллионов документов. Имеет развернутую подсистему поиска мультимедийных источников.

Google

Мировой лидер поискового сервиса. Поисковая система последнего поколения, декларирующая самый большой объем базы данных - более 8 миллиардов документов. Обеспечивает интерфейс на языке пользователя, а также возможность разыскания иллюстраций. Google был первой поисковой машиной, начавшей индексацию документов в форматах PDF, PS, DOC, XLS, PPT, RTF, WP5.

HotBot

Поисковая система, объем индекса базы данных которой не превышает 500 миллионов документов. Имеет возможность поиска иллюстраций, аудио и видео файлов. Не допускает выявление документов на русском языке.

LookSmart

Справочник ресурсов, ориентированный на интересы среднестатистического пользователя Интернет.

Lycos

Проект пережил несколько кардинальных преобразований. В 1996 году был начат как поисковая система, в 1999 году Lycos преобразован в справочник ресурсов, но с июля 2002 года, с введением в эксплуатацию поискового механизма Search Lycos 6.0, вновь используется в основном как поисковая система. Допускает поиск иллюстраций, аудио и видеофайлов. Декларируя наибольший объем индексного файла, тем не менее, не указывает его точный объем. С русскоязычными ресурсами работает плохо.

MSN Search

Поисковая система, созданная компанией Microsoft. С февраля 2005 года окончательно перешла на использование собственного поискового модуля. Декларируется учет более 5 миллиардов документов. Система обладает возможностью поиска на новостных сайтах, поиском иллюстраций, поиска в принадлежащей Microsoft энциклопедии Encarta, а также модулем, который, после бесплатной выгрузки и установки, производит поиск на собственном компьютере пользователя.

Open Directory

Справочник ресурсов Интернет, являющийся на сегодня одним из наиболее полных в мире: отражено порядка 4 миллионов ресурсов. Является некоммерческим проектом, формируясь силами Интернет-сообщества. По этой причине множество разделов Open Directory выполнены полностью на национальных языках, включая русский.

Teoma Поисковая система, открытая для использования в начале третьего тысячелетия. Единственным достоинством является внушительный объем индексного файла. Не способна осуществлять поиск документов на русском языке.
Webtop

Поисковая система, декларирующая объем базы данных более 500 миллионов документов. В настоящее время располагает примитивным механизмом составления запроса. Не обладает возможностью поиска документов на русском языке.

WiseNut Поисковая система последнего поколения. Главное достоинство - большое число проиндексированных документов. Не способна осуществлять поиск материалов на русском языке.
Yahoo! Directory

Один из наиболее авторитетных и полных справочников ресурсов Интернет. Имеет внушительный объем (порядка 2 миллионов учтенных ресурсов) и хорошо разветвленную иерархическую структуру. Удобен при разыскании перечней зарубежных, прежде всего англоязычных, сайтов по заданной тематике. Поскольку за отражение ресурса взимается ежегодная плата, многие ценные ресурсы были исключены из Yahoo! Directory и справочник в настоящее время не может претендовать на исчерпывающую полноту.

Поисковая система Yahoo!, выделившаяся в отдельный сервис после преобразования портала в 2004 году. По результатам тестов, включает порядка 4 миллиардов документов. Имеет хорошие возможности поиска иллюстраций и видеофайлов. Допускает поиск на русском языке.

Метапоисковые системы

Метапоисковые системы являются разновидностью поисковых инструментов, не имеющих собственных поисковых роботов и баз данных (индексных файлов). Их главное достоинство заключается в умении рассылать запрос сразу в несколько "реальных" поисковых систем и затем суммировать результаты. Пользование ими рекомендуется в случае разыскания сведений предположительно об очень редком объекте или при крайнем недостатке времени, поскольку метапоисковые средства очень часто не в состоянии корректно обработать запрос для различных поисковых систем, а также правильно совместить результаты, полученные разными системами.

Dogpile

Обращается к различным поисковым средствам последовательно, а не одновременно. Обеспечивает выявление данных в конференциях UseNet и на FTP-серверах, а также поиск иллюстраций, аудио- и видеофайлов.

Ez2find.com

Система обеспечивает релевантный поиск на русском языке. Имеет неплохие возможности для формирования запроса. Поиск производится в Google, AllTheWeb, Altavista, Yahoo, Open Directory. Результаты сортируются по разделам.

Ixquick Metasearch

Система по умолчанию обращается к 14 ведущим поисковым средствам, за исключением Google. В запросе используется традиционный синтаксис, в точности соответствующий используемому в Alta Vista. Перечень поисковых систем, к которым происходит обращение, может быть легко задан пользователем. Обеспечивает также поиск в новостях, разыскание иллюстраций и аудиофайлов.

KartOO

Отличительной особенностью является использование в интерфейсе flash-технологии. За счет этого достигается быстрая загрузка страницы, а также визуализация связей между сайтами, посвященными конкретной теме.

Mamma Meta Search

Относительно новая разработка. Наряду с текстовым поиском, обеспечивает выявление мультимедийных файлов. Имеет простой интерфейс, который, однако, не поддается настройке.

MetaСrawler

Ветеран метапоискового сервиса. По умолчанию обращается к 14 самым авторитетным поисковым средствам. Допускает поиск по любому слову запроса, всем словам или точной фразе. Имеет самые богатые возможности по настройке (пункт верхнего меню - Customize).

Vivisimo

Система обладаем множеством настраиваемых опций. Результаты поиска автоматически сортируются по разделам. Позволяет просматривать превью найденных страниц непосредственно из перечня результатов.

Web Crawler

Ветеран поискового сервиса, перешедший из самостаятельных поисковых ситем в метапоисковый сервис. Отличается высокой скоростью работы и достаточно высоким уровнем релевантности ссылок.

Национальные и региональные справочники и поисковые системы

В настоящее время в большинстве развитых стран существует минимум две-три справочника и поисковых систем, отражающих содержание ресурсов Интернет конкретного государства. Их использование наиболее эффективно при выявлении материалов, расположенных на серверах определенной страны. Российские инструменты поиска отражены .

Африка Wo Yaa Africa Search (http://www.woyaa.com)

Южная Африка Ananzi (http://www.ananzi.co.za)
Zebra (http://www.zebra.co.za)
Aadvark (http://www.aardvark.co.za)

Другие страны EgyptSearch Египет (http://www.egyptsearch.com) Справочник.
Maroc Search Марокко (http://www.maroc.net/search)
Азия 1001sites Ближний Восток и арабские страны Африки(http://www.1001sites.com) Справочник.
Arab Net Ближний Восток (http://www.arab.net)
Asiaco (http://www.asiaco.com) Справочник.
Search Dragon (http://www.searchdragon.com) Справочник.
Китай Ah Shun (http://www.ahshun.com) Справочник.
Network Compass (http://compass.net.edu.cn:8010) Нет англоязычного интерфейса.
ResearchSystem.com (http://www.researchsystem.com) Справочник.
Surf China (http://www.surfchina.com) Справочник.
WhatSite Китай, Тайвань, Гонконг (http://web.whatsite.com) Сервер находится в США. Справочник.
Индия 123India’s Premier search engine (http://www.123india.com)
Khoj (http://www.khoj.com) Справочник.
Гонгонг Balaa (http://www.balaa.com) Справочник.
Globepage - Asian Search Service (http://www.globepage.com)
Goyoyo (http://www.goyoyo.com.hk) Нет англоязычного интерфейса.
Search HK (http://search.hk.org)
Timway (http://www.timway.com) Справочник.
Япония Dragon Next (http://www.dragon.co.jp) Нет англоязычного интерфейса.
Fresh Eye (http://fresheye.com) Нет англоязычного интерфейса.
Goo (http://www.goo.ne.jp) Нет англоязычного интерфейса.
Moshix2 (http://www.moshix2.net)
Okay Japanese! (http://www.okay.co.jp/jpn)
Senrigan (http://senrigan.ascii.co.jp)
Сингапур Golden Village (http://www.goldenvillage.com) Справочник.
NetNet Multimedia Search Engine (http://www.netnet.com.sg)
Poyin (http://poyin.com)
TechnoFIND (http://www.technofind.com.sg)
Южная Корея AnySearch (http://www.anysearch.com) Справочник. Нет англоязычного интерфейса.
Naver (http://www.naver.com) Нет англоязычного интерфейса.
Тайвань SINANET.com (http://www.sinanet.com) Справочник.
YamWeb Navigator (http://taiwan.iis.sinica.edu.tw/en/yam) Справочник.
Другие страны BanglaSearch Бангладеш (http://www.banglasearch.com) Справочник.
CARI Малазия (http://www.cari.com.my)
iGuide Израиль (http://www.iguide.co.il) Справочник.
IndonesiaNet Индонезия (http://www.indonesianet.com/search.htm)
Libanis Ливан (http://libanis.com) Справочник.
Yehey Филлипины (http://www.yehey.com)

Австралия, Новая Зеландия, Океания AccessNZ Новая Зеландия (http://accessnz.co.nz) Справочник.
ANZWERS Австралия (http://www.anzwers.com.au) Uses Inktomi mechanism.