Проблема поиска во Всемирной паутине не в том, что информации мало, а в том, что ее много. Поиск информации в Интернете — краеугольный камень эффективной работы в Сети. Владение навыками поиска делает Интернет для пользователя полезным как во время работы, так и во время отдыха.
Для организации поиска в Интернете существуют специализированные службы, называемые поисковыми системами.

Поисковые системы.

Поисковые системы — программно-аппаратный комплекс с web-интерфейсом, предоставляющий возможность поиска информации в Интернете.
Большинство поисковых систем ищут информацию на сайтах Всемирной паутины, но существуют также системы, способные искать файлы на FTP-серверах, товары в интернет-магазинах, а также информацию в группах новостей Usenet. Для поиска информации с помощью поисковой системы пользователь формулирует поисковый запрос. По запросу пользователя поисковая система генерирует страницу результатов поиска. Такая поисковая выдача может сочетать различные типы файлов, например: веб-страницы, изображения, аудиофайлы. Некоторые поисковые системы также извлекают данные из баз данных и каталогов ресурсов в Интернете.
Цель поисковой системы заключается в том, чтобы находить документы, содержащие либо ключевые слова, либо слова как-либо связанные с ключевыми словами. Поисковая система тем лучше, чем больше документов, релевантных запросу пользователя, она будет возвращать. Результаты поиска могут становиться хуже из-за особенностей алгоритмов. Например, на запрос домашние животные поисковый сервер «Яндекс» (подробнее о нем см. ниже) выдает более 14 000 000 ссылок на страницы, содержащие нужные, на его взгляд, сведения. Однако далеко не все так гладко: при посещении некоторых найденных страниц выясняется, что искомой информации на них недостаточно, а то и вовсе нет.
Чтобы искать с максимальной результативностью необходимо знать как работают поисковые серверы и правильно составлять запрос на поиск информации.

Принципы работы поисковых систем

Поисковые системы работают, храня информацию о многих web-страницах, которые они получают из HTML страниц. Основные составляющие поисковой системы: поисковый робот, индексатор, поисковик. Обычно системы работают поэтапно. Сначала поисковый робот получает контент, затем он просматривает содержимое web-сайтов. Только после этого индексатор генерирует доступный для поиска индекс. Индексатор — это модуль, который анализирует страницу, предварительно разбив её на части, применяя собственные лексические и морфологические алгоритмы.
В основе работы большинства современных поисковиков лежит индекс цитирования, который вычисляется индексатором в результате анализа ссылок на текущую страницу с других страниц Интернета. Чем их больше, тем выше индекс цитирования анализируемой страницы, тем выше эта страница будет отображена в результатах поиска и тем выше страница будет представлена в списке найденных ресурсов.

Правила построения поисковых запросов

Как уже отмечалось, в Интернете существует множество поисковых серверов, отечественных и зарубежных.
Российские поисковые серверы: Яндекс (www.yandex.ru); Рамблер (www.rambler.ru); Апорт (www.aport.ru) и Gogo (www.gogo.ru).

Зарубежные поисковые серверы: Google (www.google.com); Altavista (www.altavista.com) и Yahoo! (www.yahoo.com).
Для поиска на русском языке лучше подходят российские серверы, на иностранном — зарубежные, хотя, Google неплохо справляется с поиском на многих языках. Несмотря на заявления многих владельцев поисковых систем, что запросы могут быть написаны практически на языке, который люди используют для общения между собой, это далеко не так. Благодаря внедрению новых языковых технологий поисковые системы стали гораздо лучше понимать пользователя. Поисковики теперь ищут не только запрашиваемое слово, но и его словоформы, что позволяет делать результаты поиска более точными. Например, если в поисковом запросе присутствует слово умный, то его результаты будут содержать не только это слово, но и его производные: умного, умная, а также ум и даже разум. Естественно, страницы со словоформами будут не в числе первых результатов поиска, но элементы искусственного интеллекта налицо. Этот факт полезно учитывать при построении поисковых запросов.
Следует помнить о том, что поисковые системы при обработке запроса не учитывают регистр символов, а применять знаки препинания в поисковых запросах вовсе не обязательно, так как они также игнорируются поисковыми серверами. Однако при построении сложных расширенных запросов, результаты поиска по которым обычно гораздо ближе к ожидаемым, используют традиционные знаки препинания. Большинство поисковых систем может бороться с опечатками. Если поисковому серверу покажется, что в слове допущена ошибка или опечатка, то он предупредит об этом той же фразой: Быть может, вы искали….

Cлова для запроса поисковому серверу

Есть выражение «Машина должна работать, человек — думать», и сказано оно как раз о такой ситуации. Задача пользователя при составлении поискового запроса — выделить ключевые слова, задача поискового сервера — наилучшим образом обработать введенный запрос. Рассмотрим пример, иллюстрирующий типичные ошибки начинающих пользователей при поиске в Интернете. На запрос «Загадки о музыкальных инструментах» поисковик не выдал полезных результатов. Тогда пользователь решает исправить запрос, дополнив его и написав: «Загадки для детей о музыкальных инструментах» — результаты поиска оказались еще хуже предыдущего. Для данного примера неплохим решением явился поиск по ключевому слову «загадки». В Интернете много таких сайтов, а зайдя на сам сайт и немного поискав по его разделам, вполне можно найти интересующую информацию. Сформулируем несколько правил составления запросов:

• выбирайте только самые важные ключевые слова, касающиеся рассматриваемой темы;
• слов не должно быть слишком много, но и не слишком мало;
• при неудовлетворительных результатах поиска, используйте более «мягкие» условия для запроса или попробуйте поискать в другой поисковой системе, т.к. механизмы работы поисковиков неодинаковые, следовательно, результаты также могут различаться.

Расширенный поиск

Для обеспечения более эффективного поиска в Интернете поисковые системы предоставляют возможность расширенного поиска, а также поиска с использованием языка запросов. Расширенный поиск — возможность поиска с указанием множества различных параметров. Для этого в поисковиках предусмотрены отдельные страницы, на которых можно задать такие параметры. Принципы работы расширенного поиска похожи у большинства поисковиков.
Рассмотрим дополнительные возможности поиска на примерах поисковиков Яндекс и Google потому что Яндекс — самый популярный поисковый сервер в русскоязычном Интернете, а Google — самый популярный поисковик в мире. При поиске в Интернете «Яндекс» одним из первых стал учитывать морфологию русского языка, то есть использовать различные формы слова, о чем говорилось выше. Зайдя на сайт www.yandex.ru, пользователь может ввести запрос и тут же получить результаты поиска, а можно использовать ссылку Расширенный поиск, используя пиктограмму ,и перейти на соответствующую страницу (см. рисунок ниже), на которой тонко настроить параметры поиска.

Страница расширенного поиска «Яндекса»

Рассмотрим дополнительные возможности, которые можно использовать на странице расширенного поиска: указать собственное местоположение (Москва), указать в каком виде должна быть представлена информация (Тип файла), период времени в котором ищем информацию (за сутки, за 2 недели, за месяц, От..До), на каком языке должна быть представлена информация (Русский, Английский Еще), а также можно указать URL-адрес сайта и т.д
Выбор (Точно как в запросе) указывается поисковику для того, чтобы морфологию слов запроса не изменять, а искать только ту форму слова, которая задана.

Язык запросов

Язык запросов — система команд, позволяющая изменять параметры запроса из основной строки поиска с помощью специальных команд. Ориентирован на опытных пользователей.
Поскольку язык запросов достаточно сложен и объемен, приведем лишь основные его конструкции, которые могут быть наиболее востребованы пользователями. Некоторые команды языка запросов «Яндекса» представлены в таблице.

Полностью со структурой языка запросов «Яндекса» можно познакомиться на странице Помощи (http://help.yandex.ru/search/?id=481939). Язык поисковых запросов в Google отличается от Яндекса, хотя есть и некоторые общие моменты. Рассмотрите некоторые основные команды этого языка, изучив таблицу (см.ниже)

Полностью со структурой языка запросов Google можно познакомиться на странице Помощи Google.

  Все вышеизложенное обычно используется и применяется частными пользователями для разовых запросов по интернет. Мы же в своей работе используем профессиональные программы интнрнет - поиска, позволяющие осуществлять скоростной розыск по большему количеству серверов (около сотни) и с большей глубиной запросов в интернет. Дело в том, что при обычном ручном запросе по интернет - поиску на компьютере ваш запрос обрабатывается лишь примерно третьей частью всех серверов (наиболее популярных) и на небольшую глубину интернета. Поэтому использование специальных программ для интернет  - поиска позволяет быстрее, эффективней обработать гигантсткий объем информации. ( по нескольку тысяч различных вариантов запросов. А учитывая, что при запросах нужно еще изменять сочетание слов запросов и их падежи, то вручную осуществить подобный поиск практически невозможно.

Функции поиска и сбора информации.

• Пакет запросов - выполнение сразу нескольких запросов с объединением результатов поиска или раздельно. При формировании объединенного результата повторно найденные ссылки удаляются. Подробнее о пакетах - во введении , наглядно - на видео: совместное и раздельное выполнение запросов. Нет аналогов в отечественных и зарубежных разработках.

• Пакеты с параметрами. Любые запросы и пакеты запросов, предназначенные для решения стандартных поисковых задач, например, поиск по телефону, ФИО или e-mail, - могут быть параметризованы, сохранены и выполнены из библиотеки готовых запросов с подстановкой фактических (нужных) значений параметров. Каждый пакет с параметрами - это собственная специальная расширенная форма поиска. В ней можно задействовать не один, а несколько поисковиков. Можно создать очень сложные по своему функциональному назначению формы. Чрезвычайно важно, что формы могут быть созданы самими пользователями, без участия автора программы или программиста. Предельно просто об этом написано в инструкции, подробнее в отдельной публикации о параметризации поиска и на форуме, наглядно на видео: поиск сразу по всем вариантам записи номера мобильного телефона и по нескольким вариантам записи адреса электронной почты. Нет аналогов.

• Ассемблер ^NEW - сборка поискового задания из нескольких готовых: запросов, пакетов запросов и пакетов с параметрами. Пакеты могут в своем тексте содержать другие пакеты. Глубина вложенности пакетов неограничена. Можно составить несколько поисковых заданий, например, о нескольких юридических и физических лицах, и выполнить эти задания одновременно. Подробнее на форуме и в отдельной публикации об Ассемблере, наглядно на видео. Нет аналогов.

• Аналитическое объединение результатов поиска позволяет объединить результаты различных поисков в единую выдачу, причем первыми ссылками в выдаче будут те ссылки, которые были найдены большим количеством поисков. Аналитическое вычитание позволяет из результатов одного поиска вычесть (убрать) результаты другого поиска. Нет аналогов.

• Мастер подключения новых источников информации позволяет пользователю самостоятельно подключать поиск по тем ресурсам, которые ему необходимы (встроенные в сайты поиски), а также RSS-потоки и произвольные веб-страницы, что особенно важно при мониторинге СМИ и потоков новой информации другого назначения. Подключенные при помощи Мастера источники могут быть задействованы во всех компонентах программы Интернет-поиска наравне со встроенными источниками. В н.в. для RSS-потоков применение Мастера не является необходимым. RSS адреса можно явно прописывать в Проекте. Эмуляция RSS для некоторых типов ссылок также возможна без Мастера. Подробнее в отдельной публикации о Мастере.

• Экспорт-импорт источников и сценариев поиска позволяет выгружать в файл подключенные при помощи Мастера отдельные источники и целые сценарии поиска и загружать их из файла на другом компьютере. Это значительно упрощает работу пользователя и позволяет организовать общими усилиями доступную для всех библиотеку источников и сценариев поиска. Подробнее в отдельной публикации об экспорте-импорте.

• Метапоиск - выполнение конкретного запроса одновременно на нескольких источниках на заданную "глубину" поиска для каждого из них. Возможен метапоиск по встроенным поисковикам, к которым относятся Яндекс, Рамблер, Google, Yahoo, MSN (Bing), Mail, блоги Яндекса и Google, и по подключенным средствам поиска. Работа с несколькими поисковиками выглядит так, как будто Вы работаете с одним поисковиком. Повторно найденные ссылки удаляются. Наглядно метапоиск по трем подключенным социальным сетям: VKontakte, Twitter и Youtube, - показан на видео.

• Метапоиск по сайту - объединение поиска по сайту в Google, Yahoo, Яндексе, MSN (Bing).

• Метапоиск в офисных документах - объединение поиска в файлах формата PDF, XLS, DOC, RTF, PPT, FLASH в Google, Yahoo, Яндексе, MSN (Bing). Можно выбрать любую комбинацию форматов файлов.

• Метапоиск кэш-копий ссылок в Яндексе, Google, Yahoo, MSN (Bing). Составляется список, в каждом пункте которого собраны все сниппеты, найденные для каждой ссылки каждым поисковиком. Нет аналогов.

• Глубокий поиск для Яндекса, Google и Рамблера позволяет объединить в один список все ссылки из обычного поиска и все ссылки, соответственно, из списков "Еще с сайта", "Дополнительные результаты с сайта" и "Искать на сайте (Всего ...)". Подробнее о глубоком поиске на форуме. Нет аналогов.

• Универсальный поиск (универсальный язык запросов) применяется для встроенных поисковиков: Яндекса, Рамблера, Google, Yahoo, MSN (Bing) и Mail. Несложные запросы на универсальном языке "транслируются" на языки запросов перечисленных поисковиков. Подробнее в отдельной публикации об универсальном поиске.

• Точный и полный поиск. Под этим понимается следующее. С одной стороны, каждый запрос может быть выполнен на том и только на том источнике, на языке запросов которого он написан. Это точный поиск. C другой стороны, таких запросов и источников может быть произвольное количество. Это обеспечивает полный поиск. Подробнее в отдельной публикации о процедурном поиске. Нет аналогов.

• Поиск в невидимом интернете.

Он включает в себя следующие базовые функции:
 

• •   - специальный

пакет запросов

• • , который может быть усовершенствован Пользователем,

• •   - поиск невидимых ссылок при помощи спайдера (паука),

• •   - поиск невидимых ссылок в окрестности видимой ссылки или папки по "образу и подобию",

• •   - специальные поиски папок открытых, проверка на открытость FTP-доступа к сайту,

• •   - поиск невидимых ссылок и папок со стандартными именами с использованием специальных словарей,

• •   - применение собственных встроенных в сайты поисков.

• •   - просмотр и поиск в

комментариях и скрытой части

• • исследуемого сайта.