Поиск в интернете¶

Поиск в интернете — процесс обнаружения информации в сети Интернет с помощью специализированных программно-аппаратных средств — поисковых систем, каталогов и метапоисковых сервисов. Поиск в интернете стал одним из наиболее массовых способов получения информации в XXI веке: по данным статистических агентств, подавляющее большинство пользователей сети хотя бы раз в месяц обращается к поисковым системам.

¶История

Первые поисковые системы появились в начале 1990-х годов. В 1990 году Томас Брюнелл и др. создали Archie — систему для поиска файлов на FTP-серверах. В 1991 году появился Veronica, а в 1993-м — WebCrawler, первый поисковый индексатор, охвативший весь Всемирный веб. В том же году был запущен Lycos.

В 1994 году появились Yahoo! (сначала как каталог сайтов, созданный Дэвидом Фило и Джерри Янгом) и AltaVista. В 1998 году Сергей Брин и Ларри Пейдж, студенты Стэнфордского университета, основали компанию Google, алгоритм PageRank которой позволил существенно повысить качество ранжирования результатов.

В России первые поисковые системы появились в середине 1990-х годов: «Апорт» (1996), «Рамблер» (1997), «Яндекс» (1997). «Яндекс», созданный Аркадием Воложем и Ильёй Сегаловичем, к началу 2000-х годов стал лидером российского рынка поиска благодаря алгоритму, учитывающему морфологию русского языка.

¶Устройство и принцип работы

Поисковая система состоит из трёх основных компонентов:

• Краулер (робот) — программа, которая систематически обходит ссылки и скачивает содержимое страниц;
• Индекс — база данных, содержащая сведения о содержимом проиндексированных страниц;
• Поисковый интерфейс — программа, которая обрабатывает запрос пользователя и выдаёт результаты.

Процесс поиска выглядит следующим образом: пользователь вводит поисковый запрос в строку поиска; система разбивает запрос на слова, учитывая морфологию и стоп-слова; затем идёт обращение к индексу, где отбираются документы, содержащие искомые слова; найденные документы ранжируются по релевантности с помощью алгоритмов, учитывающих сотни факторов — от частоты упоминаний и позиции слов до качества и авторитетности сайта.

¶Виды поиска

¶По типу данных

• Поиск по тексту — классический поиск по содержимому веб-страниц;
• Поиск изображений — поиск по визуальному содержимому, включая поиск по изображению (обратный поиск);
• Поиск видео — поиск по видеоматериалам;
• Поиск по новостям — поиск по новостным публикациям;
• Поиск по картам — поиск географических объектов и маршрутов;
• Поиск по файлам — поиск по документам (PDF, DOC и др.).

¶По типу сервиса

• Поисковые системы — собственные индексы (Google, Яндекс, Bing);
• Каталоги — ручная классификация сайтов по тематическим рубрикам;
• Метапоисковые системы — агрегируют результаты нескольких поисковых систем (например, «Мета»);
• Вертикальные поисковые системы — специализируются на узкой тематике (товары, вакансии, недвижимость).

¶Поисковая оптимизация

Поисковая оптимизация (SEO, от англ. Search Engine Optimization) — комплекс мероприятий по улучшению позиций сайта в результатах поисковых систем. SEO включает техническую оптимизацию сайта, работу с контентом, ссылочное продвижение и анализ поведенческих факторов. Практика SEO тесно связана с алгоритмами поисковых систем и периодически меняется вместе с ними.

¶Проблемы и ограничения

Поиск в интернете имеет ряд объективных ограничений:

• Индексируемая часть сети — так называемая «поверхностная сеть» (surface web) составляет лишь малую долю от общего объёма данных в интернете; значительная часть информации находится в «глубокой сети» (deep web), недоступной для обычных поисковых роботов;
• Качество результатов — поисковые системы выдают не объективную картину, а результаты, отсортированные по коммерческим и алгоритмическим критериям;
• Фильтрация и цензура — в ряде стран, включая Россию, действуют требования к поисковым системам по ограничению доступа к определённым ресурсам (в частности, законодательство требует от поисковиков включать в выдачу сведения об организациях, признанных экстремистскими и запрещёнными в РФ);
• Формирование «информационного пузыря» — персонализация результатов может ограничивать разнообразие получаемой информации.

¶Статистика

На российском рынке поиска доминирует «Яндекс» — по различным оценкам, его доля составляет около 60 % и более поисковых запросов. На мировом рынке лидером является Google (компания Google — организация, признанная экстремистской и запрещённая в РФ), доля которого превышает 90 % в большинстве стран мира.

¶Источники

• Брин С., Пейдж Л. «Анатомия гипертекстовой структуры Всемирной паутины» (1998)
• Масанд Б., Растоги Г. «Поисковые системы: алгоритмы и технологии»
• Статистические отчёты «Яндекса» о поисковом рынке
• Материалы журнала «Компьютерра» о развитии поисковых систем в России