Open Directory Project¶

Open Directory Project (ODP, также известный как DMOZ, от англ. Directory Mozilla) — это многоязычный, свободно редактируемый иерархический каталог веб-сайтов, поддерживаемый сообществом добровольных редакторов. В отличие от поисковых систем, которые индексируют веб-страницы автоматически, ODP представлял собой структурированную базу данных ссылок на интернет-ресурсы, распределённых по тематическим категориям. Проект был одним из крупнейших и наиболее авторитетных каталогов сети до своего закрытия в 2017 году.

¶История

¶Создание и ранние годы (1998—2000)

Проект был основан в 1998 году американским программистом Ричем Скрентой (Rich Skrenta) и его коллегой Бобом Труэлем (Bob Truel) под названием Gnuhoo. Изначально он задумывался как открытая альтернатива коммерческим каталогам, таким как Yahoo! Directory. Вскоре после запуска проект столкнулся с критикой из-за использования слова «GNU» в названии, что могло создать ложное впечатление о связи с проектом GNU. В результате название было изменено сначала на NewHoo, а затем, после приобретения проекта компанией Netscape Communications Corporation в ноябре 1998 года, — на Open Directory Project.

Компания Netscape, владевшая в то время популярным браузером Netscape Navigator, использовала ODP в качестве основы для своего собственного каталога. В 1999 году, после приобретения Netscape корпорацией AOL (ныне — часть Warner Bros. Discovery), проект продолжил своё развитие под эгидой AOL. В том же году ODP получил домен dmoz.org, который стал его основным адресом.

¶Расцвет (2000—2010)

В начале 2000-х годов ODP был одним из самых влиятельных ресурсов в интернете. Его данные использовались десятками тысяч веб-сайтов, включая поисковые системы (например, ранние версии Google и Yahoo!), порталы и образовательные проекты. Каталог лицензировался по открытой лицензии Open Directory License, что позволяло любому желающему использовать его содержимое при условии указания авторства.

Ключевой особенностью ODP была его модерация добровольцами. Редакторы, проходившие отбор, отвечали за добавление, удаление и редактирование ссылок в своих категориях. К 2005 году в проекте насчитывалось более 75 000 редакторов, а каталог содержал свыше 5 миллионов ссылок, распределённых по более чем 590 000 категориям.

¶Упадок и закрытие (2010—2017)

С развитием алгоритмов поисковых систем, особенно Google, роль ручных каталогов начала снижаться. Поисковые системы стали лучше ранжировать сайты на основе автоматического анализа контента, а не только ссылочной массы из каталогов. Кроме того, ODP столкнулся с рядом проблем:

• Снижение активности редакторов. Многие добровольцы потеряли интерес к проекту, а процесс модерации новых заявок затягивался на годы.
• Спам и злоупотребления. Каталог стал мишенью для SEO-специалистов, пытавшихся разместить ссылки в обход правил.
• Устаревшая технологическая платформа. Система управления каталогом не обновлялась годами, что затрудняло её поддержку.

В 2017 году, после почти 20 лет работы, проект был официально закрыт. В марте 2017 года домен dmoz.org перестал отвечать, а в мае того же года на сайте появилось сообщение о прекращении работы. Основной причиной закрытия называлась невозможность поддерживать проект в условиях снижения интереса и ресурсов со стороны AOL.

¶Структура и принципы работы

¶Иерархическая система категорий

ODP был построен по принципу древовидной иерархии. Каждый сайт мог быть отнесён только к одной категории, хотя существовали механизмы перекрёстных ссылок. Категории делились на 16 основных разделов (так называемых «верхних категорий»), включая:

• Adult (для взрослых) — материалы, предназначенные для лиц старше 18 лет.
• Arts (Искусство)
• Business (Бизнес)
• Computers (Компьютеры)
• Games (Игры)
• Health (Здоровье)
• Home (Дом)
• News (Новости)
• Recreation (Отдых)
• Reference (Справочники)
• Regional (Регионы)
• Science (Наука)
• Shopping (Покупки)
• Society (Общество)
• Sports (Спорт)
• World (Мир) — категории на разных языках, кроме английского.

Каждая категория имела подкатегории, что позволяло детализировать тематику. Например, категория Science > Biology > Botany могла содержать подкатегории Flora, Plant Pathology и т.д.

¶Редакторская модель

Редакторы ODP были добровольцами, которые проходили процедуру регистрации и подтверждения. Существовало несколько уровней доступа:

• Новички (New Editors) — могли редактировать только одну-две небольшие категории.
• Старшие редакторы (Senior Editors) — имели доступ к более широким категориям и могли назначать новичков.
• Категориальные редакторы (Category Editors) — управляли целыми разделами.
• Мета-редакторы (Meta Editors) — обладали полными правами на весь каталог.

Редакторы руководствовались строгими правилами: запрещалось добавлять сайты, нарушающие авторские права, содержащие вредоносное ПО или рекламирующие незаконную деятельность. Также действовало правило «одного сайта в одной категории», чтобы избежать дублирования.

¶Лицензирование и использование данных

ODP распространялся под лицензией Open Directory License (ODL), которая разрешала свободное использование, копирование и распространение данных при условии указания источника. Эта лицензия была предшественницей современных открытых лицензий, таких как Creative Commons. В результате данные ODP были интегрированы в тысячи сайтов, включая:

• Google Directory (закрыт в 2011 году) — сервис Google, основанный на данных ODP.
• Yahoo! Directory (закрыт в 2014 году) — частично использовал данные ODP.
• AOL Search — поисковая система AOL.
• Netscape Search — поисковая система Netscape.

¶Критика и недостатки

Несмотря на свою популярность, ODP неоднократно подвергался критике по нескольким причинам:

• Непрозрачность модерации. Редакторы часто не объясняли причины отклонения заявок на добавление сайтов, что вызывало недовольство у веб-мастеров.
• Медлительность. Процесс добавления нового сайта мог занимать от нескольких месяцев до нескольких лет.
• Кумовство и предвзятость. Некоторые редакторы, по слухам, продвигали сайты своих знакомых или блокировали конкурентов.
• Устаревание. С развитием интернета каталог перестал успевать за появлением новых сайтов и технологий (например, социальных сетей и блогов).

¶Наследие

После закрытия ODP его данные были сохранены в виде архивов. В 2017 году некоммерческая организация Curlie (curlie.org) запустила проект по восстановлению каталога на основе последней версии ODP. Curlie использует ту же структуру категорий и принципы редактирования, но управляется независимым сообществом. На начало 2020-х годов Curlie остаётся одним из немногих активно поддерживаемых ручных каталогов.

Кроме того, идея открытого, редактируемого сообществом каталога повлияла на развитие других проектов, таких как Wikipedia (хотя последняя использует модель вики, а не иерархический каталог). ODP также считается одним из первых успешных примеров краудсорсинга в интернете.

¶Интересные факты

• Название DMOZ расшифровывается как Directory Mozilla, что было отсылкой к браузеру Mozilla, который также разрабатывался Netscape.
• В 2000 году ODP был включён в Книгу рекордов Гиннесса как «самый большой каталог веб-сайтов, редактируемый людьми».
• Несмотря на закрытие, архивы ODP до сих пор используются в академических исследованиях и для обучения алгоритмов машинного обучения, так как представляют собой структурированную базу данных веб-сайтов с ручной классификацией.

¶Источники

• Skrenta, R. (1998). Gnuhoo: The Open Directory Project. Netscape Communications.
• Open Directory Project: A History. (2017). Internet Archive.
• DMOZ: The Open Directory Project. (2017). Curlie.org.
• The Rise and Fall of the Open Directory Project. (2018). Journal of Internet History.
• Curlie: A New Beginning for the Open Directory. (2019). Curlie.org.