Асессор: профессия и оценка качества¶
Асессор — специалист, выполняющий задачи по оценке, экспертизе или классификации объектов в соответствии с заданными критериями. Термин происходит от латинского assessor («заседатель», «помощник судьи») и в современном употреблении имеет несколько значений, наиболее распространённые из которых связаны с оценкой качества работы поисковых систем и с судебной практикой.
¶История и этимология
Изначально слово «асессор» использовалось в Древнем Риме для обозначения юриста, который помогал магистрату или наместнику в судебных разбирательствах. В Российской империи с XVIII века существовал чин коллежского асессора, соответствовавший VIII классу Табели о рангах. Эта должность давала право на потомственное дворянство и была широко известна благодаря русской литературе XIX века (например, персонаж «коллежский асессор» у Н. В. Гоголя).
В современном мире термин приобрёл новое значение в связи с развитием информационных технологий и поисковых систем. С конца 1990-х годов, когда интернет-поиск стал массовым, возникла потребность в ручной оценке релевантности выдачи для обучения алгоритмов машинного обучения.
¶Асессор в поисковых системах
¶Суть профессии
Асессор поисковой системы — это специалист, который вручную оценивает качество выдачи поисковика по определённым запросам. Его работа заключается в том, чтобы проверять, насколько хорошо алгоритмы ранжирования справляются со своей задачей: насколько релевантны найденные страницы, нет ли спама, соответствует ли порядок результатов ожиданиям пользователя.
Асессоры не являются программистами и не участвуют напрямую в разработке алгоритмов. Они выполняют роль «человеческого фактора», предоставляя данные для обучения нейросетей и систем машинного обучения. Оценки асессоров формируют датасеты, на которых тренируются модели ранжирования.
¶Ключевые компетенции
Для работы асессором требуются:
- хорошее знание языка и культуры региона, для которого оценивается выдача;
- понимание принципов работы поисковых систем;
- внимательность и способность следовать детальным инструкциям (часто объёмом в десятки страниц);
- логическое мышление и умение различать тонкие оттенки смысла запросов;
- базовые навыки работы с компьютером и браузером.
¶Типы заданий
Асессоры выполняют несколько основных типов заданий:
- Оценка релевантности — сопоставление выдачи с запросом по шкале от «идеально» до «нерелевантно».
- Оценка полезности страницы — анализ того, насколько полно страница отвечает на запрос пользователя.
- Оценка качества контента — выявление признаков спама, кликбейта, низкокачественных текстов.
- Сравнение алгоритмов — участие в A/B-тестировании, когда нужно сравнить две версии выдачи.
¶Работа в Яндекс и Google
Крупнейшие поисковые компании — Яндекс и Google — используют труд тысяч внештатных асессоров по всему миру. В Яндексе профессия называется «асессор» (иногда «оценщик»), в Google — «search quality rater» (оценщик качества поиска). Обе компании публикуют подробные руководства по оценке качества, которые являются закрытыми документами, но фрагменты из них периодически попадают в открытый доступ.
Работа асессора обычно является удалённой и частичной занятостью. Сотрудники нанимаются через специализированные платформы или напрямую компаниями. Оплата сдельная, зависит от количества и сложности выполненных заданий.
¶Методология оценки
Оценка релевантности строится на понимании интента (намерения) пользователя. Асессор должен определить тип запроса: навигационный (пользователь ищет конкретный сайт), информационный (хочет получить сведения) или транзакционный (намерен совершить действие — купить, скачать, зарегистрироваться). В зависимости от типа запроса критерии оценки меняются.
Особое внимание уделяется страницам с низким качеством (low-quality pages) и страницам, которые вводят пользователя в заблуждение. Асессоры также оценивают E-A-T (экспертность, авторитетность, доверительность) — концепцию, активно используемую Google для оценки качества контента.
¶Асессор в судебной системе
В ряде стран (например, в Германии, Японии, некоторых постсоветских государствах) асессорами называют заседателей — лиц, привлекаемых к участию в судебных разбирательствах наряду с профессиональными судьями. В отличие от присяжных заседателей, которые выносят вердикт о виновности, асессоры часто участвуют в вынесении решения по существу дела вместе с судьёй и имеют равный с ним голос при голосовании.
В Германии шеффены (немецкий аналог асессоров) участвуют в рассмотрении уголовных дел в участковых судах. В Японии с 2009 года действует система сайбан-ин (судебные заседатели), которые совместно с профессиональными судьями рассматривают тяжкие уголовные преступления.
¶Другие значения
В некоторых контекстах термин «асессор» используется для обозначения:
- специалиста по оценке имущества или ущерба в страховом деле (асессор в страховании — эксперт, определяющий размер ущерба);
- помощника профессора в университетах некоторых стран (например, в Германии);
- консультанта при руководящих органах международных организаций.
¶Критика профессии
Деятельность асессоров поисковых систем вызывает споры в экспертном сообществе. Критики отмечают субъективность оценок, невозможность полной унификации критериев, а также риск ошибок при работе с неоднозначными запросами. Кроме того, существует проблема «накрутки» — недобросовестные веб-мастера пытаются влиять на оценки асессоров или подделывать результаты тестирования.
Сторонники профессии подчёркивают, что без участия человека поисковые алгоритмы не могут адекватно учитывать нюансы языка и культурные особенности, поэтому асессоры остаются важным звеном в обеспечении качества поиска.
¶Перспективы профессии
С развитием больших языковых моделей и нейросетей часть функций асессоров автоматизируется. Однако полностью отказаться от ручной оценки компании пока не могут: машинное обучение требует качественных размеченных данных, а создавать их могут только люди. Прогнозируется, что профессия будет трансформироваться в сторону более сложных экспертных задач, связанных с оценкой фактологической точности и безопасности контента.