Midomi: сервис распознавания музыки¶
Midomi — онлайн-сервис и мобильное приложение для идентификации музыкальных произведений по аудиозаписи, разработанный компанией Melodis Corporation. В отличие от многих аналогов, сервис позволяет распознавать музыку не только по качественной студийной записи, но и по напеву или насвистыванию мелодии самим пользователем. Сервис использует технологию анализа звука на основе спектральных характеристик и сопоставления их с обширной базой данных.
¶История
Компания Melodis Corporation была основана в 2006 году в Сан-Хосе (Калифорния, США) группой инженеров и исследователей в области обработки аудиосигналов. Первоначально проект развивался как веб-платформа, позволяющая пользователям искать песни по собственному напеву. В 2007 году Midomi получил широкую известность благодаря интеграции с музыкальными сервисами и мобильными платформами.
В 2009 году Melodis была приобретена японской телекоммуникационной корпорацией NTT DOCOMO, которая планировала использовать технологию для развития своих музыкальных сервисов. После слияния технология Midomi была интегрирована в японский сервис uta-map. Несмотря на смену владельца, веб-версия и мобильные приложения продолжали функционировать под оригинальным брендом.
В 2012 году компания SoundHound Inc. (разработчик конкурирующего приложения SoundHound) выкупила активы Melodis и технологию Midomi. После этого развитие оригинального бренда фактически прекратилось, а пользователям было предложено перейти на использование SoundHound. Однако веб-интерфейс midomi.com оставался доступным в течение длительного времени, позволяя распознавать музыку через браузер.
¶Технология распознавания
В основе работы Midomi лежит алгоритм акустического отпечатка (fingerprinting). Система анализирует входящий аудиосигнал, преобразует его в спектрограмму и выделяет характерные пиковые частоты и временные интервалы. Полученный цифровой отпечаток сравнивается с индексами в базе данных, содержащей миллионы треков.
Ключевая особенность технологии — способность обрабатывать монофонический вокал (голос без музыкального сопровождения). Для этого используется алгоритм выделения основной частоты (F0) и её гармоник. Система определяет последовательность нот и интервалов, после чего сопоставляет полученную последовательность с мелодическими контурами песен в базе. Такой подход позволяет находить песни даже при неточном попадании в ноты, поскольку алгоритм учитывает отклонения в высоте тона и тембре.
Для распознавания студийных записей использовался стандартный метод сравнения акустических отпечатков, устойчивый к сжатию в формат MP3 и посторонним шумам.
¶Функциональность
Веб-версия сервиса позволяла пользователям записать аудиофрагмент через микрофон компьютера или загрузить готовый файл. После обработки запроса система выдавала список возможных совпадений с указанием исполнителя, названия трека и альбома. При наличии лицензионных соглашений предоставлялась возможность прослушать фрагмент песни или перейти к её покупке в онлайн-магазинах.
Мобильные приложения Midomi (для iOS и Android) обладали схожим функционалом, но дополнительно позволяли сохранять историю запросов и формировать список распознанных композиций. В ряде версий была реализована функция «живого» поиска, при котором распознавание происходило непрерывно в реальном времени.
Социальная составляющая сервиса позволяла пользователям записывать собственные исполнения песен и публиковать их на сайте, где другие участники могли оценивать вокальные данные. Эта функция была популярна среди начинающих вокалистов, однако после перехода технологии к SoundHound архивы пользовательских записей были частично удалены.
¶Сравнение с аналогами
Основными конкурентами Midomi на рынке распознавания музыки являлись Shazam и SoundHound. Shazam специализировался исключительно на идентификации готовых записей и отличался высокой скоростью обработки запросов. SoundHound, напротив, изначально позиционировался как прямой наследник технологий Midomi и также поддерживал распознавание по напеву.
Главным преимуществом Midomi перед Shazam была возможность поиска по голосу. Однако точность распознавания напева уступала точности идентификации студийных записей, а база данных была меньше, чем у Shazam. По этой причине сервис занимал нишевую позицию, привлекая пользователей, которые хотели найти песню, помня лишь её мотив.
¶Влияние и наследие
Технология, разработанная для Midomi, легла в основу ряда последующих разработок в области музыковедческой информатики. Алгоритмы выделения мелодического контура применяются в системах автоматической нотации и поиска музыкальных произведений по фрагменту мелодии (query by humming). После интеграции в SoundHound наработки Midomi использовались для улучшения функции распознавания по напеву в этом приложении.
Веб-сайт midomi.com продолжал работать вплоть до конца 2010-х годов, однако к началу 2020-х годов его функциональность была ограничена или полностью отключена. В настоящее время оригинальный сервис считается недействующим, а его технологическая база полностью поглощена экосистемой SoundHound.
¶Критика и ограничения
Пользователи отмечали нестабильную работу распознавания при наличии сильного фонового шума или при низком качестве микрофона. Распознавание по напеву требовало достаточно точного соблюдения ритма и интервалов; при значительных отклонениях от оригинала система часто выдавала ошибочные результаты. Кроме того, база данных Midomi была ориентирована преимущественно на западную популярную музыку, что ограничивало её применимость для распознавания классических произведений, национального фольклора или малоизвестных исполнителей.