Apache Superset — платформа бизнес-аналитики¶

Apache Superset — это свободно распространяемая программная платформа для бизнес-аналитики и визуализации данных с открытым исходным кодом. Инструмент позволяет подключаться к различным источникам данных, выполнять запросы, создавать интерактивные информационные панели (дашборды) и делиться ими с другими пользователями. Проект развивается под управлением Apache Software Foundation и распространяется под лицензией Apache 2.0.

¶История

Проект Superset был создан в 2015 году Максом Бобером, сотрудником компании Airbnb. Изначально платформа разрабатывалась как внутренний инструмент для аналитиков Airbnb под названием Caravel. В 2016 году проект был переименован в Panoramix, а затем в Superset. В 2017 году Airbnb передала код проекта фонду Apache Software Foundation, где он получил статус инкубационного проекта. В 2021 году Apache Superset был признан проектом верхнего уровня (Top-Level Project) фонда.

¶Архитектура и устройство

¶Компоненты системы

Apache Superset построен на клиент-серверной архитектуре. Серверная часть написана на языке Python с использованием веб-фреймворка Flask. Взаимодействие с базами данных осуществляется через SQLAlchemy — объектно-реляционный мост, поддерживающий большинство популярных СУБД.

Клиентская часть представляет собой одностраничное веб-приложение на JavaScript с использованием фреймворка React. Пользовательский интерфейс работает в любом современном браузере и не требует установки дополнительного программного обеспечения.

¶Хранилище метаданных

Для хранения конфигурации, информации о подключениях к базам данных, пользователях, созданных дашбордах и графиках Superset использует отдельную базу данных метаданных. По умолчанию применяется SQLite, однако в производственных средах рекомендуется использование PostgreSQL или MySQL.

¶Основные возможности

¶Подключение к источникам данных

Superset поддерживает более 40 типов баз данных через соответствующие диалекты SQLAlchemy. Среди них: PostgreSQL, MySQL, ClickHouse, Apache Druid, Google BigQuery, Amazon Redshift, Microsoft SQL Server, Snowflake, Presto и другие. Платформа позволяет одновременно работать с несколькими источниками данных и объединять их в рамках одного дашборда.

¶Редактор SQL-запросов

Встроенный редактор SQL предоставляет среду для написания и выполнения запросов с подсветкой синтаксиса, автодополнением и проверкой ошибок. Результаты запросов можно сохранять как виртуальные наборы данных для последующей визуализации.

¶Конструктор диаграмм

Платформа включает более 60 типов визуализаций, включая гистограммы, линейные графики, круговые диаграммы, тепловые карты, географические карты, древовидные карты, боксплоты и другие. Пользователь может настраивать цвета, подписи, оси координат и другие параметры отображения через графический интерфейс без написания кода.

¶Информационные панели

Дашборды объединяют несколько диаграмм на одной странице. Поддерживаются фильтры, действующие на все визуализации панели одновременно, а также перекрёстная фильтрация — клик по элементу одной диаграммы обновляет содержимое других. Дашборды имеют настраиваемый макет с возможностью изменения размеров и расположения элементов.

¶Безопасность и управление доступом

Superset включает систему ролей и прав. Администратор может создавать пользователей, назначать им роли с различными уровнями доступа к дашбордам, наборам данных и отдельным базам данных. Поддерживается интеграция с внешними системами аутентификации: LDAP, OAuth, OpenID Connect.

¶API и расширяемость

Платформа предоставляет REST API для автоматизации задач администрирования и интеграции с внешними системами. Разработчики могут создавать собственные типы визуализаций на JavaScript и подключать их к платформе.

¶Применение

Apache Superset используется компаниями различного масштаба для решения задач аналитики. Платформа позволяет создавать оперативные панели мониторинга ключевых показателей, отчёты по продажам, маркетинговые аналитические панели, отслеживать технические метрики работы сервисов и анализировать логи. В качестве примеров крупных пользователей проекта упоминаются Airbnb, Twitter, Yahoo, Lyft, Shopify.

Преимуществами платформы считаются отсутствие лицензионных отчислений, возможность развёртывания на собственной инфраструктуре, поддержка большого количества источников данных и активное сообщество разработчиков, обеспечивающее регулярные обновления.

¶Ограничения

Superset ориентирован преимущественно на интерактивные запросы и визуализацию. Для построения сложных конвейеров обработки данных и автоматизированной подготовки отчётов по расписанию платформа требует использования дополнительных инструментов. При работе с большими объёмами данных производительность зависит от мощности источника данных, поскольку Superset не выполняет предварительную агрегацию и передаёт запросы напрямую в базу.

¶См. также

• Бизнес-аналитика
• Визуализация данных
• Apache Software Foundation

¶Источники

• Официальная документация Apache Superset
• Материалы Apache Software Foundation о статусе проекта
• Репозиторий проекта на GitHub