Wiki · Анализ эффективности

Apache Superset

Apache Superset – это открытая платформа для исследования и визуализации данных, которую развивает сообщество Apache Software Foundation. Код распространяется под лицензией Apache 2.0: систему можно бесплатно поставить на свой сервер и дорабатывать.

Слово superset знакомо и спортсменам, так называют связку упражнений без отдыха. Нам интересен другой Superset. О нём обычно рассказывает технический директор или разработчик: «облачный BI нам не подходит, поднимем Superset у себя». Разберём, что за этим стоит и какую работу такое решение добавляет компании.

Откуда взялся Superset

Проект появился в Airbnb в 2015 году. В мае 2017 года его передали в инкубатор Apache, а 21 января 2021 года Apache Software Foundation объявила Superset проектом верхнего уровня. В те же дни вышла версия 1.0. Автор проекта Максим Бошмен позже основал компанию Preset, которая продаёт Superset как облачный сервис для тех, кто не хочет держать свой сервер.

Откуда Superset берёт данные и что с ними делает

Главное, что нужно понять заказчику: Superset сам данные не собирает и не хранит. Он подключается к базам данных, которые понимают SQL, и показывает то, что в них лежит. Для каждой базы нужен драйвер Python и диалект SQLAlchemy. Так подключают ClickHouse, PostgreSQL, MySQL и десятки других систем.

Отсюда типичная схема для маркетинга. Данные из Метрики, рекламных кабинетов и CRM сначала выгружают в базу скриптами или ETL-сервисом, а Superset уже строит по ней графики.

Схема работы Apache Superset: данные Метрики, рекламы и CRM загружают в ClickHouse или PostgreSQL, Superset строит по базе дашборды — Как данные маркетинга попадают в Superset

Аналитик может собрать набор данных прямо SQL-запросом. Например, визиты по дням и источникам:

SELECT visit_date, source, COUNT(*) AS visits
FROM visits
GROUP BY visit_date, source

Такой запрос становится виртуальным датасетом, и на нём строят графики без кода. Дальше в дело идут штатные возможности системы:

Конструктор графиков без кода и больше 40 встроенных видов визуализаций.
SQL Lab: редактор запросов для аналитиков прямо в браузере.
Дашборды с фильтрами, перекрёстной фильтрацией и проваливанием в детали.
Кэширование, чтобы тяжёлые дашборды открывались быстрее.
Роли и права доступа, REST API для интеграций.

Бесплатный по лицензии, но не в эксплуатации

За Superset не нужно платить вендору, но кто-то должен его поднять и вести. Перед стартом проверьте, кто в вашей команде или у подрядчика возьмёт на себя:

сервер и установку, обычно через Docker;
обновления версий и закрытие уязвимостей;
резервные копии метаданных: дашбордов, графиков, пользователей;
загрузку данных в базу и контроль, что она не сломалась ночью;
права доступа для сотрудников и подрядчиков.

Чек-лист эксплуатации Apache Superset: сервер, обновления, секретный ключ, резервные копии, загрузка данных и права доступа — Что берёт на себя компания со своим Superset

Почему Superset рассматривают в России

Лицензия Apache 2.0 бессрочная и действует по всему миру, а сама установка живёт на ваших серверах. Продавца, который мог бы приостановить продажи в отдельной стране, у открытого проекта нет. Поэтому Superset рассматривают как замену Power BI, Tableau или Qlik Sense там, где отчёты должны оставаться внутри компании.

Плата за это одна: вся ответственность за систему переходит к вам. Сломалась загрузка ночью, утром руководитель видит вчерашние цифры, и звонить, кроме своей команды, некому.

Как узнать Superset и что забрать при смене подрядчика

Понять, что отчёты собраны именно в Superset, можно по трём признакам:

В адресе дашборда есть /superset/dashboard/, у графиков /explore/.
В интерфейсе есть раздел SQL Lab для запросов к базе.
Подрядчик говорит о Docker-контейнерах, базе метаданных и подключениях через SQLAlchemy.

Дашборды, графики, датасеты и пользователи хранятся в служебной базе метаданных Superset, отдельной от базы с вашими данными. При передаче проекта нужны доступ к серверу, копия базы метаданных, скрипты загрузки данных и описание формул. Дашборды также можно выгрузить архивом и загрузить в другую установку. Без скриптов загрузки новая команда увидит красивые графики, которые перестанут обновляться.

С чем сравнивают Superset

Ситуация	Что обычно рассматривают
Данные должны оставаться на своих серверах, есть DevOps и аналитик со знанием SQL	Apache Superset или открытая версия DataLens
Своей инфраструктуры нет, данные в Метрике и ClickHouse	Облачный Yandex DataLens
Нужны простые отчёты по Google Analytics и рекламе	Looker Studio (Data Studio)
Нужен Superset, но без своего сервера	Облачный сервис Preset

Секретный ключ, обновления и формулы: что ломает Superset

Оставить стандартный секретный ключ (SECRET_KEY) из примера конфигурации. В апреле 2023 года Apache выпускал из-за этого предупреждение об уязвимости CVE-2023-27524. Ключ задают свой, а сервер не открывают в интернет без нужды.
Ставить Superset и забывать про обновления. Через год система отстаёт на несколько версий, и обновление превращается в отдельный проект.
Ждать, что Superset сам подтянет Метрику и Директ. Без базы и загрузки данных показывать ему нечего.
Считать ROMI и стоимость заявки в каждом графике по-своему. Формулы держат в датасете, тогда ROMI и KPI совпадают на всех дашбордах.

Установка, подключение данных и расходы на Superset

С какими базами данных работает Superset?

С любой базой, для которой написаны драйвер на Python и диалект SQLAlchemy. На официальном сайте проекта таких систем заявлено больше 60. Для маркетинговых отчётов обычно берут ClickHouse или PostgreSQL.

Как установить Apache Superset на Windows?

Проще всего через Docker: ставите Docker Desktop и запускаете Superset в контейнерах так же, как на сервере. Прямую установку на Windows проект официально не поддерживает, поэтому такой вариант годится для пробы, а рабочую систему поднимают на Linux-сервере.

Как подключить Яндекс Метрику и Директ к Superset?

Напрямую никак: Superset читает только базы данных и к API Метрики или рекламных кабинетов не обращается. Статистику сначала регулярно выгружают в ClickHouse или PostgreSQL, а уже эту базу добавляют в Superset как источник. Кто отвечает за ночную выгрузку, решите до старта.

Во что обходится Superset, если лицензия бесплатная?

Вендору вы не платите, но вся эксплуатация ложится на компанию: сервер, установка, обновления, резервные копии и время людей, которые за этим следят. Если держать свой сервер не хочется, есть Preset, облачный Superset от автора проекта, но это уже платный сервис.

Чем Superset отличается от DataLens?

Superset вы ставите и обслуживаете сами, а Yandex DataLens чаще берут как облачный сервис, где подключение к Метрике уже готово. У DataLens есть и открытая версия для своих серверов. Поэтому выбор обычно упирается в два вопроса: где должны лежать данные и есть ли у вас DevOps-инженер плюс аналитик, который пишет SQL.

Каких специалистов держать, чтобы Superset работал?

Смотреть готовые дашборды может любой сотрудник, технические знания для этого не нужны. Сервер, установку и обновления берёт на себя DevOps-инженер. Загрузку данных в базу, датасеты и сложные запросы в SQL Lab ведёт аналитик или разработчик. Уйдёт кто-то из них, и дашборды останутся, а свежих цифр в них не будет.

Подключаем источники и собираем отчёты при внедрении сквозной аналитики. Отчёты по каналам используем и в комплексном performance-маркетинге.

Документация Superset и анонсы Apache

Официальный сайт и документация Apache Superset: возможности, подключение баз данных
Apache Software Foundation: анонс Superset как проекта верхнего уровня, 21 января 2021 года
Apache Superset: уведомление о безопасности CVE-2023-27524
Preset: страница о компании

См. также: KPI, Хостинг, BI-аналитика, Дашборд.