Агрегирование данных и агрегированные показатели¶
Агрегированный — термин, обозначающий объект, показатель или набор данных, полученный в результате агрегирования — объединения множества исходных элементов в сводное, обобщённое целое по определённому правилу. Агрегированные данные используются в статистике, экономике, информатике, телекоммуникациях и проектировании баз данных, когда детальные значения заменяются укрупнёнными, удобными для анализа, хранения или передачи.
¶Агрегирование как операция
Агрегирование (от лат. aggregare — «присоединять, прикреплять») — это операция свёртки набора значений в одно или несколько итоговых. Выбор способа свёртки определяется задачей: суммирование, усреднение, подсчёт частот, вычисление максимума или минимума, медианы, процентиля и других статистических функций. Результат агрегирования всегда содержит меньше информации, чем исходный набор, но удобнее воспринимается и легче поддаётся сравнению.
Пример: продажи тысяч магазинов за месяц сводятся к итоговому обороту сети; показания миллионов счётчиков воды — к среднему потреблению по району.
¶Агрегированные данные в статистике
В официальной статистике агрегированные данные составляют основу публикуемых показателей. Росстат публикует укрупнённые сведения о валовом региональном продукте, индексах потребительских цен, численности населения, обороте розничной торговли. Исходные микроданные (индивидуальные ответы респондентов, записи о каждой сделке) обрабатываются и обезличиваются, после чего публикуются в виде агрегатов по регионам, отраслям, возрастным группам и другим признакам.
Агрегация в статистике решает две задачи: защиту персональных данных и обеспечение пригодности данных для анализа. Законодательство, в том числе Федеральный закон «О персональных данных», ограничивает распространение индивидуальных сведений, поэтому публичная статистика носит агрегированный характер.
¶Агрегированные показатели в экономике и финансах
В экономике агрегированные показатели описывают экономику в целом или её крупные секторы. К ним относятся:
- ВВП (валовой внутренний продукт) — суммарная стоимость конечных товаров и услуг, произведённых за период;
- ИПЦ (индекс потребительских цен) — сводный показатель изменения цен на корзину товаров и услуг;
- Агрегированный спрос и предложение — суммарные величины спроса и предложения по всем рынкам;
- Агрегированный баланс — сводный баланс доходов и расходов государства, включающий все уровни бюджета.
Ключевое свойство агрегированных экономических показателей — макроэкономическая уместность: они отражают устойчивые тенденции, но скрывают распределение внутри совокупности. Рост ВВП может сочетаться со снижением доходов отдельных групп населения, и это проявляется только при переходе к более мелким разрезам.
¶Агрегирование в базах данных
В реляционных базах данных агрегирование — стандартная операция языка SQL, выполняемая с помощью группировки (GROUP BY) и агрегатных функций: COUNT, SUM, AVG, MIN, MAX. Запрос вида SELECT region, SUM(amount) FROM sales GROUP BY region превращает миллионы строк транзакций в несколько строк с итогами по регионам.
Агрегированные таблицы (материализованные представления, предагрегированные кубы) используются для ускорения аналитических запросов. В системах онлайн-аналитической обработки данных (OLAP) многомерные кубы хранят заранее вычисленные агрегаты по измерениям — времени, географии, товарным категориям, — что позволяет мгновенно отвечать на сводные вопросы.
¶Агрегирование в телекоммуникациях
В сетевых технологиях агрегация — объединение нескольких каналов связи в один логический с большей пропускной способностью. Технологии агрегации несущих (carrier aggregation) в стандартах LTE-Advanced и 5G позволяют оператору использовать одновременно несколько частотных полос, увеличивая скорость передачи для конечного пользователя. Мостовые протоколы (например, LACP — Link Aggregation Control Protocol) объединяют несколько физических Ethernet-портов в один логический канал с отказоустойчивостью.
¶Агрегация в веб-аналитике и маркетинге
Агрегированные отчёты — основной формат представления данных в системах веб-аналитики (Яндекс.Метрика, Google Analytics). Показатели визитов, конверсий, источников трафика агрегируются по заданным измерениям — страницам, кампаниям, устройствам. Агрегированные кабинеты рекламных кабинетов объединяют статистику нескольких рекламных аккаунтов.
¶Ограничения агрегации
Главный недостаток агрегированных данных — потеря деталей. Эффект Симпсона показывает, что агрегированные данные могут давать вывод, противоположный выводу на уровне подгрупп. Среднее значение скрывает разброс, а усреднение по региону маскирует различия между районами. Поэтому в аналитике агрегированные данные обычно дополняют детализированными разрезами.
Источники:
- Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных»
- ГОСТ Р ИСО/МЭК 2382 — информационные технологии. Словарь
- Курс лекций по статистике. Методология официальной статистики. Росстат
- Датт С. Руководство по OLAP и хранилищам данных
- 3GPP TS 36.300 — LTE. Evolved Universal Terrestrial Radio Access (E-UTRA) и E-UTRAN