Слой данныхОткрывая смысл в данных

СБОР. КОНТЕКСТ. ПОНИМАНИЕ.

У данных
есть история.

Как собирать миллионы событий и находить в них то, что действительно имеет значение.

Открыть журнал
События объединяются в упорядоченный набор данных.
От отдельных наблюдений к общей картине.Концептуальная визуализация

Между событием
и решением.

Хороший набор данных начинается задолго до первого графика. У каждого этапа своя задача.

Откуда приходят наблюдения

Сначала вопрос.
Потом сбор.

События приложения, показания датчиков, открытые каталоги. Выбор источника зависит от задачи, доступности и разрешённых условий использования.

Пример: считать загрузку транспорта по обезличенным событиям, не собирая историю перемещений человека.

Заметки о большом.

Небольшие разборы о том, что помогает данным оставаться полезными.

Инженерия данных · 4 минуты

Поток или пакет: когда обрабатывать события

Не каждому продукту нужна реакция за миллисекунды. Иногда ежедневный расчёт проще, дешевле и понятнее.

Читать заметку

Пакетная обработка объединяет данные за период и запускает расчёт по расписанию. Она подходит для отчётов, сверки и задач, где небольшая задержка допустима.

Потоковая обработка рассматривает события по мере поступления. Она полезна для оперативных уведомлений и наблюдения за состоянием системы. В обмен приходится учитывать события, пришедшие с опозданием, и повторную доставку.

Начните с вопроса: как быстро результат должен изменить действие? Ответ помогает выбрать архитектуру без лишней сложности.

Качество · 3 минуты

Дубликаты тоже рассказывают историю

Повторное событие может быть следствием сетевого сбоя. Удалить его вслепую бывает хуже, чем сохранить.

Читать заметку

Одно событие может прийти несколько раз: приложение повторило запрос, очередь заново доставила сообщение или источник прислал исправление. Это разные ситуации, хотя строки выглядят похоже.

Храните идентификатор события, время возникновения и время получения. Правило удаления дублей должно опираться на смысл данных, а не только на совпадение всех столбцов.

Полезно сохранять исходный слой отдельно. Тогда правила очистки можно пересмотреть, не теряя первоначальные наблюдения.

Практика · 3 минуты

Почему метаданные не бывают второстепенными

Число без единицы измерения и времени сбора легко превращается в убедительную ошибку.

Читать заметку

Температура в градусах Цельсия и Фаренгейта выглядит как обычное число. То же происходит с часовыми поясами, валютами и интервалами агрегации.

Записывайте происхождение набора, версии схемы, единицы измерения и известные ограничения. Эти сведения помогают понять, можно ли сравнивать два источника и какие выводы они действительно поддерживают.

Короткое описание набора часто экономит больше времени, чем ещё один сложный инструмент обработки.

Больше данных.
Больше ответственности.

Собирать необходимое

Определить цель и перечень полей заранее. Не хранить персональные сведения «на всякий случай».

Сохранять происхождение

Понимать источник каждого набора, условия доступа и то, как данные менялись на пути к результату.

Называть ограничения

Отделять наблюдения от предположений. Делать видимыми пропуски, смещения и неопределённость.

О проекте

Данные полезны,
когда их понимают.

«Слой данных» посвящён культуре работы с информацией. Здесь мы разбираем идеи и подходы простыми словами, без обещаний волшебной аналитики.

Материалы носят образовательный характер. Сайт не принимает пользовательские наборы данных и не использует стороннюю аналитику.