Мир данных уже не тот. Как и всё вокруг нас меняется с немыслимой скоростью, мир данных очень сильно изменился за последние несколько лет. Если 10–15 лет назад тенденция была такова, что от специалиста требовалось наличие широкого спектра навыков, то ситуация поменялась кардинальным образом – сейчас в тренде узкая специализация. Постараюсь пояснить на своём примере из сферы Business Intelligence (BI).

Когда я начинал свой путь BI-консультанта в 2009 году, то мы выполняли весь комплекс задач:

  • проектирование хранилища,
  • подготовка данных в системах-источниках (по крайней мере, формирования требований для экспорта данных),
  • загрузка данных в хранилище,
  • преобразование данных по заданной бизнес-логике,
  • разработка витрин,
  • формирование отчётности и дашбордов,
  • обучение пользователей и т.д.

Что же мы видим сейчас?

Весь объём работы, который выполнял раньше один BI-консультант (или BI-разработчик), разделён, как минимум, на «троих»:

  • инженер по обработке данных (data engineer),
  • инженер-аналитик (analytics engineer),
  • аналитик данных (data analyst).

Сравним все эти роли относительно основных задач по разработке хранилища данных.

Специалисты мира данных
Инженер по обработке данных (data engineer) Инженер-аналитик (analytics engineer) Аналитик данных (data analyst)
- Настраивает и обеспечивает бесперебойную загрузку данных (интеграцию) из систем-источников в хранилище
- Сосредотачивается на поддержке инфраструктуры доставки данных, а не на анализе самих данных 		- Проектирует (моделирует) хранилище данных
- Преобразует данные из систем-источников по заданной бизнес-логике для проведения анализа конечными пользователями (аналитиками и/или бизнес-пользователями)
- Погружается как в техническую сторону обработки данных, так и в потребности бизнеса
- Оформляет и поддерживает документацию по хранилищу 		- Отвечает за визуализацию данных (отчёты, дашборды)
- Тесно взаимодействует с бизнес-пользователями
- Глубоко погружается в потребности бизнеса

Понятно, что такое разделение очень условное. Если говорить про российские компании, то не везде все эти роли вообще есть, а если и есть, то часто имеют другие названия. Но курс на такое разделение обязанностей существует.

Тем не менее, инженеры по обработке данных и аналитики всем хорошо известны и у всех на слуху, а вот инженеры-аналитики появились буквально несколько лет назад. Если не ошибаюсь, то эта профессия родилась в 2018 году, благодаря компании dbt Labs. И вот как раз про эту новую роль в мире данных и продукт компании dbt Labs я хочу немного рассказать и порассуждать в нескольких последующих заметках.