Дата-инженер в команду Business Intelligence

Кирилл Красновид, тимлид команды Business Intelligence

«У нас так много вдохновляющих планов и направлений, что ты точно найдёшь задачи по душе»

Привет! Я Кирилл, тимлид команды BI в Профи. Наш сервис помогает клиентам и специалистам встретиться.

Команда BI раскладывает и визуализирует данные так, чтобы аналитикам было удобно их исследовать, а бизнесу — делать выводы и принимать решения на их основе.

Нас трое: BI-аналитик и два дата-инженера, включая меня. Дата-инженеры развивают аналитическую платформу, стриминговую аналитику и сервис A/B-тестов, а BI-аналитик отвечает за формирование удобных витрин данных и их визуализацию.

Нам не хватает рук для всех планов и задач, поэтому расширяем команду.

Стараемся встречаться в офисе, особенно на брейнштормах. Но можно работать и полностью удалённо.

Технологии

Языки: Python, SQL.
Основа хранилища — базы данных Vertica и ClickHouse, начали переход с Vertica на GreenPlum.
MySQL — основной источник данных и БД для сервисов.
Оркестрация загрузки данных с помощью Apache Airflow.
Стриминговая аналитика на Apache Flink (разработка на Java).

Зачем тебе к нам

Свободно реализовывать свои идеи. В Профи не бывает директивных указаний. Для нас нормально не соглашаться с командой и предлагать своё решение. Мы любим пробовать новое, обсуждать сложности и делиться взглядами.
Развиваться. Можешь вырасти до уровня Power или Expert, стать руководителем направления или углубиться в Data Science. Ещё у нас есть data-community, где инженеры обсуждают сложные кейсы и делятся интересными находками.
Наслаждаться корпоративной культурой. Ты обязательно найдёшь здесь новых друзей. Мы любим смеяться, тусоваться и отдыхать вместе. Например, организуем всей компанией четырёхдневный фестиваль в стиле Burning Man :) В этом году их будет целых два — в России и Грузии.

Чем предстоит заниматься

В первое время:

Познакомиться с архитектурой хранилища и процессов в нём.
Научиться «протаскивать» данные в хранилище.
Развивать и поддерживать ETL-платформу.
Участвовать в разработке витрин данных для отчётов.
Помогать в переходе от СУБД Vertica на GreenPlum.

Когда освоишься:

Перейти на новую major-версию Airflow.
Собрать полноценный Data Lineage.
Адаптировать существующую модель данных к современным потребностям аналитики в контексте новой MPP СУБД.
Создавать новые и дорабатывать существующие коннекторы между базами данных.
Оптимизировать ETL-процессы.
Обогащать аналитические события данными из хранилища с помощью Apache Flink.
Создать полноценные тестовые среды.

Что нужно, чтобы к нам присоединиться

Уверенное владение SQL: знаешь, как работают индексы, владеешь агрегирующими и оконными функциями, понимаешь, как читать план запроса и делать выводы на его основе, как работает партиционирование и дистрибьюция данных.
Уверенное знание Python — на уровне представления об ООП.
Опыт работы с системами контроля версий, мы используем Git (удалённые репозитории в GitLab и GitHub).
Понимание, что влияет на производительность решения и умение локализовать bottleneck.
Опыт работы с консолью Linux. Можешь зайти по SSH на удалённый сервер, прочитать или отфильтровать содержимое файла, заменить часть строки через консоль.
Знание английского языка на уровне чтения технической литературы.