Старший DWH-разработчик

Описание

Привет! Это команда DWH. Мы ищем разработчика аналитического хранилища Ozon, который умеет работать с большими объёмами данных, оптимизировать SQL-запросы, строить ETL-процессы, разбирать ошибки и взаимодействовать с бизнес-пользователями и аналитиками. Наш стек Trino, Vertica, Hadoop, Spark, Jupyter Notebook, Python, Airflow, Docker. Вы будете Разрабатывать и развивать ETL-системы, которые обеспечивают данными различные предметные области: продажи, учёт, логистику. Анализировать данные и проектировать структуры данных под аналитические потребности различных бизнес-подразделений. Оптимизировать и мониторить пайплайны обработки данных, повышая их производительность и стабильность. Проектировать и реализовывать масштабируемые хранилища данных на базе HP Vertica, Trino, ClickHouse, PostgreSQL и Hadoop. Нам важно Самостоятельность в решении задач и опыт в роли ключевого разработчика на крупном проекте. Опыт проектирования архитектуры хранения данных и связанных ETL-процессов. Умение работать с техническими требованиями: аргументированно предлагать изменения и находить оптимальные решения. Хорошие навыки проектирования и реализации ETL-процессов, обязательное знание Airflow. Отличное знание SQL и системное мышление. Опыт разработки хранилищ данных с использованием одной из колоночных СУБД: Vertica, Greenplum, Exadata, Teradata. Опыт программирования на Python, в том числе для разработки решений по автогенерации ETL-задач и реализации логических алгоритмов. Навыки работы с Bash и Docker. Будет плюсом Опыт работы со Spark. Опыт работы с несколькими ETL-инструментами и их использованием в горизонтально масштабируемых системах обработки данных. Знания в одной из областей: CI/CD, frontend- или backend-разработка, разработка интеграционных потоков. Желание участвовать в управлении проектами и доводить фичи до production. Желание развиваться в наставничестве и помогать другим участникам команды.