Data Engineer

з/п не указана
ГКУ Инфогород
Москва Постоянная занятость Полный день

Описание

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7. ОМС — новый проект по импортозамещению АИС ОМС, информационной системы для автоматизации процессов, связанных с обязательным медицинским страхованием, такими как персонифицированный учет медицинской помощи и информационное обеспечение деятельности участников системы ОМС. Она обеспечивает сбор, хранение и обработку данных о медицинских услугах и страховых случаях. Обязанности: • Проектировать и развивать архитектуру потоков обработки и хранения данных. • Разрабатывать и сопровождать ETL/ELT-пайплайны и интеграции с источниками данных.• Реализовывать dbt-модели, SQL-трансформации и объекты данных в ClickHouse.• Разрабатывать и поддерживать Airflow DAGs и механизмы оркестрации.• Организовывать хранение и обработку данных с использованием S3.• Обеспечивать надежность, производительность и масштабируемость data-процессов.• Реализовывать механизмы контроля качества данных, мониторинга и обработки ошибок.• Оптимизировать SQL-запросы, модели хранения и процессы обработки больших объемов данных.• Участвовать в проектировании и развитии DWH и аналитических витрин совместно с аналитиками.• Интегрировать новые источники данных и обеспечивать их стабильную загрузку.• Документировать технические решения и участвовать в развитии инженерных стандартов команды.• Взаимодействовать с аналитиками, разработчиками и Заказчиками при проектировании и реализации решений. Требования: ​​​​​​​​​​​​​​Опыт работы от 3 лет в Data Engineering, разработке DWH или смежных инженерных направлениях.• Уверенное владение SQL: CTE, оконные и агрегатные функции, подзапросы; оптимизация запросов и работа с большими объемами данных.• Уверенное владение Python для разработки ETL/ELT-процессов, интеграций и автоматизации обработки данных.• Опыт проектирования и разработки ETL/ELT-пайплайнов и потоков обработки данных.• Глубокое понимание принципов построения DWH, Data Mart и моделей данных.• Практический опыт разработки dbt-моделей, SQL-трансформаций и управления зависимостями между объектами данных.• Уверенная работа с ClickHouse: проектирование таблиц, выбор схем хранения, оптимизация запросов и производительности.• Опыт работы с системами оркестрации, преимущественно Airflow.• Опыт работы с S3 и объектным хранением данных.• Понимание принципов интеграции данных и работы с форматами JSON, XML, CSV.• Опыт построения и сопровождения процессов загрузки данных из различных источников.• Понимание принципов Data Quality, контроля целостности, полноты и актуальности данных.• Опыт работы с Git.• Навыки декомпозиции технических требований и проектирования решений совместно с аналитиками, разработчиками и Заказчиками. Будет преимуществом:• Опыт проектирования и развития корпоративных хранилищ данных.• Опыт работы с другими аналитическими СУБД и DWH-платформами.• Опыт построения потоковых решений и систем потоковой передачи данных.• Опыт настройки мониторинга и алертинга data-пайплайнов.• Навыки оптимизации инфраструктурных и вычислительных затрат.• Профильное высшее образование.Личностные качества• Системное и инженерное мышление.• Ответственность за надежность и результат работы data-платформы.• Ориентация на качество, производительность и поддерживаемость решений.• Умение самостоятельно принимать технические решения.• Способность быстро погружаться в новые технологии, источники и предметные области.• Умение работать в команде и эффективно взаимодействовать со смежными специалистами. Условия:​​​​​​​ Что мы предлагаем: - Рыночную зарплату и премии; - График работы 5/2; - Интересные задачи и ресурсы для их реализации; - Преимущества аккредитованной IT-компании; - Материальную помощь в случае важных событий в жизни; - Корпоративное обучение и доступ к онлайн-библиотеке; - Корпоративные тренировки и спортивные активности: бег, футбол, волейбол, баскетбол, теннис и другие; - Комьюнити по интересам; - Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д. Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!

Откликнуться
Источник: hh · 10.11.2026

Похожие вакансии в городе Москва

Все вакансии в городе Москва →