Data Engineer / Дата инженер
Описание
Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом. Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика. Заказчик - крупнейший коммерческий банк страны, лидер по объему активов и цифровому развитию. Активно продвигает мобильные сервисы, ценит скорость, гибкость и неформальный подход внутри команд. Многократно отмечен престижными наградами, в том числе «Bank of the Year in Russia 2019» (The Banker) и «Best Mortgage Bank in CEE» (Global Finance).Чем предстоит заниматься? реализовывать высоконагруженные конвейеры обработки данных для обеспечения надежной и бесперебойной репликации данных из ИТ-систем; реализовывать комплексные задачи по подготовке данных в целевых аналитических хранилищах (DataLake, SandBox, FeatureStore) для построения признаков, необходимых для разработки моделей машинного обучения; разрабатывать и поддерживать в актуальном состоянии документацию по разработанному функционалу; своевременно отражать статусы выполнения задач в Jira; проверять качество кода, написанного инженерами данных. Чего мы ждем от специалиста? опыт работы в роли Data Engineer от 4-х лет; отличные знания Python: структуры данных и алгоритмов, ООП и функциональное программирование; опыт написания модульных и интеграционных тестов, знание и опыт применения NumPy, Pandas; опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных (текст, xml, json) из внешних источников; способность разобраться с API поставщиков данных, используя доступную документацию; отличное знание SQL: сложные запросы с использованием аналитических оконных функций, инструменты профилирования для оптимизации их производительности; опыт работы с БД Oracle, Postgres, Greenplum; опыт работы с инструментами разработки, планирования и мониторинга рабочих процессов (workflow engines) пакетной обработки данных Airflow; опыт разработки сложных, высоконагруженных приложений обработки данных на основе PySpark; опыт работы с Apache Kafka: продюсеры/консьюмеры на Python, consumer groups; опыт разработки сервисов потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink; опыт работы с Flink. Что мы предлагаем? Хорошая зарплата: уровень обсуждается индивидуально, есть доплаты за менторство и профактивности. Развитие: долгосрочные проекты от российских заказчиков, возможность менять направления, прозрачная система Performance Review. Комфорт и свобода: релокейт между офисами, выбор формата работы (удалённо, офис, гибрид), адаптация для новых сотрудников. Обучение: доступ к корпоративному порталу, митапам, конференциям (и как гость, и как спикер). Социальный пакет: ДМС со стоматологией, частичная компенсация спорта, бесплатный английский, оплачиваемый отпуск и больничные. Корпоративная жизнь: тимбилдинги, детские праздники, внутренние мероприятия. Наши офисы: Москва (ул. Вильгельма Пика, 11, БЦ «Ботаника», 13 эт., оф. 1310), Санкт-Петербург (Владимирский проспект, д. 23, 8 этаж), Казань (Н. Ершова, 76/1), Нижний Новгород (ул. Новая, 28, коворкинг "VMESTE"). Откликайтесь, если вы готовы расти и развиваться вместе с командой ASTON! Наш рекрутер свяжется с вами, чтобы обсудить детали.