Ведущий инженер по эксплуатации Data Lake / DevOps
Описание
Сопровождение Big Data Platform (BDP) — внутренней платформы данных банка, используемой дата-инженерами и аналитиками для сбора, хранения и обработки больших объёмов данных из различных источников.Платформа обеспечивает работу с данными для построения аналитической и BI-отчётности, дашбордов и внутренних сервисов. В её основе — архитектура Data Lake / Lakehouse и технологии S3 Object Storage, Kubernetes, Apache Spark, Airflow, Flink и Kafka.Команда отвечает за стабильность и доступность инфраструктуры платформы, производительность хранилищ и устранение возникающих инцидентов. Один из ключевых компонентов — высоконагруженное S3-хранилище, обрабатывающее сотни терабайт данных ежедневно. Чем предстоит заниматься: Сопровождение и эксплуатация внутренней Big Data Platform (BDP) Обеспечение стабильной работы компонентов Data Lake / Lakehouse Администрирование и поддержка высоконагруженной инфраструктуры S3 / Object Storage Сопровождение Kubernetes-платформы и развёрнутых в ней компонентов обработки и хранения данных Эксплуатация и администрирование Apache Spark, Airflow, Flink, Kafka, Apache Iceberg Мониторинг состояния платформы, анализ метрик и логов, контроль доступности и производительности сервисов Диагностика и устранение инцидентов, связанных с производительностью и отказоустойчивостью инфраструктуры Анализ и оптимизация CPU, RAM, сетевых ресурсов, дисковой подсистемы, задержек и пропускной способности Проведение RCA, подготовка postmortem и реализация мероприятий по повышению надёжности платформы Автоматизация эксплуатационных процессов и рутинных операций Взаимодействие с командами Data Engineering и инфраструктуры по вопросам эксплуатации и развития платформы Наши пожелания к кандидатам: Экспертный опыт администрирования Linux Опыт сопровождения высоконагруженных распределённых систем Глубокое понимание S3 / Object Storage и архитектуры распределённых хранилищ Практический опыт эксплуатации Kubernetes-платформ Опыт администрирования и сопровождения компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg Практический опыт эксплуатации MinIO или других решений Object Storage Понимание принципов репликации, erasure coding, consistency и fault tolerance Практический опыт диагностики проблем производительности: CPU, RAM, network, disk I/O, latency, throughput Опыт работы с системами мониторинга и наблюдаемости: Prometheus, Grafana, alerting, анализ логов Навыки автоматизации с использованием Ansible, Terraform, Bash или Python Понимание процессов incident management, problem management и практик SRE Опыт проведения RCA, postmortem analysis и внедрения решений по повышению надёжности инфраструктуры Будет преимуществом Опыт эксплуатации Data Lake / Lakehouse платформ в крупных компаниях Опыт сопровождения S3-хранилищ с интенсивными потоками чтения и записи данных Опыт масштабирования распределённых систем хранения и обработки больших объёмов данных Понимание особенностей эксплуатации платформ, используемых большим количеством внутренних потребителей Что мы предлагаем: Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде Удалённый формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи Сложные и интересные задачи, современный стек технологий Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины