Middle/Senior Vision ML Engineer (VLM)

Описание

Локация: Москва, офис м. Кутузовская. Формат: работа на месте работодателя и гибридный формат.
Компания
СБЕР развивает продукт для автоматического распознавания документов на основе передовых технологий компьютерного зрения и языковых моделей.
Что делать

Изучать SOTA-подходы к e2e OCR, data mining, SFT и RL, формировать и проверять гипотезы.
Проводить эксперименты по обучению VLM-моделей на multi-node конфигурации и измерять метрики на внешних и внутренних бенчмарках.
Развивать пайплайн обучения на базе accelerate и TRL: ускорять обучение, добавлять аугментации и адаптировать его под новые модели.
Собирать и подготавливать обучающие данные в формате MarkDown, искать новые домены и писать скрипты загрузки.
Организовывать разметку датасетов с помощью кастомного agentic harness и внутренней платформы, а также улучшать инструменты разметки.
Интегрировать обученные модели в сервис на базе vLLM для клиентского использования внутри банка.

Требования

Высшее образование в математике, информатике, data science или смежной области.
От 3 лет опыта в ML, включая не менее 1 года работы с LLM/VLM в production.
Английский язык для чтения научных статей и документации.
Опыт fine-tuning: SFT, LoRA/QLoRA и RL, включая DPO и GRPO.
Знание современных движков инференса: vLLM, sgLang и Triton.
Понимание принципов работы, дообучения и ограничений VLM.
Опыт создания агентных пайплайнов: вызовы моделей, обработка исключений и контроль стоимости.
Опыт разметки датасетов асессорами или автоматическими инструментами.
Уверенное программирование на Python с практиками тестирования, code review и code style; код должен использоваться в production.
Готовность иногда взаимодействовать с многочисленными банковскими контрагентами.

Хорошо, если есть

Опыт Python-бэкенд-разработки: FastAPI, асинхронность, очереди, PostgreSQL и векторные хранилища.
Опыт работы с разметчиками и контрагентами.
Публикации, доклады или вклад в open source.

Культура и преимущества

Комфортный современный офис и гибридный формат работы.
Ежегодный пересмотр зарплаты и годовой бонус.
Корпоративный спортзал, зоны отдыха и расширенный ДМС, включая льготное страхование семьи.
Более 400 образовательных программ СберУниверситета, корпоративная пенсионная программа и ипотечная льгота.
Подписка Прайм с возможностью совместного использования, а также вознаграждение за рекомендации сотрудников.