ML-разработчик в команду претрейна VLA для гуманоидных роботов

Описание

Локация: Москва, офисный и гибридный формат работы
Компания
Yandex развивает Vision-Language-Action-модели для управления гуманоидными роботами и выполнения манипуляционных задач по текстовым инструкциям.
Что делать

Разрабатывать и обучать VLA-модели, экспериментировать с архитектурами, представлениями наблюдений и действий, функциями потерь и объединением модальностей.
Формировать смеси робототехнических и мультимодальных датасетов, настраивать семплирование и улучшать обучающие выборки.
Создавать пайплайны контроля качества данных: находить рассинхронизацию, пропуски, зависания кадров и аномалии в траекториях.
Масштабировать распределённое обучение на нескольких GPU и узлах, профилировать вычисления, коммуникации и загрузку данных.
Проводить исследовательские эксперименты, абляции и воспроизведение подходов из научных статей.
Проверять модели на реальных роботах, анализировать ошибки и доводить успешные решения до основных обучающих запусков.

Требования

От 3 лет опыта разработки и обучения трансформерных или генеративных моделей в мультимодальном обучении, Computer Vision, NLP, генерации видео или Robot Learning.
Глубокое понимание обучения нейронных сетей, трансформеров, методов оптимизации и причин нестабильного обучения.
Уверенное программирование на Python и опыт работы с PyTorch или JAX.
Опыт распределённого обучения с FSDP, DeepSpeed или аналогичными инструментами, включая параллелизм данных и шардинг.
Опыт работы с большими датасетами, пайплайнами подготовки данных, метриками и воспроизводимыми экспериментами.

Хорошо, если есть

Опыт работы с VLA, Imitation Learning, Behavior Cloning или политиками для разных робототехнических платформ.
Опыт обучения диффузионных и flow-matching-моделей, а также генеративных моделей изображений и видео.
Опыт оптимизации многоузлового обучения, mixed precision, activation checkpointing и восстановления состояния обучения.
Опыт разработки инструментов визуализации, поиска аномалий и внедрения политик на реальных роботах.
Исследовательские публикации, участие в open-source-проектах или собственные проекты с воспроизводимыми результатами.

Культура и преимущества

Работа в команде претрейна VLA-моделей и совместная работа с инфраструктурной командой и специалистами по робототехнике.
Доступ к задачам, связанным с данными разных робототехнических платформ и реальными роботами.
Возможность развивать исследовательские методы и внедрять их в основные обучающие процессы.