Руководитель направления ML Pretrain Multimodal LLM

з/п не указана
СБЕР
Москва Постоянная занятость Гибкий график

Описание

Локация: Москва; доступен гибридный формат или работа в офисе.КомпанияСБЕР развивает GigaChat и обучает крупные мультимодальные языковые модели на кластерах H100 и B200.Что делатьРазвивать архитектуру моделей GigaChat и определять приоритеты развития pretrain-моделей.Проектировать архитектуру флагманских моделей, включая attention, позиционные схемы, нормализации, активации и инициализацию.Развивать MoE-архитектуру: маршрутизацию, балансировку экспертов, устойчивость маршрутизатора, качество и производительность.Работать с long-context и мультимодальностью на уровне архитектуры.Проводить scaling-эксперименты, определять параметры моделей и обучения, разрабатывать метрики и анализировать стабильность архитектурных решений.Руководить исследователями и инженерами, лично писать ключевой код и внедрять архитектурные изменения в основной цикл обучения.ТребованияОтличное владение Python и PyTorch.Глубокое понимание обучения нейросетей, включая анализ функций потерь, норм градиентов и энтропии для выявления причин расхождения конфигураций.Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context и MoE.Практический опыт обучения больших моделей и проведения архитектурных абляций.Способность самостоятельно вести направление от изучения статей и постановки гипотез до внедрения решений в основной цикл обучения.Умение формулировать гипотезы, проектировать эксперименты и принимать решения по их результатам.Опыт руководства сильной технической командой и готовность лично писать важные части системы.Культура и преимуществаМожно выбрать гибридный формат или работу в офисе.Ежегодный пересмотр зарплаты и годовая премия.Корпоративный спортзал, зоны отдыха и расширенный ДМС.Льготное страхование для семьи и корпоративная пенсионная программа.Более 400 образовательных программ СберУниверситета, ипотека по ставке до 7%, подписка СберПрайм+ и скидки на продукты компаний-партнёров.

Откликнуться
Источник: hirify · 27.10.2026

Похожие вакансии в городе Москва

Все вакансии в городе Москва →