ML Engineer в команду Disrupt (LLM)
Описание
Локация: офис рядом с м. Кутузовская, Москва
Зарплата: от 300 000 ₽ в месяц на руки
Компания
Команда Disrupt в Сбере входит в блок ГенИИ и запускает новые продукты и сценарии на основе генеративного искусственного интеллекта.
Что делать
Запускать и поддерживать распределённый инференс LLM на GPU-кластере NVIDIA.
Настраивать vLLM, SGLang, TensorRT-LLM и аналогичные движки для повышения скорости и утилизации оборудования.
Снижать задержки, увеличивать пропускную способность и оптимизировать работу с длинным контекстом и MoE-моделями.
Применять FP8/INT8-квантизацию, speculative decoding и другие методы оптимизации без потери качества.
Разворачивать сервисы в Kubernetes и Docker, настраивать автоскейлинг, выкаты и откаты.
Строить мониторинг, проводить нагрузочное тестирование и планировать мощности.
Требования
От двух лет опыта в ML Engineering, MLOps или высоконагруженном бэкенде; минимум один собственный GPU-сервис должен быть доведён до продакшена.
Уверенное владение Python и Linux, знание Docker, Git, CI/CD и базовый опыт работы с Kubernetes.
Практический опыт запуска моделей на PyTorch под NVIDIA GPU.
Опыт работы хотя бы с одним production-стеком инференса: vLLM, Triton, TensorRT-LLM, SGLang, TGI или аналогами.
Понимание памяти GPU, mixed precision, батчинга, KV-кэша, параллелизма моделей и распределённых систем.
Навыки профилирования производительности с PyTorch Profiler, Nsight или DCGM, а также поиска баланса между скоростью, качеством и стоимостью вывода.
Хорошо, если есть
Навыки написания CUDA/Triton kernels, работы с NCCL, NVLink, InfiniBand, GPUDirect или RDMA.
Опыт запуска MoE-моделей с экспертным параллелизмом и очень длинным контекстом.
Знакомство с KServe, Ray Serve, Prometheus, Grafana, GPU Operator или DCGM Exporter.
Опыт конвертации весов, quantization-aware evaluation и сравнения движков инференса.
Базовое владение C++ или Go для разработки быстрых компонентов control/data plane.
Культура и преимущества
Современный офис и корпоративный спортзал с зонами отдыха.
Ежегодный пересмотр зарплаты и годовая премия.
Расширенный полис ДМС с первого дня работы и страхование для семьи.
Система обучения для профессионального и карьерного развития.
Льготная ипотечная программа, подписка СберПрайм+ и скидки компаний-партнёров.