Middle MLOps (ЦРИИИД)

Описание

Локация: Москва, гибридный формат с работой в офисе 2–3 дня в неделюКомпанияСБЕР развивает платформу для инференса и SFT opensource LLM-моделей и внутренних AI-сервисов.Что делатьРазрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности.Обеспечивать масштабируемость и надежность LLM-serving инфраструктуры, выбирая и настраивая sglang, vLLM и llama.cpp.Разрабатывать разграничение доступа к API-сервисам моделей.Строить observability и мониторинг LLM-инференса.Собирать модели в сервисы и интерфейсы с использованием FastAPI, Flask, Tornado, Streamlit и Chainlit.ТребованияОт 3 до 6 лет опыта.Уверенное владение Linux: сети, storage, роли и пользователи, управление процессами.Уверенное владение Kubernetes и Istio Service Mesh.Опыт построения высокопроизводительных LLM-сервисов с использованием sglang и vLLM.Опыт настройки высоконагруженных прокси-серверов nginx, Envoy или HAProxy: балансировка нагрузки, rate limiting, SSL termination и health checks.Владение Bash, Python и Groovy для scripted Jenkins.Продвинутые навыки CI/CD и оркестрации моделей.Хорошо, если естьПонимание распределенных систем и GPU-коммуникации: NCCL, MPI, RDMA, InfiniBand.Знание компонентов LLM-пайплайна: токенизаторы, KV-cache и контекстное окно.Понимание архитектуры GPU, CUDA, cuDNN и Tensor Cores.Опыт работы с векторными БД OpenSearch, Qdrant, FAISS или pgvector для RAG и других задач.Культура и преимуществаПолная занятость и гибридный формат с работой в московском офисе 2–3 дня в неделю.Годовой бонус и ежегодный пересмотр условий.Расширенный ДМС с первого дня, стоматология и льготное страхование для семьи.Корпоративный университет, внутренняя образовательная платформа и участие в IT-конференциях.Офис на Кутузовской с зонами отдыха и спортзалом, льготная ипотека, корпоративная пенсионная программа и другие корпоративные скидки.