QA-инженер (AI Sales помощник)
Описание
Локация: Москва, гибридный формат работы с посещением офиса на Вавилова, 19
Компания
СБЕР развивает ИИ-помощника для сейлзов и трейдеров, который автоматизирует часть рутинных задач и процессов.
Что делать
Тестировать качество ответов AI-навыков: релевантность, полноту, корректность, отсутствие галлюцинаций и уверенных, но неверных ответов.
Формировать и поддерживать эталонные датасеты (golden set) для регрессионной оценки ответов LLM и промптов.
Тестировать промпты, RAG-конвейеры и маршрутизацию оркестратора, включая выбор агента и полноту источников.
Оценивать недетерминированное поведение, стабильность и качество ответов между версиями моделей и промптов.
Разрабатывать, проверять и поддерживать тест-кейсы, чек-листы и тест-планы.
Взаимодействовать с разработчиками, аналитиками, DS/ML-инженерами и PO; вести баг-трекинг в Jira и документацию в Confluence.
Требования
От 3 до 6 лет опыта; не менее 3 лет в роли QA.
Опыт функционального и сквозного (E2E) тестирования.
Опыт тестирования API и интеграций: REST/gRPC, форматы запросов и ответов, моки внешних сервисов.
Умение составлять и проверять тест-кейсы в Zephyr и анализировать покрытие.
Понимание принципов работы LLM и GenAI: промпты, RAG, температура и вариативность, ограничения моделей, галлюцинации, потеря контекста и неверная интерпретация запросов.
Опыт оценки качества AI-ответов: эталонные наборы, ручная и полуавтоматическая разметка, метрики точности, полноты, faithfulness и relevancy.
Навыки написания скриптов на Python для пакетного прогона запросов, сбора и сравнения результатов.
Хорошо, если есть
Опыт в финтехе или банковской сфере.
Опыт тестирования AI/ML-продуктов: чат-ботов, ассистентов или рекомендательных систем.
Знание LangSmith, DeepEval, Arize, RAGAS или аналогичных инструментов оценки LLM.
Базовые знания автоматизации тестирования на Java или Python.
Опыт работы с Grafana и мониторингом качества AI-ответов.
Понимание требований комплаенса и работы с чувствительными данными.
Культура и преимущества
Гибридный формат работы и современный офис на Вавилова, 19.
Ежегодный пересмотр зарплаты, квартальная и годовая премии.
Корпоративный спортзал, зоны отдыха и более 400 образовательных программ СберУниверситета.
Программа адаптации и помощь руководителя на старте.
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
Льготный ипотечный дисконт, подписка Прайм для трёх близких и вознаграждение за рекомендации.