Data Analyst (умность Алисы)

Описание

Локация: Москва, гибридный формат с работой в офисеКомпанияРазвитие Алисы — популярного голосового ассистента с LLM-архитектурой, tool calling и интеграцией с умными устройствами.Что делатьАнализировать качество работы LLM, пользовательские сценарии, проблемные кейсы, ошибки и DSAT.Искать закономерности в больших объёмах логов и событийных данных с помощью data mining.Формировать гипотезы по улучшению качества модели и оценивать их влияние на пользовательский опыт.Участвовать в масштабировании сценариев Алисы через tool calling, проектировании инструментов и сборе данных для обучения и приёмки моделей.Развивать eval-наборы, офлайн- и онлайн-метрики, LLM-as-a-judge, сценарные оценки и A/B-эксперименты.Создавать аналитические дашборды и мониторинг деградаций качества AI-ассистента.ТребованияОт двух-трёх лет опыта в роли Data Analyst, Product Analyst или Analyst в data-driven-продукте.Практический опыт работы с LLM или Generative AI и интерес к созданию AI-систем.Уверенное владение SQL и Python для анализа данных.Опыт работы с большими объёмами логов и событийных данных.Знание продуктовой аналитики, статистики и A/B-тестирования.Умение формулировать продуктовые гипотезы, оценивать их эффект и разбираться в сложных многокомпонентных продуктах.Хорошо, если естьОпыт работы с LLM-based-продуктами или AI-ассистентами.Опыт оценки качества LLM, включая LLM-as-a-judge, evals и RAG.Знание Agentic AI и tool calling.Опыт построения дашбордов в Tableau, DataLens или Superset.Опыт работы с NLP/NLU-продуктами, голосовыми ассистентами, неструктурированными данными и текстовыми логами.Культура и преимуществаРабота над технологиями Алисы и архитектурой на основе больших языковых моделей.Возможность влиять на качество, полезность, надёжность и эмпатию AI-ассистента.Гибридный формат работы в московском офисе.