Go/Python Техлид (AI)

Описание

Локация: Москва, м. Кутузовская; гибридный или офисный формат
Компания
Сбер развивает команду Gigadata, которая собирает качественные данные для обучения передовых моделей ИИ.
Что делать

Определять техническую стратегию и целевую архитектуру системы.
Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая шардирование и геораспределение.
Создавать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
Разрабатывать критичные компоненты краулера, проводить профилирование и нагрузочное тестирование, устранять узкие места.
Оптимизировать прокси-инфраструктуру, маршрутизацию трафика и стоимость облачной инфраструктуры; исследовать HTTP/3, QUIC, eBPF и io_uring.
Руководить командой из 3–6 инженеров: планировать работу, проводить код-ревью и 1-1, менторить разработчиков и взаимодействовать со смежными командами.

Требования

Знание Python и Go; коммерческий опыт разработки на обоих языках от 7 лет.
Опыт работы не менее 2 лет в роли техлида или тимлида.
Экспертиза в проектировании распределённых высоконагруженных систем, рассчитанных на миллионы RPS и петабайты данных.
Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC, а также асинхронного и параллельного программирования.
Опыт построения систем краулинга или аналогичных data acquisition систем, микросервисной и event-driven архитектуры.
Практический опыт с Kafka, Redis, PostgreSQL, ClickHouse, Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами tcpdump, strace, perf и eBPF.

Хорошо, если есть

Знание Rust или C++ для разработки высокопроизводительных компонентов.
Опыт масштабного краулинга, геораспределённых систем, io_uring, eBPF и zero-copy networking.
Опыт применения ML для оптимизации crawl-стратегий.
Публичные выступления и публикации.

Культура и преимущества

Участие в DS&AI community с более чем 600 специалистами.
Возможность быть соавтором НИРов и статей для международных конференций.
Ежегодный пересмотр зарплаты и годовая премия.
Более 400 образовательных программ СберУниверситета.
Расширенный ДМС, страхование семьи, корпоративная пенсионная программа и корпоративный спортзал.
СберПрайм, скидки у компаний-партнёров и вознаграждение за рекомендации.