QA Automation в команду AI-ассистента

Навыки

• AI-инструменты в работе
• Android
• API (интеграции)
• Самостоятельность
• Go
• Интеграционное тестирование
• iOS

О компании и продукте

• Мы развиваем AI-ассистента для профессиональных продавцов Авито. Он помогает работать с объявлениями, статистикой и продвижением, отвечает на вопросы и выполняет действия через сервисы платформы.
• Продукт уже работает в продакшене, а его платформенная часть активно развивается: команде предстоит улучшать потоковую выдачу ответов, наблюдаемость, инфраструктуру оценки качества и долгосрочную память ассистента.
• Avito Сфера Продуктовая компания Инвестиции $100M+ Размер 1001+ Avito — самый популярный сайт объявлений в России, классифайд №1 в мире. Месячная аудитория составляет 57,4 млн. — это больше трети населения России.

Задачи

• Планировать и проводить тестирование новых функций AI-ассистента на вебе, iOS и Android
• Развивать API-, интеграционные и E2E-автотесты
• Тестировать LLM-сценарии: развивать eval-наборы, проверять гардрейлы и регрессию при изменении моделей и промптов
• Оценивать риски перед запуском и координировать проверки с разработчиками и DS-командой
• Самостоятельно отвечать за качество функциональности команды: подключаться к проработке решений, планировать тестирование, оценивать риски и сопровождать задачи до запуска
• Работать с бэкендом, вебом, iOS и Android, а также с интеграциями со смежными сервисами
• Подключать разработчиков к обеспечению качества
• Работать с недетерминированными ответами модели, развивать проверки качества, тестировать гардрейлы и отслеживать влияние изменений промптов и моделей на продуктовые сценарии
• Развивать подходы к тестированию LLM-функциональности: eval-наборы, критерии качества и регрессионные проверки
• Проверять гардрейлы и негативные сценарии: некорректные ответы, галлюцинации, промпт-инъекции, утечки данных и выход за ограничения ассистента
• Оценивать влияние изменений промптов, моделей и агентской логики на существующие сценарии
• Участвовать в разборе проблем на стыке LLM, бэкенда и клиентских платформ

Требования

• Имеете опыт разработки автоматизированных тестов от 3 лет
• Имеете опыт тестирования от 5 лет
• Самостоятельно работали над качеством продукта или крупной функциональности
• Умеете планировать тестирование и оценивать риски, в том числе при неполных требованиях
• Тестировали клиент-серверные приложения: UI, веб, mAV, iOS, Android, API и интеграции
• Писали и поддерживали API-, интеграционные или E2E-автотесты, мы пишем E2E-тесты на Go и JavaScript
• Понимаете, какие проверки должны быть на каждом уровне тестирования
• Умеете аргументированно оценивать готовность задачи к запуску
• Работали с разработчиками, аналитиками, продуктом и смежными командами

Условия

• Возможность реализовать свои идеи в проекте с многомиллионной аудиторией
• Талантливая команда, готовая поддержать ваши инициативы
• Мощное железо, дополнительные мониторы и всё, что нужно для продуктивной работы
• Прозрачная система премий, зарплата, размер которой обсудим на собеседовании
• Личный бюджет на обучение: книги, курсы и конференции
• Забота о здоровье: с первого дня у вас будет ДМС со стоматологией, в офисе принимают терапевт и массажист
• Удалёнка и комфортный офис в двух минутах от метро «Белорусская»: панорамный вид на центр города, места для уединённой работы и зоны отдыха

Паспорт вакансии

История публикации

Откуда что взялось

Отмечено то, что вывели мы. Без пометки — значение назвал работодатель.

Почему на этом месте в выдаче

Порядок выдачи объявлен контрактом: свежесть решает между днями, полнота и зарплата — внутри дня.