Алматы Опыт: 3–5 лет Гибридный
Заработная плата
Зарплата не указана
Навыки:
Опубликовано 7 октября
Bank CenterCredit
Мы ищем Эксперта, который возьмёт на себя контроль качества AI-решений банка. Вы будете отвечать за то, чтобы модели и AI-агенты работали надёжно, предсказуемо и соответствовали бизнес-, техническим и регуляторным требованиям.
Это гибридная роль: с одной стороны — построение системы тестирования AI-решений, с другой — разбор отдельных частей проектов в качестве системного аналитика. Вы будете работать с ключевыми процессами банка и напрямую взаимодействовать с разработчиками, стейкхолдерами и риск-подразделением.
От вашей работы зависит качество AI-решений и развитие стандартов QA в этом направлении.
Вам предстоит:
Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, формировать требования QA к модельной политике банка.
Строить pipeline оценки LLM-систем: LLM-as-judge, детекция галлюцинаций и PII-утечек, контроль формата ответов.
Давать заключение о готовности проекта к промышленной эксплуатации.
Внедрять мониторинг искажения данных и моделей, готовить документацию (Model Card).
Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем.
Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей.
Участвовать в проектировании архитектуры end-to-end AI-пайплайнов и QA-инструментов с точки зрения тестируемости.
Участвовать в технической экспертизе моделей при согласовании с риск-подразделением.
Мы ожидаем, что у вас есть:
