Конференция завершена. Ждем вас на TestDriven Conf в следующий раз!

А что, вы нейронные сети тоже тестируете?

Cutting-edge-технологии

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Оценка качества машиннообученной системы на примере синтеза речи. В докладе рассматривается оценка не только функциональных, но и эстетических факторов. Как избежать «понятно, но не нравится»?

Тезисы

Представьте, что вы сделали модель, которая решает вашу задачу с ошибкой меньше 1 процента. Радостный, вы относите её вашему заказчику, а он после своих тестов заявляет, что на его данных ошибка составила 25 процентов.

Вы начинаете выяснять, в чём дело. И оказывается, что у заказчика данные на другом языке, в сами тестовые сценарии вы не вчитывались и вообще система эксплуатировала длину тишины в аудиозаписях для обучения.

Как этого избежать? Как грамотно построить процессы тестирования и сравнения нейронных сетей, чтобы не тратить на тесты больше, чем на обучение? Ответы на эти вопросы, а также о том, как построить инфраструктуру для хранения таких моделей, — в этом докладе.

Работал в Cisco, Ozon, SberDevices и ID R&D над совершенно разными задачами. Занимался как автоматизацией техподдержки и синтезом речи, так и просто аналитикой.

Видео