Мнение Программного комитета о докладе
Оценка качества машиннообученной системы на примере синтеза речи. В докладе рассматривается оценка не только функциональных, но и эстетических факторов. Как избежать «понятно, но не нравится»?
А что, вы нейронные сети тоже тестируете?
Доклад принят в программу конференции
Целевая аудитория
Data Scientists, ML engineers, DL engineers, MLOps, интересующиеся.
Тезисы
Представьте, что вы сделали модель, которая решает вашу задачу с ошибкой меньше 1 процента. Радостный, вы относите её вашему заказчику, а он после своих тестов заявляет, что на его данных ошибка составила 25 процентов.
Вы начинаете выяснять, в чём дело. И оказывается, что у заказчика данные на другом языке, в сами тестовые сценарии вы не вчитывались и вообще система эксплуатировала длину тишины в аудиозаписях для обучения.
Как этого избежать? Как грамотно построить процессы тестирования и сравнения нейронных сетей, чтобы не тратить на тесты больше, чем на обучение? Ответы на эти вопросы, а также о том, как построить инфраструктуру для хранения таких моделей, — в этом докладе.
Работал в Cisco, Ozon, SberDevices и ID R&D над совершенно разными задачами. Занимался как автоматизацией техподдержки и синтезом речи, так и просто аналитикой.
.
Видео
Другие доклады секции
Cutting-edge-технологии
