А что, вы нейронные сети тоже тестируете? Cutting-edge-технологии

Доклад принят в программу конференции
Илья Шигабеев
ID R&D

Работал в Cisco, Ozon и SberDevices над совершенно разными задачами. Занимался как автоматизацией техподдержки и синтезом речи, так и просто аналитикой.

Тезисы

Представьте что вы сделали модельку, которая решает вашу задачу с ошибкой меньше 1%, но вот вы несёте её заказчику, и он, после своих тестов заявляет на его данных ошибка составила 25%. Вы расстроены, и уже перечитали заново научные статьи, но тут оказалось что ваш заказчик не умеет строить тестовые сеты, да и вообще данные у него на китайском и в шумных условиях. Думаю, для некоторых эта история описывает каждый день их работы. Как же этого избежать? Короткий ответ: проводить тесты на разных разрезах данных, и автоматизировать их, чтобы видеть полную картину для всех моделей, а также тюнить модели под каждого заказчика.

Другие доклады секции Cutting-edge-технологии