Верификация моделей

Компетенции и услуги DATALYTICA

Наши компетенции

Валидация предиктивных моделей и качества прогнозов
- Оценка деградации качества прогноза.
- Оценка распределения предсказаний.
- Оценка влияния выбросов.
- Оценка соответствия модели требованиям регуляторных органов и пр.
Проверка
вычислений
- Анализ на наличие утечек (например, обнаружение предсказываемой величины в исходных данных, т.е. подглядывание в будущее).
- Оценка методов обработки сырых данных.
- Проверка корректности разработанных алгоритмов и расчетов.
Верификация программного кода и среды разработки
- Проверка используемых технологий.
- Оценка воспроизводимости.
- Анализ возможности увеличения производительности (быстродействия) кода.

Вы готовитесь к внедрению или уже внедрили предиктивную модель, но хотите удостовериться в ее качестве и оценить ее работоспособность?

Мы проведем независимую экспертизу и поможем ответить на самые животрепещущие вопросы:

Соответствует ли модель решаемым задачам и опираются ли пользователи на предсказанные значения?
Возможно ли считать результаты прогноза достоверными?
Равномерно ли были распределены наблюдения в обучающей и тестовой выборках?
Требует ли внедренная модель корректировок или калибровок в связи с изменившимися условиями и остается ли модель стабильной и репрезентативной со временем?
Соответствует ли разработанная и/или внедренная модель нормативным требованиям?
Возможно ли улучшить качество прогноза, в т.ч. для отдельных групп или сегментов?

Все ли доступные источники данных использовались?
Являлись ли критерии выбора факторов исчерпывающими?
Влияют ли ручные поправки и корректировки на качество модели?
Обоснованы ли методы обработки данных (работа с нулями, пропущенными или отрицательными значениями, масштабирование, нормирование, фильтрация и т.п.). Какое влияние используемые методы оказывают на результаты модели?
Возможно ли на основании документации воспроизвести результаты или обучить нового сотрудника работе с решением?

Что входит в верификацию?

Валидация формальная:
- Полнота документации.
- Воспроизводимость результатов.
- Корректность валидации (отсутствие утечек, подглядывания в будущее).
Валидация качества прогноза:
- Корректность выбора пары
  Бизнес метрика — Техническая метрика.
- Сравнение качества с наивными моделями.
- Построение альтернативных моделей, которые потенциально могут быть более сильными.
Мониторинг работы:
- Деградация качества прогноза во времени для оценки частоты калибровки модели.
- Информирование об ошибках во вновь поступающих исходных данных.
- Информирование об изменении распределения предсказаний.

Проверка предиктивной модели – это

Отчет
- Корректность расчетов.
- Полнота учета внешних и внутренних факторов.
- Ошибки и неточности в формулах или коде.
- Достоверность полученных результатов.
Рекомендации
- Как устранить слабые стороны модели и минимизировать риски.
- Как оптимизировать решение.
- Какие дополнительные методы, технологии, данные можно использовать для повышения точности модели.
- Как повысить вычислительную эффективность и сократить время обучения и/или предсказания.
Поддержка
- Построение альтернативных (более точных) моделей.
- Консультации относительно выбора методов обработки данных и прогнозирования, планирования стратегии валидации и пр.

У Вас внедрено решение на базе искусственного интеллекта и машинного обучения, но у Вас есть сомнения?

Datalytica составит независимое заключение о пригодности модели для эксплуатации.