E-mail
Имя
Телефон
Напишите Ваше сообщение
*Нажимая кнопку "Отправить", Вы соглашаетесь с Политикой Конфиденциальности datalytica.ru

Верификация моделей

Компетенции и услуги DATALYTICA
Наши компетенции
Валидация предиктивных моделей и качества прогнозов
  • Оценка деградации качества прогноза.
  • Оценка распределения предсказаний.
  • Оценка влияния выбросов.
  • Оценка соответствия модели требованиям регуляторных органов и пр.
Проверка
вычислений
  • Анализ на наличие утечек (например, обнаружение предсказываемой величины в исходных данных, т.е. подглядывание в будущее).
  • Оценка методов обработки сырых данных.
  • Проверка корректности разработанных алгоритмов и расчетов.
Верификация программного кода и среды разработки
  • Проверка используемых технологий.
  • Оценка воспроизводимости.
  • Анализ возможности увеличения производительности (быстродействия) кода.
Вы готовитесь к внедрению или уже внедрили предиктивную модель, но хотите удостовериться в ее качестве и оценить ее работоспособность?
Мы проведем независимую экспертизу и поможем ответить на самые животрепещущие вопросы:
  • Соответствует ли модель решаемым задачам и опираются ли пользователи на предсказанные значения?
  • Возможно ли считать результаты прогноза достоверными?
  • Равномерно ли были распределены наблюдения в обучающей и тестовой выборках?
  • Требует ли внедренная модель корректировок или калибровок в связи с изменившимися условиями и остается ли модель стабильной и репрезентативной со временем?
  • Соответствует ли разработанная и/или внедренная модель нормативным требованиям?
  • Возможно ли улучшить качество прогноза, в т.ч. для отдельных групп или сегментов?
  • Все ли доступные источники данных использовались?
  • Являлись ли критерии выбора факторов исчерпывающими?
  • Влияют ли ручные поправки и корректировки на качество модели?
  • Обоснованы ли методы обработки данных (работа с нулями, пропущенными или отрицательными значениями, масштабирование, нормирование, фильтрация и т.п.). Какое влияние используемые методы оказывают на результаты модели?
  • Возможно ли на основании документации воспроизвести результаты или обучить нового сотрудника работе с решением?
Что входит в верификацию?
Валидация формальная:
  • Полнота документации.
  • Воспроизводимость результатов.
  • Корректность валидации (отсутствие утечек, подглядывания в будущее).
Валидация качества прогноза:
  • Корректность выбора пары
    Бизнес метрика — Техническая метрика.
  • Сравнение качества с наивными моделями.
  • Построение альтернативных моделей, которые потенциально могут быть более сильными.
Мониторинг работы:
  • Деградация качества прогноза во времени для оценки частоты калибровки модели.
  • Информирование об ошибках во вновь поступающих исходных данных.
  • Информирование об изменении распределения предсказаний.
Проверка предиктивной модели – это
Отчет
  • Корректность расчетов.
  • Полнота учета внешних и внутренних факторов.
  • Ошибки и неточности в формулах или коде.
  • Достоверность полученных результатов.
Рекомендации
  • Как устранить слабые стороны модели и минимизировать риски.
  • Как оптимизировать решение.
  • Какие дополнительные методы, технологии, данные можно использовать для повышения точности модели.
  • Как повысить вычислительную эффективность и сократить время обучения и/или предсказания.
Поддержка
  • Построение альтернативных (более точных) моделей.
  • Консультации относительно выбора методов обработки данных и прогнозирования, планирования стратегии валидации и пр.
У Вас внедрено решение на базе искусственного интеллекта и машинного обучения, но у Вас есть сомнения?
Datalytica составит независимое заключение о пригодности модели для эксплуатации.