Для того чтобы подчеркнуть важность прогнозирования, а не просто подгонку модели под имеющиеся данные, предлагается использовать методы блоковой кросс-валидации, специально адаптированные к горизонту прогнозирования, который интересует пользователя. Данные по смертности обычно представляют собой матрицу, где строки и столбцы обозначают уникальные возраста и календарные годы соответственно. В блоковой кросс-валидации эти данные итеративно делятся на тренировочные, для подгонки моделей смертности, и тестовые, для оценки их точности вне выборки. Тестовые данные могут иметь разную ширину, чтобы представлять разные горизонты прогнозирования. Например, при прогнозировании показателей смертности на год вперед, тестовые данные должны быть определены как годичные блоки а для прогнозирования на три года вперед они должны быть определены как трехгодичные блоки.
Одним из интересных аспектов подхода к кросс-валидации является использование данных как слева, так и справа от каждого тестового набора для обучения модели, в отличие от более распространенной оценки вне выборки с использованием скользящего окна. Это позволяет проводить значительно больше тестовых наборов для данного набора данных, чем если бы мы ограничивались подгонкой моделей, используя только данные слева, так как это ограничивало бы, насколько далеко слева могут находиться тестовые наборы. Более того, мы минимизируем долю данных, которые остаются полностью неиспользованными, тем самым извлекая максимум информации и получая более точные оценки ошибки прогнозирования вне выборки.
Тестовые блоки для прогнозирования на один год
Прогнозирование на один год вперед представляет собой первый уровень блоковой кросс-валидации. В этом случае данные делятся на годичные блоки, которые последовательно исключаются из обучающей выборки и используются в качестве тестовых наборов.
Тестовые блоки для прогнозирования на один год
Прогнозирование на один год вперед представляет собой первый уровень блоковой кросс-валидации. В этом случае данные делятся на годичные блоки, которые последовательно исключаются из обучающей выборки и используются в качестве тестовых наборов. Такой подход позволяет оценить точность модели на коротком временном горизонте, выявляя ее способность предсказывать ближайшие будущие значения.
Тестовые блоки для прогнозирования на три года
Для прогнозирования на три года вперед тестовые данные определяются как трехгодичные блоки. Это усложняет задачу для модели, так как ей необходимо учитывать более продолжительные временные зависимости и тренды. Блоковая кросс-валидация в этом контексте помогает проверить устойчивость модели на более длинных интервалах времени, что особенно важно для долгосрочного планирования и прогнозирования.
Использование данных слева и справа от тестового набора
Одним из ключевых преимуществ нашего подхода к блоковой кросс-валидации является использование данных как слева, так и справа от тестового набора для обучения модели. Это контрастирует с традиционным методом скользящего окна, где используются только данные, предшествующие тестовому периоду. Такой подход значительно увеличивает количество возможных тестовых наборов, что улучшает надежность и точность оценок модели. Это также позволяет максимально использовать все доступные данные, минимизируя потери информации.
Преимущества минимизации неиспользуемых данных
Важным аспектом нашего метода является минимизация неиспользуемых данных. Сокращение доли таких данных позволяет нам извлечь больше информации из имеющегося набора данных, что приводит к более точным и надежным оценкам ошибки прогнозирования вне выборки. Это особенно важно при работе с ограниченными или ценными наборами данных, таких как статистика смертности.
Подытожим:
Применение блоковой кросс-валидации для выбора модели предлагает значительные преимущества в сравнении с традиционными методами. Этот подход позволяет лучше оценивать прогнозные способности моделей на разных временных горизонтах, используя больше данных и получая более точные оценки ошибки прогнозирования. В конечном итоге, это ведет к созданию более надежных и точных моделей, способных эффективно предсказывать будущие значения.