§ 53

§ 53. Эксперимент 1

Прогнозирование для гипотез H1–H4.

Мы оценивали качество прогноза для каждого p-квинтиля на всех объектах из CT, используя шесть параметров:

1) процент отказов;

2) процент ошибок;

3) процент правильных предсказаний;

4) средняя длина p-интервалов для всех прогнозов (ML);

5) средняя длина p-интервалов для всех правильных прогнозов (MLR);

6) ограниченный средний квадрат ошибки прогноза (bound forecast mean square error BF MSE), т. е. средний квадрат разности между прогнозом и ближайшей границей p-интервала для прогнозов, которые находятся вне p-интервала.

Рис. 10

Для случаев, когда одна из границ не определена («хорошая» закономерность не была найдена для этой границы), мы брали удвоенное расстояние от цели(a⁵), полученной прогнозом, и известной нижней границей 2*(цель(a⁵) – Low_p(a⁵)), если нижняя граница найдена. Если верхняя граница известна, то используется 2*(Up_p(a⁵) - цель(a⁵)).

Рис. 11

Таблица 2 и рис. 11 показывают параметры прогноза для обучающегося множества CT. Рис. 11 графически представляет первые четыре столбца табл. 1. Он показывает, что с ростом p процент правильных предсказаний растет. Рис. 10 дает обобщенную информацию о последних трех столбцах таблицы. Он показывает интервалы прогноза и их стандартное отклонение для разных p и найденной закономерности.

Таблица 2. Выполнение метрики для ряда закономерностей

p- value	Rejections	Errors	Right Forecast	ML	MLR	BF MSE
0.55	102 (23 %)	268 (61 %)	72 (16 %)	0.54	1.21	2.01
0.60	17 (4 %)	315 (71 %)	110 (25 %)	0.82	1.33	1.59
0.65	4 (0.9 %)	279 (61 %)	168 (38 %)	1.24	1.57	1.75
0.70	4 (0.9 %)	215 (49 %)	223 (50 %)	1.76	2.01	1.99
0.75	3 (0.7 %)	176 (40 %)	263 (59 %)	2.33	2.58	1.72
0.80	3 (0.7 %)	125 (28 %)	314 (71 %)	3.03	3.24	1.38
0.85	3 (0.7 %)	71 (16 %)	368 (83 %)	3.94	4.09	1.22
0.90	10 (2.2 %)	35 (7.9 %)	397 (90 %)	5.19	5.25	1.10

ML is the mean length of the p-intervals for all (right and wrong) forecasts.

MLR is the mean length of the p-intervals for all right forecasts.

BF is MSE Bound Forecast Mean Square Error.

Таблица 3 содержит прогноз для первых 15 испытательных объектов. Предсказанные интервалы представлены как два последовательных числа, например, 0.38 0.73. Используется следующая система обозначений: « - » означает, что предсказанный интервал не покрывает фактическое целевое значение, « + » означает, что предсказанный интервал покрывает фактическое целевое значение. « R » – означает отказ от предсказания. Если предсказанные нижние и верхние границы не могут сформировать интервал (например, мы имеем пару 0.50, 0.49), тогда, мы отказываемся от прогноза для этого случая.

Рассмотрим первый столбец. Нет прогноза для объекта (пятидневки) № 1 при p = 0.55 из-за противоречивых границ [0.50, 0.49]. Здесь нижняя граница больше чем верхняя граница. Кроме того, прогноз неправилен при p = 0.6, p = 0.65, p = 0.70, p = 0.75, потому что фактическое значение 1.86 не содержится в интервалах. Прогнозы правильны при p = 0.85 и p = 0.9, т. е. находятся в интервалах [-1.36, 2.53] и [-1.80, 2.87]. Это естественный результат. Для больших значений p мы имеем более широкий интервал.

Таблица 3. Прогноз выполнения для первых 15-ти объектов

p = 0.55

p = 0.60

p = 0.65

p = 0.70

p = 0.75

p = 0.80

p = 0.85

p = 0.90

fact

0.50 0.49

0.38 0.73

0.09 0.93

‑0.05 1.24

‑0.38 1.57

‑0.73 2.08

‑1.36 2.53

‑1.80 2.87

1.86

0.40 0.52

0.34 0.69

0.15 0.95

‑0.17 1.11

‑0.41 1.30

‑0.77 1.47

‑1.12 1.85

‑1.63 2.52

1.81

0.06 0.67

‑0.02 0.84

‑0.25 0.99

‑0.25 1.20

‑0.42 1.44

‑0.93 1.54

‑1.24 1.73

‑3.21 2.75

1.74

0.32 0.22

0.04 0.38

‑0.07 0.97

‑0.26 1.27

‑0.43 1.77

‑0.65 2.22

‑1.14 3.06

‑1.92 4.64

1.15

0.39‑0.22

0.25‑0.00

0.04 0.32

‑0.26 0.62

‑0.62 0.74

‑2.11 1.07

‑2.11 1.50

‑3.16 2.23

‑0.26

0.22 0.42

0.08 0.73

‑0.05 1.07

‑0.32 1.30

‑0.72 1.85

‑1.07 2.31

‑1.69 2.84

‑2.16 3.17

‑0.76

0.38 0.52

0.31 0.79

0.07 1.05

‑0.39 1.13

‑0.63 1.42

‑0.81 1.64

‑1.44 1.80

‑1.69 2.57

‑0.89

0.17 0.26

0.03 0.40

‑0.34 1.20

‑0.43 1.38

‑0.88 2.63

‑1.04 2.77

‑1.36 2.77

‑1.97 2.77

‑0.49

0.06 0.51

‑0.26 0.87

‑0.26 0.97

‑0.43 1.27

‑0.65 1.77

‑1.13 2.38

‑2.68 2.59

‑3.58 3.59

0.29

0.04 0.75

‑0.21 0.77

‑0.36 2.43

‑0.56 2.43

‑1.35 2.43

‑1.72 2.43

‑2.29 3.55

‑3.17 ‑‑‑

1.21

0.20 0.57

0.08 0.82

‑0.06 1.18

‑0.35 1.37

‑0.73 1.76

‑1.19 2.23

‑1.69 2.54

‑2.15 2.94

0.58

0.54 0.52

0.38 0.79

0.19 1.01

0.15 1.13

‑0.13 1.41

‑0.39 1.72

‑0.65 2.07

‑1.48 2.66

0.98

0.06 0.62

0.06 0.84

0.06 1.08

0.06 1.42

0.06 1.51

‑0.25 1.73

‑1.24 2.25

‑1.24 2.77

0.63

0.04 1.18

‑0.09 1.18

‑0.43 1.62

‑0.56 1.77

‑0.77 1.77

‑1.39 2.15

‑1.85 2.41

‑2.32 3.76

0.95

0.56 0.58

‑2.11 0.73

‑2.11 0.92

‑2.11 1.07

‑2.11 1.30

‑‑‑ 1.85

‑‑‑ 2.17

‑‑‑ 2.38

1.76

Нет никакого естественного способа измерить качество среднего квадрата ошибки (MSE) в этой ситуации. Интервальный прогноз не дает нам конкретного предсказанного значения.

Нет смысла для величины расстояния от фактического значения до предсказанного. Мы предсказываем интервал возможных целевых значений. Поэтому, оценено расстояние к самой близкой интервальной границе. Расстояния от 1.86 до самой близкой границы (2.53) для p = 0.85 равно 0.67, и для p = 0.9 это расстояние – 1.01, т. е. приблизительно 1 %. Эти данные обобщены в таблице (таблица 4) для всех контрольных объектов (множество СТ). Для p = 0.85 мы имеем 0.7 % отклонений от прогноза, 16 % ошибок и 83 %-х правильных интервальных прогнозов.