§ 63. Обнаружение диагностических правил на данных

Следующая задача состояла в обнаружении правил на данных. Это исследование было выполнео с использованием расширенного набора признаков. Ряд признаков, перечисленных в § 61, был расширен двумя признаками: тип Le Gal и плотность паренхимы со следующими диагностическими классами: «злокачественный», «доброкачественный», «высокий риск злокачественного развития». Мы извлекали несколько дюжин диагностических правил, которые были статистически значительны при уровнях F-критерия 0.01, 0.05 и 0.1.

Правила были извлечены с использованием 156 случаев (73 злокачественный, 77 доброкачественный, 2 очень подозрительны и 4 со смешанным диагнозом). В скользящем контроле наши правила диагностировали 134 случая и отказались диагностировать 22 случая. Общая точность диагноза – 86%. Неправильные диагнозы были получены в 19 случаях (14 % диагностированных случаев). Ошибка первого рода была равна 5.2 % (7 злокачественных случаев были диагностированы как доброкачественные), и ошибка второго рода была 8.9 % (12 доброкачественных случаев были диагностированы как злокачественные). Некоторые из правил дает таблица 9. Эта таблица дает примеры обнаруженных правил вместе с их статистическими оценками.

Таблица 9. Примеры извлеченных диагностических правил

Диагностическое правило	F-критерий		Значение F-критерия			Точность диагноза на контроле
			0.01	0.05	0.1
IF NUMber of calcifications per cm^2 is between 10 and 20 AND VOLume > 5 cm^3 THEN Malignant	NUM VOL	0.0029 0.0040	+ +	+ +	+ +	93.3%
IF TOTal # of calcifications >30 AND VOLume > 5 cm^3 AND DENSITY of calcifications is moderate THEN Malignant	TOT VOL DEN	0.0229 0.0124 0.0325	- - -	+ + +	+ + +	100.0%
IF VARiation in shape of calcifications is marked AND NUMber of calcifications is between 10 and 20 AND IRRegularity in shape of calcifications is moderate THEN Malignant	VAR NUM IRR	0.0044 0.0039 0.0254	+ + -	+ + +	+ + +	100.0%
IF variation in SIZE of calcifications is moderate AND Variation in SHAPE of calcifications is mild AND IRRegularity in shape of calcifications is mild THEN Benign	SIZE SHAPE IRR	0.0150 0.0114 0.0878	- - -	+ + -	+ + +	92.86%

Рис. 22 представляет результаты другого критерия выбора: уровень условной вероятности. Мы рассмотрели три уровня 0.7, 0.85 и 0.95. Более высокий уровень условной вероятности уменьшает количество правил и диагностированных пациентов, но увеличивает точность диагноза. Их результаты отмечены как MMDR1, MMDR2 и MMDR3. Нами было обнаружено 44 статистически значительных диагностических правила при 0.05 уровне F-критерия с условной вероятностью, не меньшей, чем 0.75 (MMDR1). Было обнаружено 30 правил с условной вероятностью, не меньшей, чем 0.85 (MMDR2), и 18 правил с условной вероятностью, не меньшей, чем 0.95 (MMDR3). Общая точность диагноза – 82 %. Ошибка первого рода была 6.5 % (9 злокачественных случаев были диагностированы как доброкачественные); ошибка второго рода была 11.9 % (16 доброкачественных случаев были диагностированы как злокачественные).

Рис. 22

Самые надежные 30 правил дали точность 90 %, 18 самых надежных правил, выполненных с точностью на 96.6 %, только с тремя ошибками второго рода (3.4 %).

Нейронная сеть Brainmaker дала 100 % точность на обучении, но на скользящем контроле точность упала до 66 %. Главная причина этой низкой точности в том, что нейронные сети (NN) не оценивают статистическую значимость своего распознавания (100 %) на обучении.

Слабые результаты (76 % на контрольных обучающихся данных) были получены линейным дискриминантным анализом (программное обеспечение SIGAMD). Решающие деревья (программное обеспечение SIPINA) дал точность 76–82 % на обучении. Этот результат хуже, чем результат метода MMDR с намного более трудным испытанием скользящим контролем. Очень важно, что ошибка первого рода была в 3–8 случаях (MMDR), в 8-9 случаях (решающие деревья), в 19 случаях (линейный дискриминантный анализ) и 26 случаев (NN). В этих экспериментах, методы основанные на правилах (MMDR и решающие деревья) выиграли у других методов.

Заметим также, что только MMDR и решающие деревья дают диагностические правила. Эти правила делают автоматизированный диагностический процесс решения видимым и прозрачным для радиолога. С этими методами радиолог может управлять и оценивать процесс принятия решений. Линейный дискриминантный анализ дает уравнение, которое отделяет доброкачественные и злокачественные классы, например 0.0670x₁‑0.9653x₂+…. Как можно было бы интерпретировать взвешенное количество кальцинозов на cм² (0.0670x₁) плюс взвешенный объем (cм³), т.e. 0.9653x₂? В этой арифметике нет никакого прямого медицинского смысла.