10.5.2. Алгоритм

10.5.2. Алгоритм

Алгоритм состоит из двух этапов: первого – этапа обучения, во время которого накапливается информация о признаках на основании уже имеющегося опыта и оценивается информативность выбранных признаков, и второго – этапа классификации, на котором выносится решение о пригодности субъекта к определенной деятельности.

Обучение. Предполагается, что на основании предыдущего опыта можно выделить группы субъектов «А» и «В», которые отражают наше понимание пригодности (или непригодности) к данной деятельности и являются определенными эталонами для дальнейшего прогнозирования пригодности. Ряд практических вопросов, связанных с образованием классов «А» и «В», будет рассмотрен ниже. Далее предполагается, что имеется какой-то набор признаков v₁, v₂,…, vn, существенность которых для определения профессиональной пригодности можно и не знать. Теперь можно построить множество векторов {v_A} и {vB}, соответственно характеризующих группы субъектов «А» и «В».

Процесс обучения состоит в получении оценки дискретных одномерных распределений вероятностей признаков v₁, v₂,…, vn для класса «А»: f_A¹(v₁), f_A²(v₁),…, f_An(v₁) для класса «В»: fB¹(v₁), fB²(v₁),…, fBn(v₁).

Предполагается, что v₁, v₂,…, vn слабо зависимы. Если, однако, этого нет, то для увеличения эффективности процедуры в рассмотрение вводятся сложные признаки – синдромы, определение которых можно получить на основании опыта и теоретических соображений или же используя соответствующий математический аппарат. Построение одномерных распределений существенно облегчает процесс обучения, а в случае слабой зависимости потери информации при этом невелики.

Если классы «А» и «В» многочисленны, то можно получить достаточно хорошую оценку требуемых вероятностей {f_А(v_j)} и {fB(v_j)} (i = 1, 2, …, n).

В тех же случаях, когда численности классов «А» и «В» невелики, приходится прибегать к грубому квантованию признаков на 2–3–4 градации. Практическая проверка показывает, что при наличии в группе 25–30 человек и соответствующем квантовании можно получить удовлетворительные результаты.

Полученные в результате обследования данного контингента лиц показатели могут иметь различную ценность для целей прогнозирования профессиональной пригодности. Поэтому следующим этапом «обучения» является оценка информативности признаков.

Признак будет тем более информативным, чем больше различие между его распределениями у представителей класса «А» и «В». Оценка информативности признака v₁ может выражаться величиной P_j – вероятностью того, что распределения f_А^j(v_j) и fB^j(v_j) различны. Это достигается при помощи вычисления ?². Интуитивно ясно, что вероятность P_j может быть хорошей мерой информативности признака v_j при данной конкретной классификации. Необходимо отметить, что признаки, информативные в одном случае, могут оказаться совсем не информативными для решения задачи профотбора других специалистов.

Вычисление c² производилось по формуле:

где N_A^(j)и NB^(j)– общее число лиц соответственно в классах «А» и «В», данные которых использовались при построении распределений для j-го признака;A_i^(j)и B_i^(j)– частоты появления индивидов в i-й градации j-го признака для сравниваемых классов; S_j – число градаций для j-го признака.

Вероятности P_j определялись по таблицам Л. Большова и Н. Смирнова [52]. Оценка информативности может быть также получена и при помощи расстояния Кульбака. В принятых здесь обозначениях и несколько измененной форме это расстояние имеет вид:

где

Эта мера имеет ряд преимуществ, особенно при теоретических исследований. Для практики представляет интерес возможность измерения значимости признаков v₁(j = 1, 2, …, n) отдельно для вынесения решения о принадлежности v к {v_A} или {vB} (соответственно слагаемые I^A_jи IB_j).

Используя ту или другую меру, признаки целесообразно расположить по их убывающей информативности, а те из них, которые неинформативны (P слишком велико или I – мало), использовать не надо. Если окажется, что информативных признаков осталось мало, то необходимо ввести новые признаки.

Процесс «обучения» можно считать законченным, когда оценки распределений f_А^j(v_j) и fB^j(v_j) (j = 1, 2, …, n) достаточно надежны, признаки упорядочены по их информативности и их достаточно много.

Классификация (решающее правило). При классификации можно допустить две ошибки. Субъект из класса «А» может быть ошибочно отнесен к классу «В» и, наоборот, субъект из класса «В» может быть ошибочно причислен к классу «А». Первую из указанных ошибок классификации будем обозначать через ?, а вторую через ?.

Вероятности ошибок ? и ? определяются до проведения классификации. При выборе этих вероятностей должна быть учтена важность той или другой ошибки классификации, а также реальная ситуация, возникшая при решении данной конкретной задачи.

Пусть при обследовании субъекта S были получены признаки v₁⁰, v₂⁰,…, Vn⁰ (они приведены здесь в порядке их убывающей информативности). Пусть на основании здравого смысла выбраны допустимые вероятности ошибок ? и ?. Рассмотрим отношение вероятностей, соответствующих первому признаку:

Если это отношение будет меньше, чем

то это будет означать, что полученное значение признака v₁⁰ настолько вероятнее для класса «А», что можно с выбранным уровнем надежности (?, ?) утверждать, что данное лицо относится к классу «А» (пригодно к данной профессиональной деятельности). Если это отношение

то с тем же уровнем надежности принимается решение о непригодности к рассматриваемой деятельности. Если

то информация, заключенная в признаке, недостаточна для отнесения к классам «А» и «В» и рассматривается следующий признак v₂⁰.

Если

то выносится решение об отнесении индивида в класс «А»; если

то в класс «В».

Когда же

то рассматривается значение третьего признака v₃⁰ и т. д.

Если, перебрав все признаки, не удается отнести субъекта к тому или иному классу с данным уровнем надежности, то есть рассматриваемое отношение не выходит за пределы требуемых рубежей, то это означает, что имеющиеся результаты обследования не позволяют сделать прогноз с выбранным уровнем надежности. В этих случаях можно понизить этот уровень и таким образом сделать прогноз или обратиться за дополнительной информацией.

При отсутствии дополнительной информации для минимизации вероятности ошибки целесообразно построить два распределения отношения правдоподобия по всем признакам соответственно для групп «А» и «В» и на основе этих распределений выбрать один порог. Особенности распределения обычно таковы, что этим порогом редко бывает 1.

Как известно, в схемах последовательного статистического анализа [58] процедуры обосновываются для однородного случая, когда f_A¹(v₁) = f_A²(v₂) =… = f_An(vn) и fB¹(v₁) = fB²(v₂) =… = fBn(vn)

Однако нетрудно показать, что зависимость порогов от вероятности ошибок ? и ? переносится и на случай неодинаковых распределений, возникающих в диагностической задаче.

Практически удобно иметь дело не с отношениями вероятностей, а с логарифмом этого отношения. Тогда все вычисления сводятся к последовательному сложению.

Итак, определение принадлежности векторов v (v₁, v₂, …, vn) к множеству {v_A} или {vB} осуществляется следующим образом. Последовательно вычисляются величины L₁, L₂, …, L_k, где

Каждое вычисленное L_k сравнивается с порогами

Если при некотором k < n

то вычисляется L_k+1. Если же

то v ? {vB}; если же

то v ? {vB}.