10.4. Математические процедуры разработки шкал методик

10.4. Математические процедуры разработки шкал методик

Результаты обследования (абсолютные показатели) по всем методикам, используемым при психологическом отборе, выражаются в оценках (относительных величинах) по 9-балльной шкале. Перевод абсолютных величин результатов обследований в относительные (баллы) может быть осуществлен путем расчета средних арифметических величин и сигмы или путем процентного распределения согласно закону «нормальной кривой» применительно к 9-балльной шкале.

Для середины 9-балльной шкалы (5 баллов) берется интервал, включающий в себя варианты, отстоящие от средней величины на ±0,50 s. Каждый последующий балл в обе стороны от балла 5 составляет интервал в 0,5 s. Такое построение 9-балльной шкалы справедливо, когда число наблюдений (N) превышает 120. При меньшем количестве наблюдений и другом выбранном уровне значимости доверительный интервал определяется по стандартным значениям критерия Стьюдента из специальных таблиц.

Рассчитанная таким образом шкала требует дополнительной корректировки в процессе обследования, так как не дает плавного распределения всего массива результатов. Сама же корректировка проводится опытным путем, что снижает объективность и точность получаемых шкал. Кроме того, расчет s – довольно трудоемкий процесс.

В настоящее время доказано [18, 66], что распределение оценок многих стандартизированных психологических тестов апроксимируется формой «нормальной кривой». Поэтому представляется целесообразным расчет шкал для методики психологического отбора проводить с использованием закона нормального распределения случайных величин.

Расчет шкал с использованием закона нормального распределения случайных величин применительно к 9-балльной шкале оценок производится следующим образом: из всего массива абсолютных показателей сначала выделяется 4 % лучших и 4 % худших показателей, и всем вариантам, начиная с худшего в первом случае и лучшего во втором, соответственно присваиваются баллы 9 и 1; далее из оставшихся снова выделяется, но уже 7 % лучших и худших результатов, и всем вариантам в этих пределах соответственно присваиваются баллы 8, 2 и т. д.

Для того чтобы разработанная шкала отвечала научным требованиям, число наблюдений, на которых она разработана, должно быть 500 и более, так как только в этом случае закон нормального распределения случайных величин (показателей изучения психологических качеств) вступает в силу и будут учтены (оценены) все возможные варианты в пределах указанных процентов применительно к 9-балльной шкале.

Таблица 12

Распределение процентов «нормальной кривой» по группам и баллам интегральной оценки психологического отбора

Корректировка процентов по соответствующим баллам для интегральной оценки и групп психологического отбора проводится на основе экспериментальных исследований и определяется потребностями практики распределения (дифференцировки) кандидатов по результатам психологического отбора (табл. 12).

За абсолютный показатель при выведении интегральной оценки или группы берется сумма баллов (L) по всем методикам с учетом их весовых коэффициентов или коэффициентов корреляции с интегральным внешним критерием. Расчет шкалы производится, как указано выше, аналогично расчету для отдельной методики:

Нормативные оценки по 9-балльной шкале для некоторых методик психологического отбора летчиков по абсолютным показателям приведены в таблице 13.

При разработке шкал как отдельных методик, так и интегрального показателя возникает вопрос определения достаточного объема наблюдений для получения достоверных статистических показателей. Для этого на основе предварительных исследований определяется среднее квадратическое отклонение (s), ориентировочно характеризующее колеблемость изучаемого признака в генеральной совокупности. Далее устанавливается необходимый уровень доверительной вероятности (P), который определяется целями исследования и соответствует значениям:

Таблица 13

Нормативные оценки методик психологического отбора

Наконец, задается (произвольно, на основании опыта) степень точности (D) характеристики среднего значения генеральной совокупности (допускаемая ошибка отклонения от генеральной совокупности). Расчет необходимой выборки производится по формуле

N = t ² ?²/?².

Например, необходимо установить N при разработке шкалы конкретной методики. По предварительным расчетам ? = 23, уровень доверительности вероятности P = 0,99 и соответственно t = 2,58, а допускаемая ошибка ? = 3 с. Подставляя значения в формулу, находим N = 352.

Увеличение или уменьшение выборки произойдет при установлении другого доверительного уровня или точности характеристики среднего значения (допускаемой ошибки). Например, при P = 0,999 количество наблюдений N = 580 и т. д.

Величину допускаемой ошибки можно определить и по формуле

? = 2t?/n_k,

где n – размерность используемой шкалы; k – градация абсолютных показателей внутри каждого из 9 баллов; цифра 2 введена для учета знаков «минус» и «плюс». При определении максимально допустимого значения ошибки k не учитывается. Для более точного определения ? градация внутри каждого балла k должна составлять 3,5 или более вариантов. Например, величина ошибки для 9-балльной шкалы методики при P = 0,99 и ? = 23 и трех вариантов значений абсолютных показателей внутри каждого балла (3 с) будет составлять: ? = 4,4 с, а максимально допустимая величина ? = 13 с, то есть без градаций внутри каждого балла. При изменении доверительной вероятности и градаций внутри баллов будет меняться и ?.

Правильность (не валидность) построения методик может быть проверена путем изучения фактического распределения абсолютных показателей в процентах по соответствующим баллам 9-балльной шкалы. Так, если фактическое распределение совпадает с расчетным, методика составлена правильно. Если произошел сдвиг в сторону 1 или 9 баллов, то это означает, что степень трудности, условия или время предъявления подобраны неправильно и этот недостаток необходимо устранить. Например, при выполнении методики «Часы» результаты обследования распределились по 9-балльной шкале со сдвигом к 9 баллам по отношению к расчетным. Это означает, что время на выполнение задания (12 мин) велико и большее, чем должно быть, число испытуемых успевают правильно решить все задачи. Уменьшение времени выполнения до 8 мин привело к нормальному (расчетному) распределению полученных результатов.

Для определения правильности выбора единиц измерения или градаций методики можно воспользоваться формулой ? = 2t?/n_k. В тех случаях, когда ? составляет часть от неделимой единицы измерения, эта единица измерения не может быть использована в качестве дифференциации данного текста. Например, в методике «Компасы» единицей измерения является задача из одного компаса, то есть он может быть учтен или нет. Эта единица измерения неделима, часть компаса не может быть учтена. Полученная часть единицы дает сведения о том, на сколько нужно увеличить (расширить) количество задач или как изменить единицу измерения. Так, например, если ? оказалась равной 1,3 – это значит, что количество задач в тесте должно быть увеличено в 3 или более раза. С увеличением числа задач в тесте этот недостаток устраняется. Практические исследования показывают, что количество задач в тесте должно быть (при P = 0,95 и максимально допустимом значении ?) не менее 20.

В. С. Аванесов [5] приводит примерные числа высказываний для разработки вопросников: минимальное число – 10; достаточное – от 23 до 29; практически оптимальное – от 30 до 40; теоретически желаемое – свыше 41.