2. Типы заданий в обеих формах
д.б. унифицированы (приведены в соответствие)
в плане психологического содержания,
уровня и пределов трудности, охвата тех
или иных операций.
3. Задания в тесте д.б. распределены
по трудности одинаковым образом.
4. обе формы должны иметь примерно
одинаковое среднее значение
и среднее отклонение.
5. Процедура применения отдельных
форм, техника оценивания результатов
д.б. унифицированы.
Показатель надежности –
коэффициент корреляции.
Существует опасность обучаемости решению
тестов. Обследуемый может запомнить алгоритм
решения определенных типов задач.
НАДЕЖНОСТЬ ЧАСТЕЙ
ТЕСТА (одномоментная надежность/ надежность-согласованность)
– характеристика надежности осуществляется
путем анализа устойчивости результатов
отдельных совокупностей тестовых задач
или единичных заданий теста (т.е определяется с применением метода
надежности отдельных заданий).
Надежность проверяют на результатах…:
1) Результаты теста расщепляются
на части (чаще всего путем
деления на четные и нечетны
пункты).
2) По каждой половине рассчитываются
суммарные баллы.
3) Между двумя рядами баллов
по испытуемым рассчитываются
допустимые коэффициенты корреляции.
Разделение теста на части → уменьшение
величины этого теста → уменьшение/ снижение
достоверности результатов.
+ надо предусмотреть: при
разделении – задания по своему характеру
д.б. однородными.
Преимущества данного вида
надежности:
1) Отсутствие влияния факторов,
порождаемых повторным тестированием:
эффект упражнения, снижение мотивации
и т.д.
2) Менее трудоемок (пр: не надо разрабатывать
параллельную форму теста, проводить повторное
обследование и т.д.).
Наиболее высокий показатель
надежности обеспечивает надежность параллельных
форм. Но она ограничивается техническими
возможностями.
Порядок действий по проверки
надёжности:
надёжность самого измерительного
инструмента,
стабильность изучаемого признака;
константность, т.е. относительную
независимость результатов от личности
экспериментатора.
Показатель, характеризующий
измерительный инструмент, предлагается
называть коэффициентом надёжности, показатель,
характеризующий стабильность измеряемого
свойства, — коэффициентом стабильности;
а показатель оценки влияния личности
экспериментатора — коэффициентом константности.
Именно в таком порядке рекомендуется
осуществлять проверку методики.
1. Определение
надёжности измерительного инструмента. Для проверки надёжности измерительного
инструмента, говорящего о его однородности
(или гомогенности), используется так называемый
метод "расщепления". Обычно задания
делятся на чётные и нечётные, отдельно
обрабатываются, а затем результаты двух
полученных рядов коррелируются между
собой. Для применения этого способа нужно
поставить испытуемых в такие условия,
чтобы они смогли успеть решить (или попытаться
решить) все задания
Методика признается надёжной,
когда полученный коэффициент не ниже
0,75—0,85. Лучшие по надёжности тесты дают
коэффициенты порядка 0,90 и более.
Но на начальном этапе разработки
диагностической методики можно получить
невысокие коэффициенты надёжности, например,
порядка 0,46—0,50. Это означает, что в разрабатываемой
методике присутствует некоторое число
заданий, которые в силу своей специфичности
ведут к снижению коэффициента корреляции.
Такие задания необходимо специально
проанализировать и либо переделать их,
либо вообще изъять.
Чтобы легче было установить,
за счёт каких заданий снижаются коэффициенты
корреляции, необходимо проанализировать
таблицы с выписанными данными, подготовленными
для корреляций. Следует отметить, что
любые изменения в содержании методики
— изъятие заданий, их перестановка, переформулировка
вопросов или ответов требует заново высчитывать
коэффициенты надёжности.
При ознакомлении с коэффициентами
надёжности не следует забывать, что они
зависят не только от правильного подбора
заданий с точки зрения их взаимосогласованности,
но и от социально-психологической однородности
той выборки, на которой проверялась надёжность
измерительного инструмента.
В самом деле, в заданиях могут
встретиться понятия, малоизвестные одной
части испытуемых, но хорошо известные
другой части. От того, как много в методике
таких понятий, будет зависеть и коэффициент
надёжности, задания с такими понятиями
могут случайно расположиться и в чётной
и в нечётной половине теста.
2. Определение стабильности
изучаемого признака. Определить надёжность
самой методики — это не значит решить
все вопросы, связанные с ее применением.
Нужно ещё установить, насколько устойчив,
стабилен признак, который исследователь
намерен измерять. Было бы методологической
ошибкой рассчитывать на абсолютную стабильность
психологических признаков. В том, что
измеряемый признак со временем меняется,
нет ничего опасного для надёжности. Все
дело в том, в каких пределах варьируются
результаты от опыта к опыту у одного и
того же испытуемого, не приводят ли эти
колебания к тому, что испытуемый по непонятным
причинам оказывается то в начале, то в
середине, то в конце выборки. Сделать
какие-то конкретные выводы об уровне
представленного измеряемого признака
у такого испытуемого нельзя. Таким образом,
колебания признака не должны иметь непредсказуемого
характера. Если не ясны причины резких
колебаний, то такой признак не может быть
использован в диагностических целях.
Для проверки стабильности диагностируемого
признака, свойства используется прием,
известный как тест — ретест. Он заключается
в повторном обследовании испытуемых
с помощью той же методики. О стабильности
признака судят по коэффициенту корреляции
между результатами первого и повторного
обследования. Он будет свидетельствовать
о сохранении или не сохранении каждым
испытуемым своего порядкового номера
в выборке.
При определении стабильности
признака большое значение имеет промежуток
времени между первым и повторным обследованием.
Чем короче срок от первого до второго
испытания, тем (при прочих равных условиях)
больше шансов, что диагностируемый признак
сохранит уровень первого испытания. С
увеличением временного интервала стабильность
признака имеет тенденцию снижаться, так
как возрастает число посторонних факторов,
влияющих на нее. Следовательно, напрашивается
вывод, что целесообразно проводить повторное
тестирование через короткий срок после
первого. Однако тут есть свои сложности
если срок между первым и вторым опытом
небольшой, то некоторые испытуемые могут
воспроизвести свои прежние ответы в памяти
и, таким образом, отойдут от смысла выполнения
заданий. В этом случае результаты двух
предъявлении методики уже нельзя рассматривать
как независимые.
В тестологической литературе
наиболее часто называются временные
интервалы в несколько месяцев (но не более
полугода). При обследовании детей младшего
возраста, когда возрастные изменения
и развитие происходят очень быстро, эти
интервалы могут быть порядка нескольких
недель (А. Анастази, 1982).
3. Определение константности,
т.е. относительной независимости результатов
от личности экспериментатора. Поскольку
методика, разработанная для диагностических
целей, не предназначена для того, чтобы
вечно оставаться в руках своих создателей,
крайне важно знать, в какой мере ее результаты
поддаются влиянию личности экспериментатора.
Хотя диагностическая методика всегда
снабжается подробными инструкциями по
ее применению, правилами и примерами,
указывающими, как проводить эксперимент,
регламентировать манеру поведения экспериментатора,
скорость его речи, тон голоса, паузы, выражение
лица очень трудно. Испытуемый в своем
отношении к опыту всегда отразит то, как
сам экспериментатор к этому опыту относится
(допускает небрежность или действует
точно в соответствии с требованиями процедуры,
проявляет требовательность, настойчивость
или бесконтрольность и т.п.).
Хотя в тестологической практике
критерием константности пользуются нечасто,
однако, по мнению К.М. Гуревича (1969), это
не может служить основанием для его недооценки.
Если у авторов методики возникают подозрения
по поводу возможного влияния личности
экспериментатора на исход диагностической
процедуры, то целесообразно проверить
методику по этому критерию. При этом важно
иметь в виду следующий момент. Если под
воздействием нового экспериментатора
все испытуемые в одинаковой степени стали
работать немного лучше или немного хуже,
то сам по себе этот факт (хотя и заслуживает
внимания) на надёжность методики не окажет
влияния. Надёжность изменится лишь тогда,
когда воздействие экспериментатора на
испытуемых различно
Коэффициент константности
определяется путём корреляции результатов
двух опытов, проведённых в относительно
одинаковых условиях на одной и той же
выборке испытуемых, но разными экспериментаторами.
Коэффициент корреляции не должен быть
ниже 0,80.
12
Нормативные требования к психодиагностической
литературе
и методическим
материалам
Требования к психодиагностической
литературе и методическим материалам.
Разработчик и пользователь методик взаимодействуют
между собой прежде всего посредством
методической литературы. Стандартные
требования к оформлению руководства,
методических указаний, писем и другой
методической литературы приняты в качестве
директивных документов обществами психологов
ряда стран.
Целесообразно различать круг
требований к документам разного типа:
1) к исследовательской литературе, публикуемой
в научных журналах, сборниках и монографиях,
2) к обзорно-аналитическим руководствам
и справочным изданиям, освещающим процедурные
и количественные, а также содержательно-теоретические
аспекты применения какой-то методики
или какого-то класса методик, 3) к «подручным
методическим материалам», непосредственно
инструктирующим пользователя в применении
методики и содержащим стимульный материал,
инструкции, тексты заданий, ключи, нормы,
правила интерпретации, 4) к популярным
изданиям по психодиагностике.
1. Научные сообщения. Должны освещать: теоретические
основания методики (концепт и методический
прием), способы разработки и эмпирического
обоснования, исследовательские данные
о репрезентативности, надежности, валидности
шкалы тестовых показателей (коэффициенты
корреляций, регрессионные и факторные
веса). Для читателей в научном сообщении
могут быть даны «образцы» отдельные примеры
тестовых заданий, позволяющие проиллюстрировать
принципы, на которых построена методика.
В научных сообщениях не должны освещаться:
для методик с профессиональными ограничениями
(«п-методик») - полный текст заданий ключи,
тестовые нормы, детальные инструкции
по проведению и интерпретации. Обо всей
этой информации автор научного сообщения
должен говорить лишь косвенно, используя
ссылки на распространяемую среди специалистов
«инструктивную» литературу В научном
сообщении могут быть приведены исчерпывающие
описания методик, знание которых (и их
возможное применение) непрофессионалами
не может принести ущерба конкретным людям
или психодиагностическому потенциалу
самой методики Этот класс методик предлагается
условно обозначить термином
«открытые методики» («о-методики»).
Автор научного сообщения имеет
право определить статус разработанной
им методики как открытой методики, но
любые модификации или адаптации методики,
уже определенной как профессиональная
«п-методика», должны освещаться в научных
сообщениях в соответствии с указанными
требованиями.
2. Справочно-методические издания. В этих изданиях могут быть
приведены инструктивные материалы, включая
текст заданий (вопросов ключи, нормы,
но при одном принципиальном условии:
изданию придается статус издания для
специалистов, обеспечивающий ему распространение
среди читателей, имеющих необходимую
психологическую подготовку. Авторский
коллектив такого издания лично отвечает
перед Обществом психологов за распространение
тиража этого издания по назначению.
3. Инструктивные
документы. Содержат описание методики,
обеспечивающее ее адекватное использование
в точном соответствии со стандартами:
предмет диагностики, сфера применения,
контингент испытуемых, процедура применения.
Описание обязательно должно снабжаться
подробными сведениями о процедуре разработки
методики и полученных при этом данных
о надежности и валидности. Приведенные
тестовые нормы должны сопровождаться
однозначным описанием выборки стандартизации
и характера диагностической ситуации
в обследовании: добровольное участие
испытуемых, бескорыстно сотрудничающих
с психологом в: целях помощи исследованию («научное
сотрудничество»), участие платных испытуемых
(«платное участие»), использование методики
в ходе запроса испытуемого на получение
консультативной помощи («ситуация клиента»),
использование методики в ходе принудительного
(сплошного) административного обследования
(«ситуация экспертизы»).
Справочно-методические издания
и инструктивные документы должны периодически
(с определенным интервалом, зависящим
от типа методики) пересматриваться, так
как условия применения методик со временем
неизбежно меняются, а следовательно,
изменяются психометрические свойства.
В справочных и инструктивных
материалах должны быть однозначно сформулированы
требования к профессиональному статусу
пользователя методики.
Инструктивные документы должны
пройти объективные испытания на однозначность
указанных в них предписаний: пробная
группа пользователей методики (теста)
должна направлять автору документа копии
протоколов по результатам обследования,
на основании которых автор должен обеспечить
идентичность стандартов авторского варианта
методики и тех характеристик методики,
которые выявляются при ее использовании.
Последнее требование имеет принципиальное
значение для методик, предполагающих
значительное участие «экспертной» оценки
(инструкции к контент-анализу, к интерпретации
результатов проективной техники, полустандартизованного
интервью и т. п.).