Американские исследователи Тиффин и
Маккормик выделили 4-е типа внешнего критерия
(кроме видов валидности, важно знать критерии валидности. Это основные признаки,
по которым можно практически судить о
том, является или не является данная методика
валидной):
Критерий исполнения (количество выполняемой
работы, успеваемость, время, темп роста
квалификации).
Субъективные критерии (включают различные
виды ответов, которые отражают отношение
человека к чему-либо, его мнения, взгляды).
Физиологический критерий (используется
при изучении влияния внешней среды, влияющей
на организм и психику).
Критерий случайности (например, когда
цель касается проблемы отбора для работы
таких лиц, которые менее подвержены несчастным
случаям).
Внешний критерий должен обладать 3 основными
требованиями:
Должен быть релевантным, то есть должна
быть уверенность, что в критерии задействованы
именно те особенности индивидуальной
психики, которые измеряет диагностическая
методика. Внешний критерий и диагностическая
модель должны находиться во внутреннем
смысловом соответствии.
Должен быть свободным от помех (контаминации).
Следует отбирать для исследования такие
группы людей, которые находятся в более
или менее одинаковых условиях.
Должен быть надежен. Постоянство и устойчивость
исследуемой функции.
Оценка валидности методики
может носить количественный и качественный
характер.
Для вычисления количественного показателя
(коэффициента валидности) сопоставляются
результаты, полученные при применении
диагностических методик, с данными тех
же лиц, полученные по внешнему критерию.
Используются разные виды линейной корреляции
(по Спирмену, по Пирсену).
Качественное описание сущности измеряемого
свойства. Здесь не используют статистическую
обработку.
СУЩЕСТВУЮТ НЕСКОЛЬКО ВИДОВ
ВАЛИДНОСТИ
Валидность теста
и ее виды
Валидность теста – понятие, указывающее нам, что
тест измеряет и насколько хорошо он это
делает (А. Анастази).
На валидность теста негативно влияют случайные факторы, поэтому
в психометрике принято следующее основное
психометрическое неравенство: Валидность ≤ Надежность,что означает, что валидность
не может превышать надежность теста.
Помимо случайных факторов, на валидность
теста влияют систематические факторы.
Они привносят систематические искажения
в результаты.
Валидность и надежность - связанные понятия. Валидность
лучших психодиагностических тестов,
полученная на основе применения коэффициентов
корреляции, составляет 0,3-0,8, а надежность
- 0,8-0,9.
Их соотношение может быть проиллюстрировано
следующим примером.
Допустим, имеются два стрелка
А и Б. Стрелок А выбивает 90 очков из 100,
а стрелок Б - только 70 очков.
Соответственно, надежность
стрелка А равна 0,90, а стрелка Б - только
0,70. Однако стрелок А всегда стреляет по
чужим мишеням, поэтому на соревнованиях
его результаты не засчитываются. Второй
стрелок всегда правильно выбирает мишени.
Поэтому валидность стрелка А нулевая,
а стрелка Б - 0,70, т.е. численно равна надежности.
Если стрелок А будет правильно выбирать
мишени, его валидность тоже будет равна
его надежности.
Следовательно, надежность является
необходимым условием валидности. Надежность
теста не может быть меньше его валидности.
К сожалению, бывают случаи,
когда тесты применяются без проверки
их на валидность. В результате оказывается,
что они бесполезны или даже вредны.
Виды валидности:
СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ (внутренняя, логическая) –комплекс сведений о репрезентативности
заданий теста по отношению к измеряемым
свойствам и особенностям.
Закладывается уже на стадии разработки
теста.
Валидность содержательная
- основана на детальном исследовании
содержания фактического материала, входящего
в пункты тестов, посредством просмотра
каждого пункта, с тем, чтобы определить,
соответствует ли он тесту в целом, а также
оценки общей согласованности нескольких
пунктов. Кроме того, контроль содержания
должен определять, насколько полно тест
охватывает представительную выборку
по совокупности измеряемых параметров. . Тесты, составленные двумя
командами разработчиков, проводятся
на выборке испытуемых. Надежность тестов
подсчитывается путем расщепления заданий
на две части, в результате чего получают
индекс содержательной валидности.
Установление содержательной
валидности — в значительной степени
субъективная операция, основанная на
мнениях "экспертов" относительно
уместности используемых материалов.
Этапы
валидизации теста:
1. Определяется круг измеряемых
свойств и (или) видов деятельности.
Происходит расчленение свойства/
деятельности на элементы.
2. Разрабатывается модель тестовой
деятельности или модель свойства,
содержание которой подбирается
путем выделения наиболее важных
элементов реальной деятельности.
3. Проводится анализ степени
соответствия разработанной модели
реальной деятельности/ свойству (степень
соответствия результатов 1 и 2 этапов).
КРИТЕРИАЛЬНАЯ(эмпирическая)ВАЛИДНОСТЬ – включает в себя текущую и прогностическую валидность.
- отражает степень соответствия
прогноза и диагноза определенному
кругу критериев измеряемого
свойства.
Текущая валидность – степень соответствия диагноза. Диагностическая
(конкурентная, текущая) валидность отражает способность теста
дифференцировать испытуемых по изучаемому
признаку. Анализ диагностической валидности
имеет отношение к установлению соответствия
показателей теста реальному состоянию
психологических особенностей испытуемого
в момент обследования. Примером определения
этого типа валидности может быть исследование
по методу контрастных групп. Проведение
теста интеллекта у нормально развивающихся
детей и их сверстников с нарушениями
в интеллектуальном развитии может выявить
глубокие количественные и качественные
различия в выполнении заданий сравниваемыми
группами. Степень надежности дифференциации
детей первой и второй групп по данным
теста будет характеристикой диагностической
валидности оценки умственного развития,
получаемой с помощью данной методики.
Прогностическая
валидность – степень соответствия прогноза. Прогностическая
валидность - информация о тесте, характеризующая
степень точности и обоснованности суждения
о диагностируемом психологическом качестве
по его результату спустя определенное
время после измерения. Прогностическая
валидность (иногда употребляется термин
«предсказательная валидность») отражает
временной интервал, на который распространяется
обоснование суждения об изменении диагностируемого
свойства.
Заключение об этом типе валидности
может быть получено, например, путем сравнения
корреляции тестовых оценок в одной и
той же группе испытуемых спустя определенное
время с некоторым критерием, характеризующим
измеряемое свойство (например, корреляция
показателей интеллекта одних и тех же
испытуемых в 11 и 16 лет с успеваемостью).
Основной проблемой здесь является выделение
критерия предсказания (по отношению к
которому произодится оценка корреляции
тестовых оценок).
Также в качестве критерия может выступать уровень достижений в какой-либо
другой деятельности (производственная,
научная, учебные успехи; степень развития
какой-либо способности; степень выраженности
какого-либо свойства личности; социально-демографические
и географические данные и т.п.).
Подсчитывается корреляция двух рядов
значений: баллов по тесту и показателей
по внешнему параметру, избранному в качестве
критерия валидности.
Пример: Разработка методики
Экстра-Интраверсии.
Экстраверсия (1)/Интраверсия
(2) → определение, свойства (1 и 2) → экспертная
оценка участником эксперимента этих
параметров + оценка экстра-интраверсии
с помощью разрабатываемой методики →
корреляция (чем выше, тем валидность больше).
КОНСТРУКТНАЯ ВАЛИДНОСТЬ – отражает степень представленности
измеряемого психологического конструкта
в результатах теста.
Для того, чтобы доказать валидность
представленности измеряемого свойства,
необходимо найти уже проверенную конструкцию,
направленную на измерение того же самого.
Если такой конструкции нет, то привлекаются
эксперты. При этом они работают не с тестом,
а с испытуемыми из выборки стандартизации
(наблюдают). Если и это не удается, тогда
прибегают к оценкам особого типа – субъективным,
которые выносят испытуемому люди из его
круга, имеющие опыт реального общения
с ним.
Виды конструктной валидности:
- конвергентная валидность
(схождение) – для доказательства надо выбрать какое-то
психологическое свойство, которое связано
(прямо или обратно) с измеряемым свойством.
- дискриминативная валидность – доказывается отсутствием связи между
измеряемым свойством и каким-либо другим
свойством (установление отсутствия
связи валидизации).
Различия:
Содержательная – соответствие заданий теста измеряемому
свойству.
Критериальная – соответствие диагноза и/или прогноза
какому-либо критерию.
Конструктная – соответствие результата теста психологическому
конструкту.
КОНКУРЕНТНАЯ ВАЛИДНОСТЬ – оценивается по корреляции разработанного
теста с другими, валдность которых относительно
данного параметра установлена.
ОЧЕВИДНАЯ ВАЛИДНОСТЬ ( внешняя , «доверительная»
) - представление о тесте, сфере
его применения, результативности и прогностической
ценности, которое возникает у испытуемого
или другого лица, не располагающего специальными
сведениями о характере использования
и целях методики.
Очевидная валидность улучшает
применение понятных формулировок и терминов,
также заданий, по содержанию являющихся
наиболее естественными с учетом возрастной,
половой, профессиональной специфики
испытуемых
Классификация типов валидности в достаточной
мере условна, так как, с одной стороны,
нередко для различных критериев валидности
применяются общие методы определения, –
а стороны, одни и те же исходные данные
могут интерпретироваться с точки зрения
различных типов валидности.
Классификация типов
валидности:
1) конструктная; 2) дифференциальная;
3) конвергентная; 4) дискриминативная
(дискриминантная); 5) факторная;
6) валидность по возрастной дифференциации;
7) критериальная; 8) диагностическая (конкурентная);
9) текущая;
10) прогностическая; 11) инкрементная;
12) синтетическая; 13) ретроспективная;
14) эмпирическая;
15) содержательная; 16) лицевая
(очевидная).
Другие виды валидности:
иллюзорная;
экологическая.
11
Понятие надёжности и достоверности.
Типы надёжности и порядок действий по
проверки надёжности.
НАДЕЖНОСТЬ (устойчивость) – это такая характеристика
методики, которая позволяет оценить постоянство
тестовых показателей (т.е. устойчивость
результатов теста к действию посторонних,
случайных факторов).
На надежность методики влияет (посторонние факторы):
- нестабильность диагностируемого
свойства;
- несовершенство диагностических
методик:
– небрежно составленная инструкция;
– разнородные по своему характеру задания;
– нечетко определенная область измерения;
– нечетко прописанная процедура обследования.
- меняющаяся ситуация обследования:
– разное время дня;
– разная освещенность помещения;
– посторонние шумы;
– погода и т.д.
- манера поведения психолога:
– разная стимуляция клиента на выполнение
задания и т.д.
- состояние клиента (колебание
в этих состояниях):
– настроение;
– усталость и т.д.
- элемент субъективизма в способах
оценки/ интерпретации результатов
(особенно при открытых ответах
и т.п.).
Для того чтобы надежность методики была
высокой, методика должна быть стандартизирована (все
д.б. прописано: процедура проведения,
область исследования и т.д.). В качестве цифрового показателя надежности выступает коэффициент корреляции (методика надежна, если коэффициент
не ниже 0,75 – 0,85, лучше 0,90 и выше).
Виды надежности:
РЕТЕСТОВАЯ НАДЕЖНОСТЬ – вид надежности, который определяется
путем повторного обследования одних
и тех же лиц при помощи одной и той же
методики.
(Чем выше коэффициент корреляции,
тем выше надежность, т.е. мы получаем
примерно то же самое распределение). Определение временного интервала:
С увеличением временного интервала
– показатели корреляции имеют тенденцию
к снижению (т.к. имеет место влияние посторонних
факторов).
Пр: могут произойти естественные
временные изменения.
Обычно выбираются непродолжительные
временные интервалы: от 2 недель до 2–4
месяцев (это зависит от возраста обследуемых.
Чем старше, тем больше можно делать интервал,
и наоборот).
Слишком маленький интервал: проблема
запоминания; проблема интереса.
НАДЕЖНОСТЬ ПАРАЛЛЕЛЬНЫХ
ФОРМ – проверяется с помощью взаимозаменяемых
форм теста (т.е. одни и те же обследуемые
сначала обследуются с помощью одного
теста, затем (через определенный интервал)
с помощью другого теста).