Понятие валидности

Введение

Валидность по своей сути - это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность, практическая полезность.

По этой причине не существует какого-то единого универсального подхода  к определению валидности. В зависимости  от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие  свой особый смысл. Проверка валидности методики называется валидизацией.

Валидность в первом ее понимании имеет отношение к  самой методике, т. е. это валидность измерительного инструмента. Такая  проверка называется теоретической  валидизацией. Валидность во втором понимании  уже относится не столько к  методике, сколько к цели ее использования. Это прагматическая валидизация.

 Актуальность данной  темы заключается в том, что  понятие валидности отражает  прагматическую идею обязательной  практической проверки качества  измерения психологических свойств  человека. И если раньше понятие  валидности чаще других ассоциировалось  с понятием «качество теста», то в последние годы всё  больше осознаётся роль интерпретации  тестовых результатов. Таким образом,  валидность - это прежде всего,  адекватность интерпретации тестовых  результатов по отношению к  цели тестирования, содержанию основного  понятия (содержанию диагносцируемого  психического свойства) и применению  результатов тестирования (в профотборе  и других прикладных психологических  обследованиях). В контексте прикладной  задачи валидность представляет  собой не столько критерий  качества теста, сколько показатель  меры соответствия теста цели  тестирования.

Понятие и структура  валидности

 Объективность психодиагностики  вообще и тестовых показателей  в частности достигается путем  неуклонного соблюдения психологом  критериев достоверности психодиагностического  измерения, а также путем приобретения  опыта получения, использования  и интерпретации полученных данных.

Достоверность психодиагностического  измерения определяется валидностью (соответствием тестовых данных измеряемому  свойству), надежностью (точностью психодиагностических измерений) и прогностичностью (предположением о развитии измеренного свойства) применяемых психологических методик (тестов).

Термин «валидность» (англ. validity) - буквально означает: «полноценный», «пригодный», «соответствующий». А. Анастази: "Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" [2]. Характеристика психодиагностической методики как валидной свидетельствует  о ее соответствии и пригодности  для оценивания именно того психологического качества, для которого она предназначается. То есть, к примеру, при валидном измерении интеллекта измеряется именно интеллект, а не что-то другое. Безупречный  эксперимент (возможный лишь в теории) будет обладать безупречной валидностью: он будет точно показывать, что  экспериментальный эффект был вызван изменением независимой переменной, он будет полностью соответствовать  реальности, его результаты можно  обобщить без ограничений.

Когда говорят о степени  валидности, рассматривается то, насколько  результаты исследования соответствуют  поставленным задачам (однако при этом валидность не измеряется в каких-либо условных единицах).

Характеристика валидности методики включает в себя не только сведения о том, что данная методика на самом деле измеряет, но также  информацию об условиях, о сфере  ее применения.

В частности, валидность считается  фундаментальным понятием экспериментальной  психологии и психодиагностики. Выражение  валидности в общих терминах наименования принципиально невозможно, так как  ни один тест нельзя охарактеризовать высоким или низким уровнем валидности абстрактно, не учитывая его конкретной целенаправленности. На деле между  наименованием теста и его  практическим назначением нередко  существует несоответствие. Валидность теста должна определяться только относительно его специального использования.

Следует заметить, что вопрос о валидности до последнего времени  представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое  приведено в книге А. Анастази: «Валидность теста - понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает».

Важную роль для понимания  того, что методика измеряет, играет сопоставление ее показателей с  практическими формами деятельности. Но здесь особенно важно, чтобы методика была тщательно проработана в  теоретическом плане, т. е. чтобы  имелась прочная, обоснованная научная  база. Тогда при сопоставлении  методики с взятым из повседневной практики внешним критерием, соответствующим  тому, что она измеряет, может  быть получена информация, подкрепляющая  теоретические представления о  ее сущности.

Если опять обратиться к истории развития тестологии, то можно выделить такой период (20-30-е  гг. XX в.), когда научное содержание тестов и их теоретический багаж  интересовали в меньшей степени. Важно было, чтобы тест работал, помогал  быстро отбирать наиболее подготовленных людей. Эмпирический критерий оценки тестовых заданий считался единственно верным ориентиром в решении научных  и прикладных задач.

Виды валидности

Различают два типа валидности — внешнюю (external validity) и внутреннюю (internal validity). Внешняя валидность есть мера возможности распространения  результатов тестирования на генеральную  совокупность, т.е. внешняя валидность определяет то, в какой мере результаты, полученные в эксперименте, могут  соответствовать тому типу жизненной  ситуации, которая была исследована, и то, насколько возможно обобщить эти результаты на все подобные жизненные ситуации [3].

Как и в отношении любой  другой валидности, о внешней валидности в исследовании, вероятно, невозможно сказать, что она абсолютно соблюдена, можно указать только на её нарушение. Абсолютным соблюдение внешней валидности считалось бы тогда, когда результаты исследования можно обобщить на любые  популяции при любых условиях и в любое время, поэтому учёные говорят не о соблюдении либо несоблюдении внешней валидности, а о степени её соблюдения.

Чтобы исследование обладало наивысшей степенью валидности, должна существовать возможность генерализации  его результатов на другие популяции, другие условия, другое время.

Примером нарушения внешней  валидности послужило исследование Лоренса Колберга, посвящённое изучению нравственного развития детей. Оно  было подвергнуто критике за низкую степень внешней валидности. В 1963 году Колберг предложил мальчикам-подросткам разрешить различные коротко  сформулированные дилеммы. На основании  полученных ответов он разработал теорию о шести стадиях морального развития. Критика внешней валидности этого  исследования в частности состояла в том, что учёный не учитывал половых  различий в особенностях мышления способах принятия моральных решений и, следовательно, неправомерно обобщил свою модель на представителей обоих полов. Колберг  также исходил из предпосылки  о том, что существуют некие «универсальные принципы справедливости и соблюдения прав личности», однако он не учёл межкультурных  различий, следовательно, выводы, которые он сделал, не могут восприниматься как универсальные [4].

Чтобы увеличить степень  внешней валидности, в исследованиях  могут не ограничиваться лишь экспериментальным  методом, но также использовать и  другие — например, наблюдение, межкультурные исследования и т. д.

При современном научном  подходе в психологии соблюдение внешней валидности в исследованиях  играет ведущую роль, так как наиболее ценным считается создание общих  теорий, моделей и алгоритмов, применимых к психике в целом, независимо от контекста, — то есть моделей, обладающих крайне широкими предсказательными  возможностями; поэтому исследования, результаты, которых можно применить  только к какой-то определённой ограниченной ситуации, обладают нисходящей ценностью.

Внешняя валидизация осуществляется путем расчета репрезентативности экспериментальной выборки при  отработке теста и перекрестной валидизации, то есть определения валидности теста на выборке, отличающейся от той, на которой отрабатывался стимульный материал и задания к тесту.

Репрезентативность выборки  — это представительность экспериментальной  выборки, которая отражает основные свойства генеральной совокупности. Репрезентативность определяется путем  сопоставления качественных и количественных характеристик экспериментальной  выборки с характеристиками исследуемой  популяции с целью определения их однородности.

Пример. Предположим, совокупность — это все учащиеся школы (600 человек из 20 классов, по 30 человек в каждом классе). Предмет изучения — отношение к курению. Выборка, состоящая из 60 учеников старших классов, гораздо хуже представляет совокупность, чем выборка из тех же 60 человек, в которую войдут по 3 ученика из каждого класса. Главной причиной тому — неравное возрастное распределение в классах. Следовательно, в первом случае репрезентативность выборки низкая, а во втором случае репрезентативность высокая (при прочих равных условиях).

К качественным характеристикам  могут быть отнесены социально-демографические, видовые, интеллектуальные (образовательные), профессиональные и другие характеристики популяции (группы), которые являются предметом исследования или существенно  влияют на него.

Количественная характеристика экспериментальной группы — это  минимальная ее численность, которая  сохраняет свойства генеральной  совокупности. Формирование репрезентативной выборки по количественному признаку осуществляется при помощи теоремы  П.А. Чебышева о вероятности ошибки репрезентативности, которая гласит: «С вероятностью сколь угодно близкой  к единице можно утверждать, что  при достаточно большом числе  независимых наблюдений выборочная средняя будет сколь угодно мало отличаться от генеральной средней» и далее (следствие 1 из теоремы П.Л. Чебышева) «...что с вероятностью, как угодно близкой к единице («практически достоверно»), выборочная доля будет как угодно мало отличаться от генеральной доли, если объем  выборки достаточно велик». Размер минимальной репрезентативной выборки  рассчитывается по формуле:

n = [t2 – W (1 – W) N] / [d2 N + t2 W (1 – W)],

где n – численность экспериментальной  выборки; t – коэффициент кратности  ошибки, связанный с вероятностью Pt, с которой требуется гарантировать  результаты выборочного наблюдения (величина t-критерия Стьюдента); d –  размер допустимой ошибки выборки (0,05); W – доля данного признака (0,8); (1 – W) – доля противоположного признака (0,2); N – численность генеральной совокупности.

Перекрестная валидизация  производится путем апробации теста  на выборке, отличной от экспериментальной. Перекрестная валидизация осуществляется для того, чтобы определить границы  применения методики по критерию "характеристика популяции" (для определения уровня развития свойства у детей, подростков, мужчин-женщин, определенной группы специалистов и т. д.). В ходе перекрестной валидизации рассчитываются коэффициенты корреляции между одними и теми же показателями, полученных в результате тестирования разных групп испытуемых. Вывод о возможности применения теста на данной популяции делается при помощи параметрических критериев (F- критерий Фишера, t - критерий Стъюдента, n - критерий Уэлша).

Внутренняя валидность —  это мера соответствия тестовых оценок уровню развития измеряемого свойства. Внутренняя валидность тем выше, чем  больше вероятность того, что изменение  зависимой переменной вызвано изменением именно независимой переменной (а не чего-либо ещё) [5].

Данное понятие можно  рассматривать как междисциплинарное: оно широко применяется в экспериментальной  психологии, а также в других сферах науки. Внутренняя валидность - соответствие реального исследования идеальному.

При обладающем внутренней валидностью исследовании исследователь  уверен, что результаты, полученные измерением зависимой переменой, непосредственно  связаны с независимой переменной, а не с каким-нибудь другим неконтролируемым фактором [6].

Однако, фактически, в науке (особенно в психологии) невозможно со стопроцентной уверенностью утверждать, что внутренняя валидность соблюдена. Например, невозможно изучить какой-то психический процесс отдельно от психики в целом. Поэтому всегда при любом психологическом эксперименте учёный может лишь максимально (но не абсолютно) удалить или минимизировать разнообразные факторы, угрожающие внутренней валидности.

Существует много факторов, угрожающих внутренней валидности [7]:

1) Изменение во времени  (зависимость субъектов и окружающей  среды от времени суток, времён  года, изменений в самом человеке  — старение, усталость и рассеивание внимания при длительных исследованиях, изменение мотивированности испытуемых и экспериментатора и т. д.)