Оснащение тестирования и основные этапы организации

вступающий  в общественную должность должен давать, чтобы доказать, что он не тайный католик; плоский плавильный сосуд для выделения олова из золота и серебра (Русский энциклопедический словарь, 1872) [14, с.158].

Скорее всего,  использование именно первого значения термина объясняет

тот факт,  что большинство современных  исследователей рассматривают

происхождение этого слова от английского (test –  испытание, исследование).

Ряд авторов  называют тест специальным или особым видом экспериментального метода [15,  с.21].  Иногда тест практикуют как испытательный эксперимент,  используемый наряду с лабораторным и естественным экспериментами [16,  с.21].  Не считая необходимым дискутировать по вопросу о том, является ли тестовый метод самостоятельным или частью экспериментального,  важно подчеркнуть,  что все методы исследования представляют собой систему,  в которой взаимодействуют экспериментальные и неэкспериментальные методы.  Экспериментальность метода определяется сущностью и целью исследования, а не его названием.  Анализ содержания определений теста позволяет сделать вывод,  что при всем внешнем разнообразии многочисленных определений,  понятие  «тест» рассматривается в трех аспектах:

- во-первых,  как инструмент теоретического исследования;

- во-вторых,  как метод эмпирического исследования;

- в-третьих, как средство, предназначенное не только для распознания качеств личности, но и для получения объективной количественной оценки. 

В литературе,  изданной после девяностого года,  встречается понятие

«неформальный тест»,  под которым понимается метод диагностики, конструируемый исследователем с целью фиксации результатов планируемого им эксперимента.  Отличительными признаками неформальных тестов от

методик,  разработанных профессиональными  тестологами,  являются отсутствие точности определения надёжности и валидности теста. Не владея элементарными знаниями и методиками классической теории тестов,  создатели неизбежно допускает серьёзные ошибки при их конструировании.  Недостаточное знание понятийно-терминологического аппарата приводит к тому,  что одно понятие употребляется в различных смыслах.  Так,  понятие  «тест»  довольно часто не дифференцируется по отношению к понятию  «тестовое задание»,  а последнее,  в свою очередь, употребляется в смысле «вопрос». 

Тест –  это инструмент,  краткое стандартизованное испытание,  в основе которого лежит специально подготовленный набор заданий,  позволяющих объективно и надёжно оценить исследуемые качества на основе использования статистических методов. 

1.3 Структурные компоненты  и критерии качества теста

Структурными компонентами теста  являются: тестовое задание – задача в тестовой форме,  предназначенная для выполнения,  к которой помимо содержания предъявляются требования тестовой формы и эталон – образец полного и правильного выполнения действия,  служащий для сравнения достигнутого уровня с планируемым. 

Поскольку тестовое задание –  это некоторая  задача,  которую проходится решать испытуемому,  то необходимо усвоить понятие задачи.  Под задачей понимается сформулированное для испытуемого задание по достижению определённой цели в известных условиях раннее изученными методами

деятельности [17, с.78].

При разработке и использовании уже готовых  тестов важно знать, насколько они соответствуют запроектированным целям.  Ответ на этот вопрос дают критерии качества теста,  на основании которых оценивается эффективность любого теста.  Важнейшими из таких показателей являются валидность и надёжность. 

Термин валидность  (англ. valid)  является трудно переводимым понятием и относится к тем категориям,  которые не имеют в русском языке адекватного перевода.  В силу этих обстоятельств «валидность»  трактуется довольно широко,  что зачастую приводит к некорректному использованию термина не только в практике, но и в теории. Причины этого кроются в том, что настоящим термином именуется ряд показателей, которые имеют между собой достаточно условную связь.  Так,  зачастую в отечественных исследованиях термин «валидность» употребляется как «надежность теста» и соотносится с точностью измерений.  В психологии валидность теста выступает в качестве важнейшего критерия его доброкачественности и определяется как адекватность и действенность теста.  В наиболее общей формулировке,  валидность рассматривается как характеристика теста,  указывающая на то,  что тест измеряет и насколько хорошо он это делает.  Исходя из этого,  тест считается валидным,  если он измерят то, для чего он предназначен. Параллельно с вышеуказанными трактовками имеет место и другое определение валидности.  Под последней понимается комплексная  характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним [18, с.31].

В.С. Аванесов [19, с.187] употребляет термин «валидность» как пригодность тестовых результатов для той цели,  ради которой проводилось тестирование. Однако толкует его достаточно широко – это и качество заданий, и их число в тесте, и глубина охвата содержания, и баланс распределения заданий в тесте по степени трудности. 

           По мнению ряда  исследователей,  наиболее адекватен этот термин в русском переводе как  «пригодный».  Так В.М. Кадневский отмечает [20,  с.195]: «Это, пожалуй, более близкий к сути аналог зарубежного термина».

Важно отметить, что термин  «валидность»  связан по многим параметрам с областью исследования и задачами диагностирования.  Как справедливо обращает внимание В.И. Тесленко [21,  с.192]: «Тест нельзя назвать валидным или невалидным без указания сферы его применения». 

Рассматривая  понятие  «валидность»,  необходимо отметить еще на один существенный момент –  относительный характер валидности.  Так А.Н. Майоров [13, с.72] указывает: «В общем виде понятие валидности раскрывает, насколько полученные результаты тестирования соответствуют объективной реальности, а поскольку отсутствует способ точного определения объективной  реальности, то валидность – понятие относительное, так как тесты, как и любой измерительный инструмент,  никогда не являются абсолютно эквивалентными реальному положению вещей.  Соответственно,  валидность устанавливается относительно характеристики, признака, величины, принимаемой (а не истинно являющейся) за объективную».

В современной  тестологии выделяются несколько видов  валидности, однако их толкование,  как и количество в разных исследованиях неоднозначно.  Не считая необходимым приводить характеристики для всех видов валидности, остановимся более подробно на тех,  которые имеют, на наш взгляд, наиболее существенное значение. 

Очевидная валидность – внешнее представление о тесте с точки зрения испытуемого.  Она определяет,  насколько адекватно впечатление о предмете измерения, которое формируется у испытуемого при знакомстве с инструкцией и материалом теста,  тому,  что данный инструмент в действительности выявляет.  Чем более тест выглядит измеряющим то,  для измерения чего он предназначен,  тем выше его очевидная валидность.  Эффективным методом повышения очевидной валидности является привлечение испытуемых к анализу теста,  что позволяет взглянуть на тест глазами тех,  для кого он предназначен.  Очевидная валидность может быть присуща тесту,  а может и не быть. Это зависит от целей исследования. Для большинства тестов очевидная валидность позитивное, либо нейтральное качество, поскольку, как правило, нет оснований скрывать от испытуемых реальные цели тестирования.

Содержательная валидность – основной показатель,  характеризующий степень репрезентативности содержания заданий теста по отношению к измеряемой характеристике. Она определяется на основе экспертных методов. Наибольшее распространение нашли такие способы экспертной оценки,  как метод коллективной оценки,  метод средневзвешенной оценки,  метод ранжирования и метод парного сравнения.  Не считая необходимым на них останавливаться, обратим лишь внимание на то, что в работах А.Н. Майорова [13] и В.И. Тесленко [21] эти методы рассмотрены достаточно подробно. Одним из удобных и широко применяемых на практике способов оценки

содержательной  валидности является метод расчета коэффициента корреляции без привлечения независимых экспертов. Для этой цели в экспериментальной группе проводят тестирование по разработанному тесту,  а затем,  выявленные результаты сравнивают с оценками,  полученными традиционным способом. После чего рассчитывается коэффициент корреляции. Если он составляет 0,9 и более, то валидность теста считается высокой, если же менее 0,7 – низкой. 

Функциональная валидность – показатель теста, близкий к содержательной валидности,  но имеющий свои особенности.  Он характеризует степень соответствия содержания заданий теста по отношению к выявляемому уровню усвоения опыта деятельности.  Задания,  предлагаемые в тесте,  должны быть решены соответствующими определенному уровню способами деятельности и не могут быть выполнены путем использования способов деятельности более низкого уровня. Функциональная валидность может быть присуща тесту только в том случае,  когда при составлении теста заранее планируется уровень его сложности. 

Прогностическая валидность – характеристика теста, отражающая степень точности и обоснованности суждения о диагностируемой переменной.  Для установления прогностической валидности теста изучаются корреляции между данными,  полученными в ходе проведенного исследования и результатами, полученными спустя определённое время.

Критериальная валидность – вид валидности,  направленный на выбор критерия,  по которому можно объективно оценивать результаты работы

испытуемых  с тестами.  Вопрос о выборе критерия является в этом виде валидности основным.  Критерий валидности теста –  это признак его обоснованности,  правомерности его применения как измерительного инструмента. Важнейшей характеристикой критерия валидности считается его объективность, которая состоит в его независимости от субъективных мнений.  Валидизация теста по критерию состоит в сравнении результатов тестирования с данными по критерию и вычислению коэффициента корреляции тестового результата с внешним критерием.  В качестве внешнего критерия обычно используется привычная пятибалльная шкала оценки и традиционные отметки,  выставляемые экспертом без использования теста.  После чего результаты тестирования и оценки экспертов коррелируются.  При получении согласованности между оценками экспертов и результатами тестирования считается, что тест обладает валидностью. Степень согласованности указывает на меру валидности. 

Вторым  критерием качества теста является его надежность, показывающая обеспечивает ли тест как измерительный инструмент объективность

результатов.  Использование ненадежных тестов,  допуск большого количества ошибок в таком ответственном деле,  каким является тестирование людей,  может стать причиной педагогических и административных ошибок,  последствия которых трудно исправить [13,  с.163]. Следовательно,  возникает необходимость более детального рассмотрения этого показателя.

В психологии термин надежность рассматривается  в двух значениях.  Под надёжностью в широком смысле понимается характеристика того,  в какой степени,  выявленные у испытуемых различия по тестовым результатам, являются отражением действительных различий в измеряемых свойствах и в

какой мере они могут быть приписаны случайным  ошибкам. В узком смысле,

под этой группой  показателей подразумевается степень  согласованности результатов теста, получаемых при первичном и повторном его применении, по

отношению к  тем же испытуемым в различные моменты времени с использованием разных  (но сопоставимых по характеру)  наборов тестовых заданий или при иных изменениях условий обследования.

В педагогике под надёжностью понимается характеристика теста, отражающая точность диагностических измерений,  а также устойчивость результатов теста к действию посторонних случайных факторов.  Степень надёжности теста определяется с помощью коэффициента надёжности (коэффициента корреляции – r),  который характеризует устойчивость показателей при повторных измерениях с помощью того же теста или его равноценного варианта. 

В зависимости  от условий,  влияющих на результаты теста,  выделяют

следующие типы характеристик надёжности.

Ретестовая надёжность. Этот показатель определяется путём повторного обследования испытуемых с помощью одного и того же теста через некоторый промежуток времени. Он вычисляется по соответствию результатов первого и второго обследований или по сохранению ранговых мест испытуемых в выборке при ретесте,  т.е.  выявляет характер корреляции между результатами двух проверок.  Коэффициент надёжности соответствует коэффициенту корреляции между полученными результатами. 

На практике ретестовая надежность определяется следующим  образом. Результаты первичного тестирования в порядке возрастания распределяют на шкале тестирования.  Эти данные принимают за истинный показатель. Теоретически это место для каждого участника должно быть постоянным, т.е. повторное тестирование должно дать такое же распределение мест на шкале, как и в первый раз.  В этом случае тест считается абсолютно надежным. Полученные отклонения являются основой для расчета коэффициента надежности.  Величина коэффициента надежности определяется величиной изменения оценок испытуемых на шкале в результате вторичного тестирования по сравнению с первичным.  Следовательно,  чем выше точность измерения первичного и вторичного тестирования,  тем выше надежность теста как измерительного инструмента.  Метод повторного тестирования обладает как достоинствами,  так и недостатками.  К числу достоинств относятся естественность и простота определения коэффициента надежности.  Основным недостатком метода является неопределенность в выборе интервала между двумя тестированиями. Разные исследователи рекомендуют проводить повторное тестирование в интервале от двух недель до шести месяцев.  Кроме того,  при повторном тестировании зачастую очень сложно,  а порой и вовсе невозможно создать идентичные с первым обследованием условия. Это связано с тем, что при всех, казалось бы,  равных условиях,  повторное испытание всегда отличается отпервого.