Этапы конструирования теста

Этапы конструирования  теста   

Так как тестовый инструментарий в педагогике используется достаточно широко, то технология разработки и  использования теста может быть несколько различной, но в ней  все же можно выделить основные этапы:

1. Этап целеполагания.

Разработка теста начинается с формулирования его цели, то есть определения того, что тест должен измерять. Должны быть четко и  однозначно описаны все знания, умения и навыки, владение которыми проверяется с помощью теста, т.е. необходимо четкое описание области содержания теста. Определяется вид теста, ресурсные возможности, круг привлекаемых специалистов и пр.

2. Подготовительный этап (спецификация).

Анализируется и отбирается содержание проверяемого материала. Готовится структура работы, определяется тип и количество заданий, время проверки, система оценивания, условия проведения и проверки, рекомендации по подготовке к тестированию.

Спецификация теста представляет собой набор описательных схем, которые позволяют установить соответствие между тестовыми заданиями и областью содержания теста. Она обеспечивает репрезентативность заданий по отношению к области содержания. Спецификация представляет собой, по сути, правила, по которым должны разрабатываться задания. При разработке спецификации необходимо стремиться сделать эти привила настолько четкими, чтобы их можно было использовать как алгоритмы.

Спецификация является основным нормативным документом теста и  выполняет следующие основные функции:

– дает разработчикам заданий  правила, по которым можно конструировать задания;

– позволяет экспертам  оценивать имеющиеся задания  на предмет их соответствия области  содержания теста и выбраковывать  неудачные задания;

– помогает интерпретировать результаты тестирования, так как  в ней ясно и конкретно объясняется, что измеряет тест;

– дает учащемуся (пользователю теста) четкое представление об измеряемых знаниях, умениях и навыках.

Основная проблема при  написании спецификации состоит  в обратном соотношении между широтой области содержания теста и четкостью спецификации. Если выбирается очень узкая область содержания, то довольно просто создать спецификацию, которая была бы краткой и в то же время четко задавала бы правила для написания заданий. Однако тесты с узкой областью содержания имеют ограниченное применение.

Ниже предлагается возможная  схема составления спецификации:

- пример инструкции и  тестового задания. Здесь дается  представление о том, как выглядит тест, и какая форма заданий в нем используется.

- характеристика формы  заданий. В этом разделе указывается какие формы заданий используются в тесте.

- характеристика содержания  заданий. Указывается содержание, которое может и должно входить в тестовые задания. Подробно описываются все аспекты содержания, представляющиеся существенными при разработке заданий, в том числе обычно указывается, какое смежное содержание не должно входить в тест.

- характеристика ответов.  Содержание этого раздела зависит  от выбора формы задания. Для заданий закрытой формы даются правила, по которым формулируются правильные ответы и варианты неправильных ответов. Для заданий открытой формы даются, если это необходимо, критерии для оценки ответа испытуемого как правильного. Для заданий на установление соответствия и на установление правильной последовательности данный раздел может не заполняться. Если выполнение заданий оценивается более сложным способом, чем присвоение баллов 0 или 1, то этот способ также указывается в данном разделе.

 

3. Этап составления плана теста.

После составления спецификации разрабатывается план теста. Если, например, тест состоит из четырех разделов, то вначале делается примерная раскладка необходимого числа заданий на каждый раздел, исходя из общего предельного числа, обычно не превышающий 30-60 коротких заданий разного уровня сложности. Число заданий, выделяемых на каждый раздел, зависит от его важности в изучении дисциплины (см. пример табл. 1).

Таблица 1.

Пример раскладки заданий

Разделы учебной дисциплины	Количество заданий	% к общему числу заданий
I	12	20
II	18	30
III	24	40
IV	6	10
Итого	60	100

 

После разбивки заданий разрабатывается  перечень задач, которые ставятся перед тестированием, например: А – умение давать определения; Б – знание законов, принципов, правил; В – умение применять их для решения предложенных примеров; Г – умение находить сходство и различия; Д – умение представлять материал в различных презентабельных формах. Если на проверку умения А отвести, к примеру 10% всех заданий, Б и В – 30%, Г – 20% и Д – 10%, то общая раскладка числа заданий для рассмотренного примера принимает вид, представленный в таблице 2.

Таблица 2

 Общая раскладка числа заданий

Умения и % заданий по их проверке	Номера разделов, процент  и число заданий				Номера разделов, процент и число заданий
	I - 20%	II - 30%	III - 40%	IV - 10%
А – 10%	1	2	2	1	6
Б – 30%	4	5	7	1	17
В – 30%	4	5	7	2	18
Г – 20%	2	4	5	1	12
Д – 10%	1	2	3	1
Итого заданий	12	18	24	6	50

 

4. Этап составления теста  (разрабатываются тестовые задания, проходит экспертиза и доработка заданий, стандартизируется  и нормируется тест).

При составлении заданий  теста следует соблюдать ряд  правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения определенными учебными дисциплинами или их разделами.

Правила для разработки тестовых заданий:

– необходимо проанализировать содержание заданий с позиции  равной представленности в тесте разных учебных тем, понятий, правил, действий и т.д. Тест не должен быть перегружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если в тест включены точные формулировки из учебника или фрагменты из него;

– задания теста должны быть сформулированы четко, кратко и  не двусмысленно, чтобы все учащиеся однозначно понимали смысл того, что у них спрашивается. Важно проследить, чтобы ни одно задание теста немогло служить подсказкой для ответа на другое;

– варианты ответов на каждое задание должны подбираться таким  образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа. Важно выбирать и наиболее приемлемую форму ответов на задания;

– учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы. Например, удобна альтернативная форма ответов, когда  учащийся должен подчеркнуть одно из перечисленных решений "да - нет", "верно -неверно". Часто в задании делаются пропуски, которые должен заполнить испытуемый, или же выбирать из представленного набора ответов верный. Обычно навыбор предлагаются 4-5 вариантов ответа.

Вместе с этим педагогический тест должен удовлетворять всем необходимым критериям, обладать высокой надежностью и удовлетворительной валидностью. Данный этап разработки теста включает в себя как само написание заданий, так и их анализ экспертными методами для выявления наилучших и выбраковки неудачных.

Выделяют две группы методов  анализа заданий: экспертные и математические. Математические методы применяются после проведения тестирования на основании полученного эмпирического материала, поэтому о них речь пойдет ниже. Сразу же после написания заданий их анализ проводится экспертными методами, которые позволяют оценить, в какой степени задания соответствуют по содержанию предмету измерения, т.е. действительно ли задания позволяют измерить именно те знания,умения и навыки, для которых разрабатывается тест. С другой стороны, экспертные методы анализа позволяют оценить задания с точки зрения их формы. В основе экспертных методов лежит соотнесение содержания и формы заданий с требованиями, изложенными в спецификации.

Приведем наиболее простую  и в то же время достаточно эффективную  процедуру анализа заданий с  помощью экспертных методов. Как  следует из названия, оценка заданий проводится экспертами. Чем больше количество экспертов, тем точнее оценка. На практике, если не предполагается очень широкое использование теста, вполне достаточно 4-5, в крайнем случае, 2-3 экспертов. В качестве экспертов должны выступать опытные преподаватели дисциплины, для которой разрабатывается тест. В предлагаемой процедуре в работе экспертов слиты воедино разработка заданий и их анализ.

Работа экспертов начинается с внимательного ознакомления со спецификацией теста. После этого эксперты приступают к разработке заданий на основе спецификации. Каждый должен написать столько заданий, сколько предполагается включить в тест. Таким образом, исходное количество заданий оказывается как минимум на 30% больше нужного, что дает возможность выбраковывать неудачные задания или создавать несколько вариантов теста, называемых тестовыми формами. При этом каждый эксперт отбирает задания по степени их трудности и различающей способности для включения в один из трех разделов теста – задания для слабых, хороших и сильных учащихся. После этого каждому эксперту даются задания, разработанные другими экспертами. Он их оценивает на предмет соответствия требованиям спецификации, ГОС и программе изучения дисциплины, а также включения в один из трех разделов теста. Задания, к которым не высказал замечаний ни один из экспертов, могут включаться в тест. Остальные задания нужно или улучшить путем переформулирования, или совсем исключить из дальнейшей работы.

После разработки и проведения экспертного анализа заданий  получается первый вариант теста. Как  правило, этот вариант бывает еще  очень несовершенным. Чтобы повысить его качество, используется математический метод. Для применения этого метода нужен эмпирический материал – результаты реальной проверки (апробации) теста в группах, которое называют пилотажным тестированием. После пилотажного тестирования осуществляется анализ тестовых заданий с использованием математических методов. Только после этого окончательно решается вопрос о включении того или иного задания в состав теста.

5. Этап проведения теста.

Отслеживается проведение теста.

6. Этап анализа полученных результатов.

Обработка результатов, получение  статистических данных для анализа  и анализ результатов. Подготовка итогового  отчета.