Методика и организация проведения педагогической (андрогогической) диагностики с использованием информационно-коммуникационных техноло

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис. 1. Схема взаимодействия основных организационных подструктур федеральной системы тестирования

1.2.3. Особенности компьютерных тестовых  заданий

Диагностика характеризуется широким спектром методических подходов. Многообразие этих подходов обусловливает существование различных систем классификации диагностических тестов. Учет специфики диагностических методик позволяет более адекватно выбрать направления и методики их компьютерной реализации.

С позиций формального анализа классификацию целесообразно строить на сравнительно самостоятельных элементах диагностического эксперимента, отражающих его внешнюю сторону. К ним относятся воздействие на испытуемого в ходе эксперимента (стимулы), ответы (отклики) испытуемого на это воздействие и операции с информацией, рожденной реакциями испытуемого на стимулы. Соответственно, основанием для классификации диагностических методик могут служить различные сочетания форм тестовых заданий со способами реагирования испытуемых, дополненные характеристиками процедур обработки экспериментальных данных.

В таблице 1 представлены формы тестовых заданий диагностических методик. В этой таблице все виды стимулов разделены на вербальные и невербальные. В свою очередь, среди вербальных вычленяются стандартизированные и индивидуально-ориентированные стимулы, а невербальные включают в себя статические и динамические стимулы. Вербальные стимулы – это вопросы, утверждения и задания, выраженные словами. Стандартизированные стимулы являются одинаковыми для всех испытуемых, в то время как индивидуально ориентированные подбираются персонально для каждого испытуемого. Невербальные стимулы – это картинки, фигуры, значки, пятна и т.п. Кроме того, невербальные стимулы могут обращаться к сфере не только зрительного восприятия, а и других чувств (слух, осязание, обоняние, вкус). Параметры статических невербальных стимулов постоянны во времени, а у динамических объектов могут изменяться форма, цвет, высота тона звука и т.д.

Характеристика форм тестовых заданий дополняется описанием порядка предъявления стимулов в процессе диагностического эксперимента. Этот порядок может быть фиксированным и переменным. Разновидностью переменного порядка является случайное предъявление стимулов, которое применяется, например, для организации диагностического исследования. Другая разновидность связана с использованием в ряде диагностических методик обратной связи с испытуемым, когда содержание и форма текущего стимульного материала зависят от реакций испытуемого на предыдущие стимулы.

Таблица 1. Виды тестовых заданий

Виды стимулов					Порядок предъявления стимулов
Вербальные			Невербальные		Фиксированный	Переменный
Стандартизированные	Индивидуально ориентированные	Статические		Динамические	Случайный	С обратной связью

Способы ответов испытуемого на тестовые стимулы разделяются на закрытые, открытые и динамическое реагирование через органы управления (таблица 1). При закрытом способе все ответы в совокупности образуют полную группу, или, иными словами, все возможные виды ответов заранее известны. Эти ответы могут осуществляться в форме выбора из «меню ответов» (в зависимости от объема меню различают методики с альтернативным и множественным выбором), с помощью оценивания какого-либо признака по заданной шкале, путем восстановления частей предложений, фигур и т.д., а также посредством переструктурирования данных. Открытые способы предполагают ответы испытуемого на предъявляемые стимулы в свободной форме. При этом могут быть регламентированы лишь самые общие требования к форме ответа (вербальная или невербальная, ориентировочные объем и время). Открытые способы включают в себя ответы в виде дополнения заданного стимула и ответы, в которых полностью допускается свободное конструирование. При динамическом реагировании через органы управления используются перцептивные и моторные способности испытуемого.

Первое требование: каждое задание должно обязательно включать подробную инструкцию по технологии ввода ответа. Данное требование связано с необходимостью учитывать специфику деятельности обучаемого при работе с компьютером. Такой подход обеспечивает устранение большинства ошибок, связанных с особенностями ввода ответа.

Второе требование: соответствие формулировок тестовых заданий возможностям компьютера. Это требование означает, что при проектировании компьютерных тестов обязательно следует учитывать специфику деятельности обучаемого при работе с компьютером, а также вычислительные возможности компьютера. Данное требование отражает более общее положение, сформулированное в работах  Н.Ф. Талызиной, Б.С. Гершунского и др.: “при компьютерном обучении следует самым тщательным образом учитывать единство содержательной и процессуальной сторон обучения. Рассмотрим несколько примеров тестовых заданий, в которых учитываются оба перечисленных требования”.

Прежде всего, отметим, что компьютерные тестовые задания, помимо «классического» вида, могут быть представлены в виде их комбинации. Например, в одном задании может быть как выбор ответа, так и краткий ответ (см. табл. 2).

Таблица 2. Виды ответов на тестовые задания

Закрытые				Открытые		Динамическое реагирование
Выбор	Оценивание по заданной шкале	Восстановление частей	Переструктурирование	Дополнение	Свободное конструирование

 

Работа с компьютером позволяет расширить (по сравнению с бумажной технологией) спектр действий обучаемых. Если традиционно обучаемым предлагается работа с текстом (ввод чисел или букв, проставление галочек или номеров), то в компьютерной технологии добавляется еще перемещение объектов, в качестве которых может выступать слово или число, график, рисунок и т.п.

Третье требование: каждое компьютерное задание (и тест в целом) должны быть вариативными. Данное требование предполагает, что, во-первых, конструируя тестовое задание, следует предусматривать возможность «клонирования» максимального числа заданий, а во-вторых, к заданию (и тесту) должен прилагаться алгоритм, обеспечивающий его видоизменение при каждом предъявлении. Реализация такого подхода позволяет при каждом предъявлении теста генерировать практически неповторяющуюся последовательность заданий, что, с одной стороны, делает каждый тест уникальным, а с другой – обеспечивает объективность измерений.

В таблице 3 представлены основные составляющие предмета компьютерной диагностики.

Таблица 3. Предмет компьютерной диагностики

Автоматизация методик	Новые виды экспериментов	Современные информационные технологии
– инструктаж, ведение протокола, предъявление стимулов, регистрация реакций, расчет и выдача результатов	– адаптивное тестирование, время как фактор эксперимента, виртуальная реальность, игровая мотивация	– базы данных, анализ данных, интеллектуальные системы

В настоящее время, преобладающее большинство разработок относится к автоматизации методик, что выражается, главным образом, в создании компьютерных версии известных диагностических тестов, ранее предназначенных для «ручного» употребления. Переложение на компьютерную основу методик со стандартизированными вербальными и статическими невербальными стимулами, на которые испытуемый дает ответы закрытого типа, не представляет особой сложности. В данном случае компьютер обеспечивает автоматическое предъявление стимулов, регистрацию ответов, ведение протокола эксперимента и выдает результаты в привычной для исследователя форме на экран дисплея или в виде твердой копии.

За счет автоматизации в диагностической практике наблюдается ряд положительных эффектов, которые условно можно назвать количественными:

• быстрое получение результатов;
• эксперт освобождается от трудоемких рутинных операций и может сконцентрироваться на решении сугубо профессиональных задач;
• повышается точность регистрации результатов, и исключаются ошибки обработки исходных данных, неизбежные при ручных методах расчета выходных показателей (например, раньше при ручной обработке MMPI допускалось до 20% ошибок).

Как следствие перечисленных эффектов, автоматизация методик оказывает положительное действие на повышение качества и снижение стоимости диагностического эксперимента. Кроме того, можно отметить положительное влияние автоматизации на общие условия обследования. В частности, возрастает уровень стандартизации этих условий за счет единообразного инструктирования испытуемых и предъявления заданий, не зависящих от пола, возраста, степени привлекательности, настроения и предвзятости, как экспериментатора, так и самого обследуемого. Немаловажной может оказаться конфиденциальность автоматизированного тестирования, позволяющая испытуемому быть более откровенным и естественным во время эксперимента. Также в ряде случаев считается полезной возможность скрыть от испытуемого технологию получения результирующих показателей.

Автоматизация методик имеет и свою оборотную сторону, которую необходимо учитывать. Изменение условий диагностического эксперимента требует проверки компьютерных версий методик на их адекватность традиционному «ручному» аналогу.

В отличие от «количественных» эффектов, которые обеспечивает автоматизация психодиагностического эксперимента, развитие компьютерной диагностики связано с принципиально иными, качественно новыми возможностями, которые открывает применение компьютеров.

1.2.4. Дистанционное тестирование

Технологию дистанционного тестирования можно отнести к классу информационных систем с распределенным управлением.

В зависимости от вида средств, методов и алгоритмов управления все информационные системы (ИС) можно разделить на:

• ИС с централизованным управлением;
• ИС с распределенным управлением.

Для ИС с распределенным управлением характерны следующие признаки:

• территориальная удаленность компонентов системы друг от друга, интенсивный обмен информации между ними, широкий спектр используемых информационных технологий;
• абстрагирование пользователей и владельцев данных от физических структур и места размещения данных;
• использование режимов распределенной обработки данных;
• участие в процессе функционирования ИС большого количества пользователей и персонала;
• одновременный доступ к ресурсам ИС.

Дистанционное тестирование – это новый тип диагностической ситуации, определяемый тестированием в сети Интернет на основе Интернет-технологий, обеспечивающих распределение функций компьютерного тестирования между локальным компьютером пользователя («клиентом») и центральным компьютером разработчика («сервером»). Это новая информационная технология, которая обеспечивает быстрое и широкое распространение качественных тестов, отвечающих международным научным требованиям.

Процедура тестирования с помощью этой технологии выглядит следующим образом: пользователь получает на свой локальный компьютер только тестовые задания, а обработка данных производится на сервере у разработчика.

Технически существуют два варианта тестирования:

1) в режиме  on-line, так называемое «он-лайн тестирование» (с подключением к Интернету) – по сети передается либо гипертекстовая страничка с тестовыми заданиями, либо каждое отдельное задание, а пользователь отвечает на пункты теста, не выходя из сети Интернет. Такая разновидность тестирования требует и соответствующих технических возможностей – наличия оптоволоконных линий;

2) в режиме  off-line (без подключения к Интернету) – пользователь «скачивает» себе на компьютер тестовые задания, выходит из Интернета, отвечает, а затем посылает свой протокол и получает результаты тестирования с помощью электронной почты. Для такой разновидности тестирования достаточно связи по телефонным сетям (через модемы).

Одна из первых отечественных разработок – созданная в 1997 году Интернет-технология «Телетестинг». В этой системе используется комбинированный подход: проведение теста в режиме off-line, а получение теста и обработка результатов – в режиме on-line. Первоначально система использовалась для тестирования знаний и проведения олимпиад. Позднее система стала использоваться для психолого-педагогического тестирования. Как отмечает А.Г. Шмелев, данная технология позволяет решать задачу получения репрезентативных норм на общенациональной выборке с невиданной ранее скоростью.

Дальнейшие работы в области Интернет-технологий позволили в 1999 году впервые внедрить автоматическую обработку данных в режиме двухсторонних FTP-сеансов связи. Означает это следующее: на FTP-сервере для каждого регионального центра создавался отдельный каталог с личным паролем доступа, и после появления в этом каталоге файла с исходными протоколами (ответами на пункты теста) специализированная программа на сервере немедленно обрабатывала все присланные протоколы и создавала в этом же каталоге файл-таблицу с результатами, которую пользователь мог немедленно забрать на свой компьютер – в ходе одного двухстороннего сеанса подключения в режиме FTP.