Використання комп’ютерних систем тестування в навчанні студентів вищих навчальних закладів

Системи першого  типа сформувалися історично разом  з іншими елементами системи освіти і на сьогодні не витримують жодної критики, оскільки мають безліч недоліків: неможливість автоматичної обробки результатів тестування, велика кількість рутинної роботи, що полягає на викладача при такій організації тестування, дуже мала швидкість обробки результатів і головний недолік – необ’єктивність оцінок тестування, їх умовний приблизний характер. У сьогоднішніх умовах стрімкого зростання інформаційних технологій неавтоматизовані системи тестування знань виглядають архаїчно. Тому дуже актуальним завданням є автоматизація процесу тестувань шляхом використання комп’ютерних систем тестування знань.

Під комп’ютерною системою тестування знань (КСТЗ) надалі будемо розуміти інформаційну систему для автоматичного проведення тестування у режимі діалогу між особою, яка проходить тестування і комп’ютером з можливістю подальшого автоматичного підрахунку результатів тестування цієї особи і одержанням зведених даних за різними критеріями за усіма особами, які проходять тестування.

У багатьох країнах  проводиться велика робота з метою  розширення сфери застосування комп’ютерного  тестування у навчальних закладах. Наприклад, у США кілька штатів у  США запровадили або планують розробити та запровадити комп’ютерне тестування у відгук на вимоги федерального уряду щодо тестування з метою оцінки результативності роботи навчальних закладів та викладачів.

Потенційні  переваги КСТЗ очевидні, оскільки вони дозволяють:

1. формувати свій тест для кожної особи, яка проходить тестування, шляхом випадкового відбору питань з банку питань, завдяки чому вона одержує індивідуальне завдання, що не збігається із завданнями інших осіб;

2. зменшити витрати  грошей і часу на організацію і проведення тестування (особливо це актуально під час проведення тестування у досить великих масштабах, коли тестування вимагає наявності значної кількості людей, зберігання та друку тестів, організації їх зберігання, сканування результатів тестування і та ін.);

3. дають можливість  студенту самостійно оцінити  рівень своїх знань, а викладачу  – систематизувати і спростити  процес оцінки якості знань  осіб, які проходять тестування;

4. звільнити  викладача від рутинної роботи  під час проведенні іспитів  і проміжному контролю знань;

5. автоматизувати  оброблення результатів, що дозволяє, по-перше, забезпечити об’єктивність контролю знань, і, по-друге, значно підвищити оперативність одержання оцінок за результатами тестування;

6. значно підвищити  гнучкість контролю знань шляхом використання гнучкого графіку проведення тестування (навіть індивідуального);

7. підвищити  якість аналізу проходження навчального  процесу і взагалі надати всебічний аналіз результатів тестування, включаючи навіть хронологічні дані щодо тестування;

8. централізовано  здійснювати аналіз якості підготовки  великого числа питань, що тестуються  за широким кодом (це дозволяє  визначити розділи, що є найскладнішими  у вивченні, і коригувати процес  навчання залежно від результатів  тестуванню);

9. використовувати в тестах мультимедійні технології, що, в свою чергу, дозволяє створювати типи тестових завдань, які принципово неможливі під час проходження тестів у письмовій формі (наприклад, використання технологій перетягування «drop-and-drag» для операцій з графічними зображеннями);

10. підвищити  рівень інформаційної безпеки  тестових завдань. 

Слід зауважити, що ці переваги стосуються в першу  чергу «традиційного» навчального процесу, оскільки при використанні дистанційних технологій КСТЗ взагалі стають основним засобом контролю.

Разом із тим  застосування комп’ютерного тестування має певні труднощі та недоліки, головним з яких, є те, що складання тестових завдань потребує від їх розробника певної кваліфікації. Складання тестових завдань має базуватися на сучасних технологіях педагогічних вимірів, які вимагають від розробників не тільки високої кваліфікації у педагогіці і у предметній області, але і знань спеціальної теорії тестування, яка оперує поняттями надійність, валідність, матриця покриття і т.д., специфічних саме для комп’ютерних тестів.

Складений тест має бути проаналізований, для чого існують спеціальні методики якості тестів, розраховуються певні статистичні  показники. Зокрема, розрахунок таких показників можна здійснити в Moodle. Ця система містить також потужну довідку відносно методики їх розрахунків. Більше того, існують також певні вимоги для окремих тестових завдань, які призначені саме для того, щоб визначити чи слід включати його до складу тесту. Для цього, наприклад, використовуються статистичні пакети RUMM-2020 і WINSTEPS, метою яких, зокрема, є поглиблений аналіз формальних властивостей тестових завдань.

 мето1.2 Форми та принципи побудови тестових завдань

        Для створення повноцінного комп’ютерного варіанту тесту необхідно знати форми тестових завдань. Практика наочно демонструє, що тест повинен містити різні форми тестових завдань, що дозволить, зокрема, знизити ймовірність втоми, яка зумовлюється одноманітністю подання інформації.

Розрізняють дві  форми (формати) подання тестових завдань:

1. Завдання відкритої  форми. За цим варіантом особа,  яка проходить тестування, формує  відповідь самостійно.

2. Завдання закритої  форми. Такі завдання передбачають  наявність кількох заздалегідь  визначених відповідей, з яких  особа, яка проходить тестування, вибирає одну або кілька правильних.

Тестові завдання відкритої форми

Завдання закритої форми є найбільш поширеними в  КСТЗ. Розробники багатьох систем тестування взагалі ототожнюють тестування саме з цим типом тестових завдань, що, звичайно, неправильно. Для завдань закритої форми існує досить висока вірогідність вгадування правильної відповіді. На це прибічники такої форми посилаються на розрахунки, які показують, що ця

вірогідність  для випадку, коли є вже п’ять можливих відповідей є достатньо низькою. Адже тестування проходять особи, які практично завжди є певною мірою підготовленими (інколи відвідували лекції або семінари, щось читали, про щось чули), тому імовірність вгадування значно підвищується, оскільки

найбільш неправдоподібні  відповіді будуть відразу відкинути.

В Інтернеті  можна відшукати багато досліджень, метою яких ставилось порівняння ефективності завдань відкритої  та закритої форми. Численні дослідження  свідчать про перевагу при тестуванні завдань відкритої форми над  завданнями закритої форми. Разом із тим, звичайно, різноманітні тестові завдання закритої форми мають право на існування. Тестові завдання відкритої форми Завдання такої форми ще називають завданнями з вільною

відповіддю  або краткою формою відповіді (англійською  – Short Answer questions). Для них відсутні заздалегідь визначені варіанти відповіді: особа, яка тестується, формує відповідь самостійно, доповнюючи питання. Ця форма завдання використовуються для виявлення знань термінів, визначень, понять, імен, дат тощо. За змістом тестове завдання відкритої форми є твердженням з невідомою змінною.

Приклади тестових завдань відкритої форми 

1. Слово «Інформатика»  містить … байтів.

2. Яку клавішу  за замовчуванням прийнято використовувати для виклику довідки у програмних засобах?

3. Шаблон для  відбору всіх файлів з розширенням  TXT має вигляд:…

Окремим випадком тестового завдання відкритої форми  є завдання на заповнення пропущених слів у тексті (Missing Word question) або, відповідно,літер у словах. Деякі КСТЗ мають у своєму складі інструменти для створення таких тестових завдань, оскільки форма їх подання відрізняється від форми подання «звичайних» тестових завдань відкритої форми. Наприклад, Hot Potatoes має для цього модуль JCloze (до речі, англійською такого роду тестові завдання як раз і називають «Close»).

Вимоги до тестового  завдання відкритої форми 

1. Кожне завдання  має бути націлене на одне  доповнення (відповідь).

2. Доповнення  слід розташувати наприкінці  запитання, оскільки вважається, що чим ближче до кінця запитання воно розташоване, тим краще сприймається сутність завдання.

3. У разі необхідності  після доповнення вказується одиниця виміру.

Тестові завдання закритої форми

Існує кілька різновидів тестових завдань закритої форми.

Найбільш популярними  та вживаними серед них є завдання з множинним вибором (англійською – Multiply Choice questions, MCQ), які передбачають наявність заздалегідь складених варіантів відповідей. Тестові завдання з множинним вибором містять три компоненти:

1. запитальна (змістовна)  частина; 

2. перелік відповідей;

3. інструкція  з виконання. 

Альтернативне тестове завдання (True or False questions)

Це найбільш простий тип тестових завдань  з множинним вибором. Він передбачає відповідь на одне з двох запропонованих питань, альтернативних (протилежних) за змістом на зразок «Так» – «Ні», «Правильно» – «Неправильно».

Приклад. Чи є  у текстовому редакторі Write можливість створення «фігурних» текстів, наприклад, викривленого тексту?

Відповіді:

1. Так. 

2. Ні.

Для таких тестових завдань дуже висока ймовірність звичайного вгадування, тому їх слід використовувати у крайніх випадках для «грубого», приблизного оцінювання рівня знань. Багато фахівців взагалі пропонують не використовувати такі тестові завдання.

Тестове завдання з простим множинним вибором (Simply

Choice questions) . Завдання такого типу використовуються під час перевірки

вміння правильного  відтворення знань. Вони передбачають наявність кількох відповідей на запитання, з яких тільки одна є правильною. Існують різні

думки відносно кількості можливих відповідей. Дехто рекомендує обмежувати їх трьома, але, на нашу думку, їх кількість повинна становити не менше чотирьох, а – ще краще – п’яті відповідей. Водночас, на нашу думку, і максимальну кількість можливих відповідей доцільно встановлювати на

рівні п’яті, оскільки більша кількість зменшує візуальне  сприйняття відповідей завдання.

Приклади тестових завдань з простим множинним  вибором 

Яке наведене нижче  визначення є помилковим?

Відповіді:

1. Мікропроцесор  виконує в персональному комп’ютері

всі арифметичні  та логічні операції.

2. Сканер використовується  для зчитування в комп’ютер 

графічної та текстової  інформації.

3. Оперативна  пам’ять використовується для  тривалого 

зберігання  великих обсягів інформації.

4. Системна шина  використовується для обміну даними

між центральними і периферійними пристроями.

До якої групи  програм належить операційна система UNIX?

Відповіді:

1. Інструментальні  (системи програмування).

2. Прикладні  програми загального призначення. 

3. Системні програми.

4. Інтегровані  пакети.

5. Сервісні програми.

Тестові завдання такого типу є проміжними між альтернативними текстовими завданнями та тестовими завданнями із складним множинним вибором.

Завдання такого типу широко використовуються під час  формування тестів. Але їх властивістю є досить висока ймовірність вгадування правильної відповіді. Наприклад, за наявності чотирьох відповідей, ймовірність вгадування становить 25 %, що вже казати про альтернативні тестові завдання, де така ймовірність взагалі становить 50 %! Тому фахівці з

тестування  наполягають на використанні за можливістю тестових завдань із складним множинним  вибором.

Тестове завдання із складним множинним вибором (Multiply

Choice questions, MCQ)

Завдання такого типу використовують під час перевірки вміння вільно орієнтуватися у групі схожих понять, явищ, процесів тощо. Вони передбачають наявність кількох можливих відповідей на контрольне запитання, кілька з яких у свою чергу є правильними. Повертаючись до питання вгадування правильної відповіді варто процитувати відомого фахівця з тестування В. Аванесова. У статті «Застосування тестових форм у e-Learning» він пише: «Повністю відповіді на завдання з вибором кількох

правильних  відповідей практично не можна вгадати. Наприклад, при чотирьох правильних відповідях з дванадцяти вірогідність вгадати саме чотири необхідні відповіді менше однією тисячною. Окрім практичної неможливості вгадування правильних відповідей, підвищення трудності і технологічності, завдання з вибором кількох правильних відповідей дозволяють перевірити знання повніше, глибше і точніше. За відповіді на

подібні завдання випробовувані можуть отримати від  нуля до двох, а іноді і три  бали, що підвищує варіацію початкових тестових балів і, як наслідок, підвищує точність педагогічного виміру знань студентів.»