Delist.ru

Программно-инструментальные средства автоматизации разработки тестовых заданий в системе переподготовки персонала промышленных предприятий (06.03.2009)

Автор: Пеньков Владимир Михайлович

В основном в системах тестового контроля считается два варианта интерпретации ответа на задание – решено, не решено. В работе предлагается методика формирования количественной оценки корректности решения тестового задания.

Пусть V – множество компонентов ответа, V((, Vs –подмножество компонентов, выбранных обучаемым, Vs(V; Vr – подмножество компонентов, соответствующих верному результату Vr(V; Vа – подмножество компонентов, бессмысленных в контексте УТЗ. Подмножества Vr и Vа будут выделяться при конструировании УТЗ. В такой постановке правила оценивания определяют следующие варианты интерпретации:

если Vs=Vr, то ответ верный;

если Vs(Vr ( Vs((, то ответ неточный или неполный;

если (Vs\ Vr(( ( Vs\ Va=()((Vs=( ( Vr((), то ответ ошибочный;

если Vs(Va((, то ответ абсурдный.

Наборы оценок для разных УТЗ могут отличаться по полноте. Обязательными их элементами являются оценки верного и ошибочного результатов.

Дифференцирование решения УТЗ по сложности позволит увеличить дискретизацию этой шкалы, что будет выражено в интегральной рейтинговой оценке.

Так, естественное расширение закрытой формы – множественный выбор. Пусть: A={Am}m=1..M – множество альтернативных вариантов ответов; ZA={ZAm}m=1..M, ZAm({0,1} – вектор правильного выбора (1 – альтернатива входит в выбор, 0 - нет); TA={TAm}m=1..M, TAm({0,1} – вектор выбора тестируемого (1 – альтернатива выбрана, 0 - нет). В качестве расхождения предлагается использовать обычную равномерную метрику, но нормированную по количеству альтернатив:

Для заданий на соответствие и установление правильной последовательности (по оценке правильности они идентичны) введена другая мера. Левая часть задания определяет первоначальную перестановку (без ограничения общности ее можно считать возрастающей) A={Am}m=1..M – также множество альтернативных вариантов ответов; ZA={ZAm}m=1..M, ZAm({1…M} –правильная перестановка; TA={TAm}m=1..M, TAm({1…M} – перестановка тестируемого. В данном случае процент правильности предлагается определять на основании:

Логическое условие <…=…> принимает значение 1 при равенстве аргументов и 0 в противном случае.

????олном соответствии ответа, 0 – при полном расхождении. Промежуточные значения определяют процент правильности решения тестового задания. Аналогично задаются меры различия для заданий на кластеризацию объектов и др.

Дифференциация оценочной шкалы ответа на УТЗ

) При разделении шкалы [0, 1] на четыре области, каждому ответу можно приписать одну из четырех оценок: верный - 1, неточный – 0,8, ошибочный 0,5 и абсурдный - 0.

Такой подход к оценке результатов ответа на УТЗ предлагается использовать и для расширения модели адаптивного тестового контроля, где сложность следующего задания выбирается на основании решения предыдущего. Так, неточный ответ на УТЗ определенной сложности можно рассматривать как решение УТЗ пониженной сложности.

Расчет процента правильности решения с учетом дифференцированной шкалы ответа на УТЗ предлагается вычислять

где R определяет балл в шкале [0, 1] по ответу на тестовое задание, что по IRT-модели просто снижает уровень сложности задания.

 Разработка инструментальной среды конструирования тестовых заданий

В третьей главе на основании построенных моделей формируются принципы конструирования УТЗ в программно-инструментальной среде.

Для такого вида тестовых форм в работе предлагается технология формирования ответов в виде перетаскивания альтернатив, что является максимально адаптированным вариантом для переподготавливаемого контингента.

Первичным при формировании теста, является конструирование тестового задания. В работе предлагается формализованное описание методики конструирования тестовых заданий с использованием разработанного конструктора тестовых заданий, который имеет следующие функциональные компоненты:

графический редактор формирования структуры задания;

формирование схемы разбора ответа;

параметризация выполнения задания;

подсистема генерации тестового задания (JAVA).

Функции графического редактора используются для создания графического образа с интерактивными полями.

G={Gi}i=1..I – множество неактивных графических образов (картинка, формула и т.п. все что делается в других инструментальных средствах, текст, линия, стрелка и т.п., непосредственные функциональные возможности рисования в конструкторе);

V={Vj}j=1..J – множество полей ввода для заданий открытого типа;

Z={Zn}n=1..N – множество полей захвата;

A={Am}m=1..M – множество альтернативных вариантов ответов.

Формирование схемы разбора правильности ответа вводит понятия позиций, которые связаны с множествами Z и A. Обозначим – PZ и PA. Множество действий D.

D1 - - перетаскивание поля альтернативы;

D2 - - изменение положения альтернативы;

D3 -<( VAi> - ввод текста;

D4 - - подтверждение завершения задания.

Введенные формализации позволяют представить все известные типы тестовых заданий, а также их расширения.

{D1(D2(D4}. Альтернативы - m*({1..M}.

Открытый тип – G={Gi}i=1..J , V=V1 - единственное поле ввода, D={D3, D4}. Альтернативы - <строка символов>

{D1(D2(D4}. Альтернативы – перестановка на {1..M} – соответствие альтернатив полям захвата.

{D1(D2(D4}. Альтернативы – упорядоченная последовательность из {1..M} длины N – соответствие альтернатив полям захвата.

загрузка...