В качестве меры различия между переменными «уровень знаний» и «сложность задания» принята разность zi=(-(i, где (i - текущая сложность задачи. При этом считается, что ( неизменно, но неизвестно, а ( известно и управляемо.

Диаграмма переходов марковской цепи

, получены выражения для стационарных вероятностей марковской цепи:

Стационарные распределения вероятностей марковской цепи

) выражения плотности стационарных вероятностей принимают вид:

В обоих случаях плотности являются монотонными преобразованиями, т.е. большим значениям «уровень знаний» соответствуют большие значения плотности распределения «сложности заданий».

Таким образом, предположение существования функции «уровня знаний» Y в рамках предложенной схемы приводит к существованию аналитических зависимостей между «уровнем знаний» и «сложностью задания» через стационарное распределение предложенной марковской цепи, а в частных случаях стационарные вероятности полностью повторяют функцию «уровня знаний».

 Вероятности ошибочных классификаций

приведены вероятности безошибочной классификации для каждого значения уровня знаний в семибальной шкале.

Сравнительный анализ статического и адаптивного алгоритма

План 1 2 3 4 5 6 7

Статический 0,822 0,700 0,775 0,636 0,757 0,686 0,829

Адаптивный 0,906 0,821 0,818 0,803 0,813 0,804 0,910

Из таблицы видно, что вероятность правильной классификации для адаптивного алгоритма выше при всех значениях «уровня знаний». Поведены эксперименты для различного количества уровней шкалы и различного количества предъявляемых заданий. Показан существенный выигрыш адаптивных алгоритмов для большего количества уровней.

Матрица ошибочных классификаций

Класс 1 2 3 4 5 6 7

1 0,822 0,155 0,002 0,000 0,000 0,000 0,000

2 0,176 0,700 0,125 0,000 0,000 0,000 0,000

3 0,002 0,145 0,775 0,185 0,002 0,000 0,000

4 0,000 0,000 0,097 0,636 0,100 0,000 0,000

5 0,000 0,000 0,001 0,179 0,757 0,152 0,002

6 0,000 0,000 0,000 0,000 0,139 0,686 0,169

7 0,000 0,000 0,000 0,000 0,002 0,162 0,829

Как видно из таблицы равномерное распределение задач по сложности приводит к тому, что для тестируемых среднего уровня вероятность достаточно велика и достигает 0,34. Для сильных и слабых аттестуемых классификация в данном случае более точная.

Графическое представление результатов вероятностей ошибочных классификаций

). Оценка математического ожидания для всех планов является практически несмещенной. Это может объясняться равномерностью всех частот и формой логистической кривой.

Разработанные модели и формы визуализации результатов позволяют методисту настроить параметры теста, а именно длину и последовательность заданий каждой направленности, механизм чередования направленности и другие параметры для достижения заданной точности оценки с точки зрения ошибочной классификации. Эти модельные компоненты являются составными частями системы конструирования тестов.

 Имитационные эксперименты по оценке сходимости процедур оценивания уровня знаний

В модели варьируется истинный уровень знаний, длина последовательности заданий, начальная сложность тестового задания и др. Параметр ( определяет порог вероятности ответа, для которого подбирается уровень знаний.

Рекуррентная схема предъявления тестовых заданий

приведены примеры последовательностей предъявляемых тестовых заданий.

Примеры сходящихся последовательностей

Из графиков видно, что уже после 10-го задания сложность приближается к истинному уровню знаний (=4. Шаг приращения выбирается в соответствии с условиями, обеспечивающими сходимость алгоритмов стохастической аппроксимации.

Алгоритмы с постоянным шагом не дают сходимости по вероятности, однако он дают хорошее распределение начального значения сложности, что позволяет повысить общую скорость сходимости алгоритма стохастической аппроксимации.

Анализ сходимости алгоритмов проводился путем повторных выборочных реализаций с последующим их усреднением. Для различных комбинаций параметров алгоритма проведены эксперименты, которые показали достаточно быструю сходимость.

Сходимость стохастической аппроксимации

приведен график среднего с 80% доверительным интервалом. Из графика видно, что уже после 10-15 заданий сложность практически совпадает с истинным уровнем знаний.

 Программная реализация адаптивной системы тестового контроля

В четвертой главе диссертации рассматриваются вопросы построения программного комплекса автоматизации и моделирования процесса аттестации персонала. Разработана структура базы данных, интегрирующая тестовые задания, методические материалы и результаты выполнения каждого задания каждым аттестуемым. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

Подсистема «Конструктора тестов» включает «Конструктор тестовых заданий», предназначенный для создания тестовых заданий различных форм. К числу таких форм относятся «закрытая», «открытая», «на соответствие», «на упорядочение» и смешанных типов (как комбинации указанных форм). Настройка режима выполнения каждого тестового задания реализована в среде «Конструктор тестов», где также указывается тип алгоритма предъявления тестовых заданий из выбранного списка.