Delist.ru

Автоматизация и адаптивное управление аттестацией персонала промышленных предприятий (23.01.2009)

Автор: Саакян Игорь Эдуардович

Во второй главе диссертации разработана методика автоматизации формирования тестов, основанная на формализованном представлении задания с возможностью определения алгоритмической структуры механизмов предъявления и механизмов связывания гомогенных тестов в гетерогенный.

 Модели связности тестовых заданий и учебного материала

Все категории пользователей и компонентов системы определяются по их отношению к учебным материалам (U), которые определяют совокупность неделимых единиц учебной информации, и тестовым заданиям (T). Основной целью формирования теста является не только оценка тестируемого по различным направлениям, но и автоматизация формирования индивидуального учебного плана, который представляет отношение (O(U), т.е. представления обучаемому (O) определенных учебных материалов. U(T – представляет таблицу множественной связи между модулями и тестовыми заданиями. Формирование и редактирование таблицы осуществляется только методистом.

Отношение связности тестовых заданий и модулей

, дуги которого взвешены числовой оценкой принадлежности на отрезке [0, 1].

Начальный вариант анализа тестового контроля предполагает оценку правильности решения тестовых заданий. С одной стороны эта оценка может быть определена как «да-нет» и определяться либо как 0 либо как 1.

Пусть X - вектор множества модулей:

где каждая компонента Xi вектора определяет привязку соответствующего тестового задания к модулю. В двухуровневых факторных экспериментах (полных и дробных) определяется только принадлежность задания, т.е. Xi = 1 - задание имеет отношение к

i-ому модулю и Xi = 0 – в противном случае.

В качестве оцениваемого функционала берется вероятность правильного ответа на задание конкретной направленности (она определяется содержательной стороной модуля), поэтому каждый тестируемый определяется вектором: P=(P1, P2, ... , Pn), где каждая компонента вектора определяет вероятность решения задач соответствующей направленности. Задача, поставленная в диссертации, предполагает расчет сразу всех компонент вектора.

, что соответствует схеме независимых испытаний. В этом случае невозможно использовать предположение линейности функционалов в факторных планах, однако логарифмированием можно линеаризовать функционал и в результате такого преобразования получить классическую линейную модель факторного плана:

где в качестве оцениваемых параметров регрессии выступают lnPi . При моделировании множества тестовых заданий, составляющих тест, формируется матрица плана теста F=||xi,j||, где xij определяет наличие j-ой направленности в i-ом тестовом задании.

Критерии оптимальности тестов в диссертации строятся на основе минимизации дисперсионной матрицы D(F) оценок вероятностей ответов в IRT модели на задания различной направленности. В силу неоднозначности решения задачи используются функциональные преобразования D(F) имеющие статистический смысл и обладающие свойствами монотонности, однородности и выпуклости. Поэтому рассматривается задача минимизации функционала (, заданного на множестве дисперсионных матриц плана, т.е. задача поиска матрицы плана теста:

В диссертации разработаны методики оптимизации гетерогенных тестов, основанные на следующих функциональных преобразованиях: D-оптимальный тест - ((F)=detD(F); обобщенно D-оптимальный - ((F)=det(ATD(F)A), A - матрица полного ранга; L-оптимальный - ((F)=trLD(F), L - фиксированная неотрицательно определенная матрица.

 Параметризация тестового задания

В общем случае тест представляет собой алгоритмическую структуру не только тестовых заданий, но и информационных фрагментов методической поддержки, которые представляются следующим образом:

где ti - тип фрагмента (учебный, тестовый, «выбор»); di - уровень сложности; ai - уровень доступа к фрагменту; ?i - операция сравнения уровня доступа пользователя и уровня доступа фрагмента (?, <, ?, =, ?, >); si - время принудительного окончания предъявления; ri - подмножество признаков, связанных с данным фрагментом:

где rpr - признак запрета перехода от данного фрагмента к предыдущему в последовательности; rnx - признак запрета перехода от данного фрагмента к следующему в последовательности; rbk - признак запрета отката на один шаг назад по треку предъявления фрагментов; rri - признак запрета возможности произвольного доступа к данному фрагменту; rro - признак запрета возможности перехода от данного фрагмента к другому произвольному фрагменту; rrp - признак запрета повторного предъявления фрагмента; rps - признак запрета приостановки предъявления фрагмента; rst - признак запрета остановки предъявления фрагмента; rcp - признак запрета отображения названия фрагмента; rti - признак запрета отображения индикатора времени проигрывания фрагмента.

), прописанной в файле Access, имеющем расширение sdd (sdd-файл). Таким образом, одним из вариантов механизма формирования тестов является конструирование sdd-файла, который представляет структуризацию ссылок на sed-файлы гомогенных тестов.

Этот файл скрыт от пользователя и для проигрывания таким образом полученного гетерогенного теста разработана компонента проигрывания теста, представляющего exe-файл и включенного в некоторый sdd-файл.

) В этом случае разработанные модели факторного планирования позволяют из всего множества тестовых заданий выбрать минимальное подмножество с целью достижения точности оценки уровня знаний по каждому направлению. Задачи конструирования тестов, оценки их эффективности и непосредственно проведения тестового контроля связаны друг с другом.

Среда конструктора гетерогенных тестов

Структура гетерогенного теста

Круг задач тестового контроля охватывающий аспекты моделирования (для методиста с целью оценки его эффективности) и непосредственного контроля решается путем создания совокупности сценариев включающих:

метод оценки вероятностей ошибочной классификации;

моделирующие алгоритмы;

язык формирования последовательности тестовых заданий;

приложение формирования механизмов предъявления тестовых заданий;

приложение разбора структуры теста;

визуализация результатов тестового контроля;

и другие.

 Разработка методов и моделей оценки эффективности тестов

В третьей главе диссертации разработаны модели оценки эффективности процедур тестового контроля, основанные на ошибочных классификациях.

 Марковская цепь динамики сложностей тестовых заданий

где C={Ci+, Ci-}i=1..n - множество состояний марковской цепи, определяющее уровни «сложности» тестовых заданий;

P=||pij|| - матрица переходных вероятностей;

(=||pi|| - вектор-строка начального распределения, которая определяется на основе априорной информации об «уровне знаний».

Переходные вероятности определяются на основании логистической кривой:

С использованием IRT-теории в диссертации решена задача определения стационарных вероятностей цепи:

где - (i1 вероятность состояния Ci-1+, а (i2 - Ci+1-.

загрузка...