Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем, теория автоматов, классический теоретико-множественный аппарат и другие.

Научная новизна

Научную новизну работы составляют методы конструирования тестовых заданий, ориентированных на использование в системе переподготовки персонала промышленных предприятий, и модели дифференцированной оценки сложности. На защиту выносятся:

принципы дифференцированной оценки корректности решения УТЗ для персонала промышленного предприятия;

обобщенные модели описания процессов конструирования и выполнения УТЗ;

описания интерактивного поведения пользователя на основе конечных автоматов как преобразователей и акценторов;

программно-инструментальная среда конструирования интерактивных УТЗ.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным анализом процессов аттестации персонала на промышленных предприятиях, процессов обучения и тестирования в ряде образовательных учреждений, . Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центрах промышленных предприятий.

Практическая ценность и реализация результатов работы

Внедрение результатов работы позволит повысить качество и эффективность конструирования интерактивных тестовых заданий системе аттестации персонала промышленных предприятий. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде промышленных предприятий, а также используются в учебном процессе МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2005-2008гг.);

на заседании кафедры АСУ МАДИ(ТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации образовательного процесса составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе переподготовки персонала промышленных предприятий.

Содержание работы

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы и приведено краткое описание содержания глав диссертации.

 Анализ методов и моделей компьтерного тестового контроля

В первой главе диссертации проводится системный анализ педагогических принципов создания тестовых заданий. Рассмотрены проблемы кадрового обеспечения предприятий промышленности и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов компьютерного тестового контроля. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов.

В диссертации с системотехнических позиций рассмотрены во взаимосвязи задачи выбора и формирования последовательности предъявления тестовых заданий и задачи мониторинга результатов прохождения тестов.

Взаимодействие компонент системы тестового контроля

Данная работа направлена на реализацию инструментальных средств конструирования одного тестового задания, которое затем включается в интегрированную базу данных тестовых заданий по всем направлениям переподготовки. Кроме того, исследованы вопросы оценки вероятности правильного ответа на различные УТЗ в зависимости от ограничения по времени ответа, усталости, истинного уровня знаний, сложности самого задания и др.

В рамках IRT-теории каждому заданию приписан уровень сложности и на основе аналитических моделей вводится формализованное описание вероятности правильного выполнения задания с уровнем сложности ( испытуемым с уровнем знаний ( на основе условной вероятности:

Семейство кривых обладает свойством внутренней (чем сложнее задание, тем меньше вероятность правильного ответа) и внешней (если уровень выше, то для всех сложностей вероятности правильного ответа выше) монотонности.

Проведен анализ аналитических соотношений и показано, что IRT-модель может быть использована совместно с регрессионными моделями и моделями классификации. В случае моделирования эффективности гетерогенных тестов из анализируемых моделей факторный анализ позволяет построить модель ответа тестируемого произвольного уровня знаний на задание произвольной сложности. Однако ни в кластерном, ни в латентно-структурном анализе не определяется численное значение оценки уровня знаний по каждому классу тестируемых, а также оценки сложности тестового задания.

Логистические кривые вероятности правильных ответов

На практике, в основном, используются классические формы тестовых заданий, к которым относятся: «открытая» (требует сформулированного самим обучаемым корректного ответа в виде строки символов), «закрытая» (выбор тестируемым правильного ответа из предложенных), «на соответствие» (необходимо каждый элемент первой группы связать с одним или несколькими элементами из второй группы), «на упорядочение» (определение порядка следования предложенных объектов: символов, слов, формул, рисунков). В работе предлагается расширение стандартных форм представления тестовых заданий.

Применение методологических правил для проектирования тестовых заданий в рамках описания реальных технологических процессов позволяет избежать конструирования некорректных УТЗ, что дает возможность использования многообразия форм тестовых заданий при одном и то же содержании.

Содержание тестового задания, которое "видят" за словами, должно восприниматься тестируемыми одинаково. Под объектом компьютерного тестирования подразумеваются все сотрудники и рабочие предприятий, участвующие в аттестации, и уровень обученности которых априорно не установлен.

Одно из правил связано с необходимостью представления тестового задания в виде утверждения или повелительного предложения, из которых, в зависимости от качества ответов, получается истинное или ложное высказывание.

Тестовое задание формулируется так, что в его структуре заложена возможность однозначного ответа, преобразующего это утверждение в истинное высказывание.

Ставить вопрос в один ряд с тестовым заданием можно только в том случае, когда вопрос адресативен, причем отнесенность вопроса к самому себе - аномалия.

Вопрос, который может предполагать отсутствие ответа, не может использоваться при конструировании тестового утверждения.

Прагматически некорректным тестовым утверждением является задание с таким значением энтропии, которое является недоступным для формирования истинного ответа. В этом случае необходимо свести исходное тестовое задание с высокой энтропией к тестовым утверждениям с более низким уровнем неопределенности.

Сведение исходного тестового задания к утверждениям оптимальной энтропии необходимо выполнить в случае прагматически некорректного тестового задания.

Для реализации инструментальной среды конструирования интерактивных УТЗ в работе проведен анализ современных программных технологий.

 Разработка методов дифференцирования оценки корректности ответа на задание