Delist.ru

Автоматизированная система распреленного контроля и анализа результатов аттестации персонала промышленных объединений (23.01.2009)

Автор: Макаренко Любовь Федоровна

Схема переоценки сложности

Прагматически некорректное задание низкой трудности исключается III-уровень II-уровень I-уровень

Разработан алгоритм моделирования результатов ответов на тестовые задания различной сложности для различного уровня подготовленности групп.

Графики переоценки сложности

Показано, что приведенные модели не учитывают возможность объединения результатов экспертной оценки методистов, совмещенные с результатами ответов тестируемых. В связи с этим в работе предлагается новый подход к оценке сложности тестовых заданий, который базируется на теории отношений. Предлагается динамическая интерактивная процедура, которая реализует переоценку сложностей в процессе всего цикла обучения.

При таком подходе факт тестирования можно считать экспертизой по сравнительной оценке сложности заданий. В рамках одно теста решенная задача считается легче нерешенной. Таким образом, каждый испытуемый определяет бинарное отношение сравнительной сложности для предъявленных задач.

Результаты каждого испытуемого и методиста задают матрицы предпочтений сложности Ak=||akij||., akij равно 1, если k-ый методист определил, что i-ое задание сложнее j-го и 0 в противном случае.

).. Элементы матрицы P связаны с элементами матрицы A следующими соотношениями:

Полагаем, что сложность задания является нечеткой переменной. С одной стороны, это может быть лингвистическая переменная, а с другой, с каждым заданием можно связать некоторую случайную величину CompТЗi, имеющую нормальное распределение с математическим ожиданием (i и дисперсией (2i. Далее будем полагать равенство всех дисперсий CompТЗi~N((i, (2).

Далее поставим задачу вычисления математических ожиданий сложности заданий M(CompТЗi)=(i, таких, что для всех i, j должно выполняться условие:

Последнее выражение определяет вероятность того, что сложность (CompТЗ) i-го тестового задания выше, чем j-го тестового задания.

, и в результате задача сводится к оптимизационной задаче:

. В результате Zi принимается за оценку сложности соответствующей задачи.

Далее задаваясь порогом точности, на основании сравнения вычисленной суммы разностей решается задача о соответствии оценки сложности для данных групп испытуемых.

 Программная реализация системы мониторинга аттестационных показателей

В четвертой главе диссертации рассматриваются вопросы разработки программного комплекса для аналитической обработки результатов аттестации. Так, при передаче данных по сети для системы мониторинга результатов аттестации встают следующие вопросы. Во-первых, нужно ответить на вопрос «Что отправлять?». Иначе говоря, для задачи мониторинга в первую очередь необходимо решить, какую информацию необходимо переслать в центр мониторинга. Это может быть любой файл, содержащаяся информация в котором актуальна на данный момент времени. Малейшее изменение в файле должно быть фиксировано. То есть, задача сводится к постоянному отслеживанию изменений в какой-то папке (локальной либо удаленной). Как только в папке появляется новый или обновленный файл, его необходимо переслать в центр мониторинга. Во-вторых, необходимо выбрать механизм сетевого обмена, то есть каким способом осуществляется передача данных (по какому протоколу, какие программные средства будут использоваться при передаче файла в центр мониторинга). В-третьих, необходимо решить проблему, связанную с выбором инициирующей стороны. В качестве инициирующей стороны может выступать как центр мониторинга, так и подразделения, с которых и происходит сбор информации.

В диссертации разработана структура базы данных, интегрирующая тестовые задания, методические материалы и результаты выполнения каждого задания каждым аттестуемым. Система реализована в виде отдельного программного приложения. Программный комплекс разработан по открытому принципу, что позволяет наращивать его функциональные возможности, добавляя новые механизмы предъявления тестовых заданий в процессе эксплуатации системы.

При разработке системы передачи и сбора отчетных материалов были выделены структуры данных, обработка и визуализация которых представляет особый интерес. При этом учитывается, что на предприятиях сложилась определенная технология сбора и хранения данных. Для реализации механизмов обработки данные приводятся к определенному виду, согласованному со структурами данных пакета Statistica. При организации оперативной обработки и агрегирования данных используется система программных конверторов, которые фильтруют данные и приводят их к выбранному формату.

В качестве клиента выступает как программа «Отправитель», так и программа «Получатель». Только одна закачивает на FTP-сервер файлы, а другая их скачивает.

Общий случай передачи данных посредством протокола FTP

Подсистема мониторинга реализована в виде фрейм-компонента, находящегося в модуле GTMonit (GTMonit.pas). Класс TGTMonitorF данного фрейм-компонента унаследован от TFrame, но, несмотря на это, его можно использовать, как обычный компонент. При выполнении стандартной процедуры регистрации компонента в среде Borland Delphi, в качестве модуля, содержащего компонент, нужно указать файл GTMonit.pas.

В заключении представлены основные результаты работы.

Приложение содержит документы об использовании результатов работы.

Публикации. По результатам выполненных исследований опубликовано 10 печатных работ, которые приведены в списке публикаций.

Основные выводы и результаты работы

Проведен системный анализ проблем аттестации персонала промышленных объединений, определен круг методов и моделей формализованного представления компонент системы аттестации.

Разработана методика параметризации компонентов системы компьютерного тестового контроля и формализованная модель вероятности ответов с учетом процента правильности решения задания.

Разработаны методы и модели аналитической обработки и визуализации результатов аттестации персонала, включая корреляционный, дисперсионный и многомерный анализ.

Разработана методика формирования банка тестовых заданий с возможностью динамической корректировкой сложности заданий по статистике ответов тестируемых с учетом экспертных оценок методистов.

Разработана методика мониторинга результатов тестового контроля в инструментальной среде «СОТА».

Сформированы требования к реализации программно-моделирующего комплекса мониторинга тестового контроля и аттестации персонала.

Разработанный программный комплекс, методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Публикации по теме диссертационной работы

Макаренко, Л.Ф. Адаптивный алгоритм формирования тестовых заданий /Л.Ф. Макаренко,А.В. Николаев, П.С. Рожин П.С., Р.П. Лукащук. // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ). -М., 2008. - С.17-20.

Макаренко, Л.Ф. Модификация алгоритма обучения многослойных нейронных сетей / Л.Ф. Макаренко, А.А. Шарков, Ла Суан Тханг // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М., 2008. - С.63-67.

Макаренко, Л.Ф. Выбор информационной системы для автоматизации промышленных предприятий / Л.Ф. Макаренко, В.Н. Брыль, Е.Ю. Фаддеева, С.С. Гоголин // Вопросы теории и практики автоматизации в промышленности: сб. науч. тр. МАДИ(ГТУ) М., 2008. - С.73-79.

Макаренко, Л.Ф. Анализ методов формирования адаптивного контента / Л.Ф. Макаренко, А.В. Николаев, П.С. Рожин, Р.П. Лукащук // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). –М., 2008. – С. 40-46.

Макаренко, Л.Ф. Параметры и технологии адаптации в системах гипермедиа / Л.Ф. Макаренко, А.В. Николаев, П.С. Рожин, Р.П. Лукащук // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). –М., 2008. – С. 47-54.

Макаренко, Л.Ф. Роль электронного документооборота в автоматизации и управлении предприятием / Л.Ф. Макаренко, И.Э.Саакян, А.С. Горячев, С.В. Мазуренко // Инновационные методы автоматизации технологических процессов и производств: сб. науч. тр. МАДИ(ГТУ). –М., 2008. – С. 103-107.

Макаренко, Л.Ф. Управление персоналом предприятий по результатам аттестации / Л.Ф. Макаренко, О.И. Архангельская, М.В.Рыбакова // Методы ситуационного управления и статистического анализа в промышленности, строительстве и образовании: сб. науч. тр. МАДИ(ГТУ). -М., 2008. – С. 41-45.

загрузка...