Delist.ru

Автоматизация и адаптивное управление аттестацией персонала промышленных предприятий (23.01.2009)

Автор: Саакян Игорь Эдуардович

Методы исследования

При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и теоретико-множественный аппарат. При формировании последовательности тестовых заданий использовались элементы факторного планирования. Обработка результатов эксперимента выполнена с использованием методов многомерного статистического анализа. При разработке моделей компонентов системы аттестации персонала использовались методы математического программирования, теории случайных процессов, имитационное моделирование и другие формальные методы.

Научная новизна

Научную новизну работы составляют методы адаптивного тестового контроля, а также модели оценки эффективности теста. Научную новизну работы составляют: На защиту выносятся

формализованные критерии оптимальности тестов;

формализованное описание процесса адаптивного тестового контроля марковской цепью и аналитические выражения стационарных характеристик состояний цепи.

модели оценки вероятностей ошибочной классификации;

оценки сходимости процедур предъявления тестовых заданий в непрерывной шкале сложности;

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных предприятиях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки учебных программ и процедур тестового контроля. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде учебных центров «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2003-2008г.г.);

на заседании кафедры АСУ МАДИ(ГТУ).

Совокупность научных положений, идей и практических результатов исследований в области автоматизации процесса аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных предприятий.

Содержание работы

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы и приведено краткое описание содержания глав диссертации.

 Анализ методов и моделей

В первой главе диссертации проводится системный анализ методов и моделей компьютерного тестового контроля в системе аттестации. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Проведен сравнительный анализ принципов конструирования тестовых заданий и построения тестов. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.

 Анализ моделей тестового контроля

В качестве модели классической теории применяется простейшая аддитивная модель, в которой на истинный бал накладывается ошибка. В классической теории тестов зарубежные и российские авторы исходят из идеи параллельного измерения интересующего свойства с помощью двух и большего числа тестов, имеющих общее предметное содержание и сходные статистические характеристики. В рамках этой теории принят следующий постулат: эмпирически получаемый результат измерения X представляет собой сумму истинного компонента измерения T (обычно неизвестного) и ошибочного E (также неизвестного). При этом X=T+E.

В IRT-теории рамках этой теории каждому заданию приписан уровень сложности и на основе аналитических моделей вводится формализованное описание вероятности правильного выполнения задания с заданной сложностью испытуемым с заданным уровнем знаний на основе условной вероятности. Проведен анализ аналитических соотношений и показано, что IRT-модель может быть использована совместно с регрессионными моделями и моделями классификации.

Проведен анализ современных информационных технологий в системе аттестации и рассмотрены компоненты информационно-образовательной среды, представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на повышение качества проведения аттестации персонала. Проведена классификация существующих методов и моделей тестового контроля и определены границы использования каждого из них для решения задачи автоматизации системы аттестации персонала промышленных предприятий.

 Базовая модель механизма предъявления тестовых заданий

Механизм предъявления дает лишь последовательность заданий различной сложности. Оценивание уровня знаний тестируемого является следующей задачей. В данном случае имеет место два подхода: классификация, когда количество значений оценок тестируемого определено заранее, и оценивание, когда численное значение оценки может быть произвольным.

В общем случае оценивание уровня знаний по результатам ответов на тестовые задания в диссертации рассматривается как задача управления, где на каждом шаге процедуры выбирается очередное задание, обладающее определенной сложностью. При формировании процедуры предъявления заданий варьируется выбор сложности по результатам ответов:

где ((n) - сложность задания на n-ом шаге процедуры;

F(n) – некоторое функциональное преобразование результатов ответов;

((n)(((1),…, ((n)) – случайная величина, моделирующая ответ на n-е задание.

Предложенная схема дает подход к построению множества алгоритмов, различающихся механизмами предъявления заданий и процедурами оценивания. В диссертации разработаны и проведен сравнительный анализ алгоритмов с постоянным шагом и алгоритмов стохастической аппроксимации. Проведена аналогия между поведением поисковых алгоритмов оптимизации в условиях помех и процедурой тестового контроля. Полагается, если ответ правильный, то уровень знаний выше сложности предъявленной задачи, и если ответ неправильный, то - ниже. Процедура подобна оценке некоторой гипотетической функции «уровня знаний», градиент которой является случайной величиной, а ответ тестируемого оценкой градиента.

 Взаимосвязь моделей

представлена взаимосвязь методов и моделей процесса тестового контроля.

В общем случае следует разделять механизм предъявления тестовых заданий и процедуры оценивания или классификации. Механизм предъявления может быть построен на основе статических и динамических планов.

В статическом механизме количество заданий различной степени сложности, включенных в тест, определено заранее. Вариации общим количеством заданий и их распределением по сложности дают различные результаты по точности оценивания уровня знаний. Поэтому необходимо решение задач распределения в зависимости от априорной информации об уровне знаний.

Взаимосвязь методов и моделей тестового контроля

Адаптивный механизм предъявления тестовых заданий предполагает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие. В данном случае формирование алгоритма для описания механизмов предъявления дает большую свободу при построении новых методических принципов.

 Принципы формирования тестов

загрузка...