При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и классический теоретико-множественный аппарат. Расчет вычислительных экспериментов выполнен в пакетах Statistica и MathCad. При разработке моделей компонентов системы тестового контроля и аттестации использовались методы математического программирования, теории случайных процессов, имитационного моделирования и др.

Научная новизна

Научную новизну работы составляют методы и модели организации аттестации персонала промышленных предприятий на базе адаптивных механизмов тестового контроля. На защиту выносятся:

модели формирования бальных шкал и оценок квалификационных характеристик;

комбинированный алгоритм вычисления сложности заданий и уровня подготовленности участников тестирования по схеме групповой аттестации;

автоматная схема описания проигрывателя тестовых заданий с встроенным компилятором формирования последовательности тестовых заданий.

Достоверность научных положений, рекомендаций и выводов

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических методов и моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных предприятиях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы на предприятиях и в учебный процесс.

Практическая ценность и реализация результатов работы

Научные результаты, полученные в диссертации, доведены до практического использования. Внедрение результатов работы позволяет повысить качество и эффективность процессов разработки тестов и процедур компьютерного тестового контроля в системе аттестации персонала промышленных предприятий. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в ряде предприятий, а также используются в учебном процессе на кафедре АСУ МАДИ.

Апробация работы

Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:

на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2008-2012гг.);

на заседаниях кафедры АСУ МАДИ.

Совокупность научных положений, идей и практических результатов исследований в области тестового контроля знаний составляет актуальное направление в области теоретических и организационных форм аттестации в системе подготовки и переподготовки персонала промышленных предприятий.

Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.

Во введении обосновывается актуальность проблемы и приведено краткое описание содержания глав диссертации.

В первой главе диссертации проводится системный анализ процедур тестового контроля. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывного образования. Рассмотрены математические модели и методы моделирования процессов аттестации персонала.

Вопросам организации обучения персонала с использованием технологий открытого образования посвящены труды Байденко В.И., Гура В.В., Яровенко В.А. и ряда других. Понятия «компетентность», «компетентностный подход» раскрыты в трудах Байденко В.И., Болотова В.А., Ивановой Н.В., Кивы А.А., Лейбовича А.Н., Чаплыгиной И.В. и других. Развитию представлений о роли информационных и коммуникационных технологий в образовании посвящены работы Астафьевой Н.Г., Денисовой А.Л., Кузнецова А.А., Роберт И.В. и ряда других.

Проведенный в работе анализ показал, что единственной теорией, которая строит модель отношения отдельного тестируемого к отдельному заданию – это IRT-теория. В рамках этой теории каждому заданию приписан уровень сложности и на основе аналитических моделей вводится формализованное описание вероятности правильного выполнения задания с уровнем сложности ( тестируемым с уровнем знаний ( на основе условной вероятности. Проведен анализ аналитических соотношений и показано, что IRT-модель может быть использована совместно с регрессионными моделями и моделями классификации.

Вероятность правильного ответа на задание в рамках IRT-теории выражается посредством логистической функции:

приведены характеристические кривые вероятности правильного ответа для тестируемых с различным уровнем знаний в зависимости от сложности тестового задания.

. Характеристические кривые тестовых заданий различной сложности

Использование факторного анализа в сравнении с IRT-теорией имеет свои плюсы и минусы. С одной стороны, необходимо определение множества факторов, что значительно проще в IRT-теории и, значит, дает более адекватную модель в случае гомогенного теста. С другой стороны, ни в кластерном, ни в латентно-структурном анализе не определяется численное значение оценки уровня знаний по каждому классу тестируемых.

и ее значение равно нулю.

представлена взаимосвязь методов и моделей процесса тестового контроля.

Адаптивный механизм предъявления тестовых заданий предполагает выбор каждого последующего задания из базы тестовых задания в зависимости от ответов на все предыдущие. В данном случае формирование алгоритма для описания механизмов предъявления дает большую свободу при построении новых методических принципов.

Предполагается, что база данных имитационной модели содержит все сформированные запросы по вариантам формирования структуры тестовых заданий. Результаты расчетов по желанию пользователя могут быть представлены как в табличной форме, так и в графической форме. Имеется возможность сравнительного анализа выбранных решений и оптимизации распределения при заданных ограничениях.

В общем случае оценивание уровня знаний по результатам ответов на тестовые задания в диссертации рассматривается как задача управления, где на каждом шаге процедуры выбирается очередное задание, обладающее определенной сложностью. При формировании процедуры предъявления заданий варьируется выбор сложности по результатам ответов:

где: ((n) - сложность задания на n-ом шаге процедуры;

. Взаимосвязь методов и моделей тестового контроля

F(n) – некоторое функциональное преобразование результатов ответов;

((n)(((1),…, ((n)) – случайная величина, моделирующая ответ на n-е задание.

В результате проведенного анализа показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров.

Во второй главе диссертации рассматриваются вопросы построения функциональных соотношений описания индивидуальных свойств обучаемого, которые базируются на моделях квалификационных характеристик.

, где Ka – локальные коэффициенты сформированности профессиональных компетенций, b – число локальных коэффициентов.

Психолого-индивидуальные компетенции представляют собой способности, развиваемые в профессиональной деятельности под влиянием мотивации, которая может, как усиливать, так и ослаблять потенциальные задатки специалиста. В этой связи необходимо осуществлять постоянный мониторинг мотивационной направленности. Для определения критериев сформированности проводится тестирование выборки специалистов, успешных в своей деятельности. Для визуализации локальных показателей используется их представление в виде профилограммы, где приняты обозначения: A – коэффициент точности внимания; E – коэффициент продуктивности влияния; Kрасп – коэффициент распределения внимания; Vm – коэффициент объема памяти; Km – коэффициент творческого мышления; Kл – коэффициент логического мышления; Kв Применение такой модели специалиста на основе процессного подхода и методологии «развертывания функции качества» позволяет снизить уровень неопределенности идентификации и мониторинга рассматриваемых компетенций и повысить качество аттестации и переподготовки специалистов.

При формировании оценочной шкалы в работе предлагается использовать тестовые задания различной формы. Прежде всего, задания множественного выбора A={Am}m=1..M – множество альтернативных вариантов ответов; ZA={ZAm}m=1..M, ZAm({0,1} – вектор правильного выбора (1 – альтернатива входит в выбор, 0 - нет); TA={TAm}m=1..M, TAm({0,1} – вектор выбора тестируемого (1 – альтернатива выбрана, 0 - нет). В качестве расхождения предлагается использовать обычную равномерную метрику, но нормированную по количеству альтернатив:

Для заданий на соответствие и установление правильной последовательности (по оценке правильности они идентичны) введена другая мера. Левая часть задания определяет первоначальную перестановку (без ограничения общности ее можно считать возрастающей) A={Am}m=1..M – также множество альтернативных вариантов ответов; ZA={ZAm}m=1..M, ZAm({1…M} –правильная перестановка; TA={TAm}m=1..M, TAm({1…M} – перестановка тестируемого. В данном случае процент правильности предлагается определять на основании:

дает значение 1 при полном соответствии ответа, 0 – при полном расхождении. Промежуточные значения определяют процент правильности решения тестового задания. Аналогично задаются меры различия для заданий на кластеризацию объектов и др.