Далее в работе рассмотрена схема группового тестирования. Количество участников тестирования различной подготовленности ?i,- обозначим n; i = 1,2,..., n. Каждому участнику предлагается один и тот же вариант теста, состоящий из к заданий различной трудности ?j; j=1,2,..., к. Результат выполнения каждого здания оценивается по дихотомному принципу - ставится единица, если задание выполнено правильно, и ноль, если задание выполнено неверно. Множество всех таких единиц и нулей образует прямоугольную таблицу-матрицу А=(аij) размерностью n,к.. Ее элемент аij, стоящий на пересечении i-ой строки и j-го столбца, выражает возможный результат выполнения i-м участником j-го задания. Элементы аij являются величинами случайными: они принимают значение 1 с вероятностью pij=p(?i,?j), и значение 0 с вероятностью qij=1-рij.

Матрица ответов представляет собой ту исходную информацию, по которой предполагается оценить латентные параметры тестирования - трудности заданий и уровни подготовленности испытуемых. Матрица имеет ярко выраженную вертикальную структуру - количество столбцов к (число заданий в одном тесте) обычно не превышает 60-70, но количество строк n (число участников тестирования) имеет порядок, как правило, нескольких сотен.

Любые статистики, будучи функциями исходных наблюдений, т.е. величин случайных, также являются случайными. Но разброс их возможных значений при повторных выборках значительно меньше разброса; возможных значений отдельных наблюдений. Удобными статистиками при обработке результатов массового тестирования являются частичные суммы элементов матрицы ответов А по каждой строке и по каждому столбцу, то есть числа:

, представляет собой количество верно выполненных заданий участником с номером i и называется первичным баллом i-го участника. Оно отражает определенную и меру успеха i-го испытуемого при выполнении к заданий данного теста.

Вероятность того, что при наличии k заданий первичный балл участника с N0i окажется: а) менее m; б) более m; в) не менее m; г) не более m, - можно найти на основании соотношений, соответственно

от 1 до k и, следовательно, рij=рi, независимо от j.

и, следовательно, (i,j)—позицию в матрице ответов А займет 1, определяется формулой

где si- уровень подготовленности i-го участника, tj - уровень трудности j-гo задания, а ?ij =si/tj.

. Выражения для pij и qij можно записать единой формулой

матрицы ответов, определяемая теоремой умножения вероятностей, имеет вид

по строкам и по столбцам. Поэтому первичные баллы участников тестирования и заданий теста являются достаточными статистиками для искомых параметров si и tj соответственно (i = 1,2,...,n; j = 1,2,...,к). Следовательно, при оценивании параметров можно вместо n?k элементов матрицы ответов оперировать лишь с первичными баллами, общее количество которых равно n+k. При этом количество исходных чисел уменьшается в десятки раз без какой-либо потери информации.

Статистические оценки уровней подготовленности всех участников тестирования, набравших одинаковое количество первичных баллов, совпадают, поскольку являются функциями равных достаточных статистик.

Пусть тест содержит k=20 заданий различной трудности, а р обозначает усредненную вероятность правильного решения одного задания этого теста. Тогда участников тестирования с различным уровнем подготовленности ?i,- можно классифицировать по величине соответствующей вероятности pi =p(?i,?). Будем условно называть уровень подготовленности очень слабым, если рi<0,3; слабым, если 0,3?рi?0,55; средним, если 0,550,75.

содержит вероятности Рik(m?b?к) того, что участники тестирования различного уровня наберут количество первичных баллов b не менее m=1,2,…,20.

Тест имеет закрытую форму, если его задания сопровождаются несколькими (обычно пятью) вариантами ответа, из которых только один является верным, а остальные лишь правдоподобны. В таком случае вероятность р=0,2 соответствует бездумному угадыванию ответа. Однако, как показывает таблица, получить при этом первичный балл выше 7-8 практически не представляется возможным. Предполагается, что наименьшее количество баллов, соответствующее ситуации "зачет", равно 12. Такой барьер, согласно анализу таблицы, невозможно преодолеть без знания материала. При этом высокий балл (18 и выше) сумеют получить, по прогнозу, только хорошо подготовленные участники тестирования.

?????????C?Ё

??????H

??????C

&ление приближенно к нормальному распределению. Поэтому доверительный интервал для них можно построить с помощью следующего соотношения

Таблица вероятностей первичных баллов

m Уровень подготовленности

Очень слабый Слабый Средний Хороший

р=0.2 p=0.3 p=0.4 p=0.5 p=0.6 p=0.7 p=0.8 p=0.9

1 0.99 1.00 1.00 1.00 1.00 1.00 1.00 1.00

2 0.90 0.98 1.00 1.00 1.00 1.00 1.00 1.00

3 0.72 0.95 1.00 1.00 1.00 1.00 1.00 1.00

4 0.5 0.85 0.98 1.00 1.00 1.00 1.00 1.00

5 0.29 0.70 0.92 0.99 1.00 1.00 1.00 1.00

6 0.13 0.50 0.83 0.97 1.00 1.00 1.00 1.00

7 0.05 0.31 0.69 0.92 1.00 1.00 1.00 1.00

8 0.01 0.16 0.50 0.82 0.98 1.00 1.00 1.00

9 0.00 0.07 0.32 0.68 0.92 1.00 1.00 1.00

10 0.00 0.03 0.18 0.50 0.83 0.98 1.00 1.00

11 0.00 0.01 0.09 0.33 0.69 0.95 1.00 1.00

12 0.00 0.00 0.03 0.19 0.50 0.85 0.99 1.00

13 0.00 0.00 0.01 0.09 0.32 0.70 0.95 1.00

14 0.00 0.00 0.00 0.04 0.18 0.50 0.87 1.00

15 0.00 0.00 0.00 0.01 0.09 0.31 0.71 0.99

16 0.00 0.00 0.00 0.00 0.03 0.16 0.50 0.93

17 0.00 0.00 0.00 0.00 0.01 0.07 0.29 0.77