Введение

В основу одного из методов построения агрегированной (обобщенной) оценки знаний обучающихся [10] для случая, когда внешний критерий представлен в шкале наименований (оценки «сдал – не сдал», «Удовлетворительно – неудовлетворительно» и т. д.), может быть положен дискриминантный (числовой) анализ (ДА). Достоинством этого метода оценки знаний является то, что он позволяет сузить до минимума множество причинно-следственных связей в анализе результатов контроля знаний обучающихся, представляя их в номинальной шкале оценок, а также дает возможность достаточно просто оценить достоверность модели.

Исходные данные для процедур ДА включают в себя количественные значения результатов решения контрольных задач, необходимых для оценки уровня подготовки обучающихся. Работа педагогов-экспертов в этом случае заключается в формировании достаточного, для оценки знаний, множества результатов выполнения контрольных задач, представляемых как результаты сравнения образов. В работу экспертов входит, также, формирование и классификация обучающей выборки (ОВ) (внешнего критерия оценки знаний), на основе анализа которой осуществляется построение дискриминантной функции. Важным условием применения дискриминантного анализа в обработке результатов контроля знаний является условие (гипотеза) нормального распределения результатов решения контрольных задач в исследуемой группе обучающихся, а также допустимость перевода линейной свертки результатов оценки в интегральный показатель.

Метод расчета коэффициентов дискриминантной функции (ДФ) по обучающей выборке достаточно полно отражены в целом ряде исследований [1, 2, 3]. Однако в основе этих методик построения ДФ принято, что данные обучающей выборки не содержат элементов неопределенности. В действительности же нет более неопределенного объекта изучения, чем оценка знаний. Трудности в оценке знаний обучающихся указаны в работах [4, 5] и определяются следующими факторами:

а) сложность внутренней структуры знаний, характеризующейся большой размерностью, иерархичностью и многообразием неявно выраженных связей между элементами структуры личностных и профессиональных качеств обучающегося;

б) неоднозначность связей между свойствами личности обучающегося и способами их выражения в сфере конкретных знаний;

в) необходимость адекватного восприятия личности обучающегося преподавателем;

г) открытость системы измерения, которая подвержена воздействию комплекса физических, психологических и социологических факторов.

Перечисленные факторы приводят к неопределенности: как результатов самих измерений, так и делаемых по этим результатам выводов. Причем, неопределенность оценок знаний обучающегося в силу указанных выше факторов носит существенно нестатистический характер, т. е. проявляется в оценках экспертов и результатах принятия решений нечетко [6, 7].

В этом случае язык традиционной математики становится недостаточно гибким для моделирования подобных сложных систем, так как в нем нет средств достаточно адекватного описания понятий, которые имеют неопределенный и в общем случае нечеткий смысл [6 –11]. Отсутствие таких математических средств отражения нечеткости исходной информации в обучающей выборке (ОВ) определило необходимость разработки метода нечеткого дискриминантного анализа.

Предлагаемый ниже в статье материал содержит две части. В первой – схематично излагается содержание метода дискриминантного анализа знаний обучающихся в условиях наличия четкой исходной информации, а во второй – рассматриваются особенности учета нечеткости в составе ОВ при определении параметров ДФ.

1. Оценка знаний обучающихся методом дискриминантного анализа в условиях

наличия четкой исходной информации

Процесс формирования дискриминантной функции удобно рассматривать в виде отдельных этапов:

1) формирование ОВ;

2) нормирование значений индикаторов, измеряемых в процессе тестирования;

3) классификация ОВ;

4) определение коэффициентов  значимости дискриминантной функции.

Рассмотрим их более подробно.

Этап I. Формирование обучающей выборки.

ОВ представляется в виде таблиц (таблица 1), количество столбцов n  которых соответствует числу индикаторов (числу контрольных задач, определяющих диагностически значимые элементы знаний обучающегося), а число строк N  совпадает с числом обучающихся, включенных в состав ОВ преподавателями-экспертами. Таким образом, каждый j - й j=1,N  вариант сочетания измеряемых индикаторов (шкал) соответствует определенному (возможно гипотетическому) требуемому уровню знаний обучающегося, в отношении которого лицо, принимающее решение, может дать утвердительный ответ об отрицательной (область ω2 ) или положительной (область ω1 ) оценке его знаний, выявленных в процессе контроля. При этом желательно, чтобы указанные варианты сочетаний числовых характеристик результатов выполнения контрольных задач xi:i=1,N  обеспечивали бы вариацию их значений от нижнего xi Η  до верхнего xiΒ  предела, т. е., xiΗ≤xi≤xiΒ . Варьирование указанных значений индикаторов знанийxi  осуществляется, как правило, детерминированно на основе опыта преподавателей, включенных в группу экспертов. Если перекрыть весь диапазон не удается, вследствие недостатка опытных данных для реальных обучающихся, то возможно формирование новой структуры результатов выполнения контрольных задач, соответствующей структуре знаний для гипотетических обучающихся.

В этом случае варьирование может осуществляться на основе предположения о равномерной плотности распределения значений исследуемых индикаторов в пределах
от xiΗ  доxiΒ  путем их выбора случайным образом. Рекомендуемое число обучающихся (или знаний обучающихся) в ОВ должно отвечать неравенству [2].

Ν>2n+1 (1)

Заметим, что указанная величина существенно меньше того, что необходимо для регрессионного анализа.

Этап 2. Нормирование значений индикаторов  (результатов решения контрольных задач), измеряемых в процессе тестирования.

В зависимости от типа измеряемого индикатора знаний и характера его влияния на интегральную (агрегированную) оценку используется либо линейное, либо квадратичное нормирование [1, 2].

При линейном нормировании i - го индикатора знаний, с увеличением которого повышается оценка качества усвоения обучающимся учебного материала, нормированное значение индикатора знаний будет:

В случае противоположного влияния индикатора знания на оценку качества усвоения, его нормированное значение будет иметь вид:

Квадратичное нормирование осуществляется на основе расчета уравнения вида:

удовлетворяющего условиям [2]:

гдеxi – номинальное значение i -го параметра; i=1,n ;  xi  – среднее значение i -го параметра.

Совместное решение этих уравнений дает возможность получить коэффициенты нормирования:

где Δi  – величина контрольного допуска.

Величина Δi  для индикаторов знаний с односторонним (верхним или нижним пределом) и с двухсторонним пределом определяется следующим выражением:

Применение линейного нормирования значений допустимо в том случае, если оценка знаний обучающихся линейно зависит от величин этих индикаторов. В противном случае целесообразно применение квадратичного нормирования.

Этап 3. Классификация обучающей выборки.

Суть классификации ОВ заключается в отнесении каждого j - го варианта сочетания числовых характеристик результатов решения контрольных задач, соответствующих j - му обучающемуся из ОВ, к классам отрицательной (ω1 ) или положительной (ω2 ) оценки их знаний. Для решения подобных задач классификации, как правило, используются эвристические методы.

Этап 4. Определение коэффициентов значимости дискриминантной функции.

Все методы вычисления весовых коэффициентов ДФ можно разбить на три
группы [1, 2]: рекуррентные, нерекуррентные и смешанные. Наиболее широкое распространение получили рекуррентные методы оценки. При их применении вектор оценок W коэффициентов ДФ определяется путем многошагового уточнения. Нерекуррентные методы позволяют с помощью аналитического выражения сразу получить весь вектор W . Смешанные методы используют на начальном этапе аналитическое выражение для вычисления вектора W , а дальнейшее его уточнение производится путем применения рекуррентной процедуры построения вектора состояния системы W .

В работах [1, 2] предложен простой способ определения коэффициентов ДФ, суть которого состоит в представлении вектора состояния W полиномами Эрмита, коэффициенты которых Ηiу  определяются, исходя из анализа следующих соотношений: Η0у=1 ;Η1у=2у ; Η2у=4у2-2 ; Ηi+1у-2Ηiу+2i Ηi-1у=0 .

В этом случае дискриминантная функция будет определяться на основе следующего выражения:

ДW,у=Wω f→у , (2)

где f→у=f1у,...,fnу -  вспомогательные функции;

N1 , N2  – множество вариантов сочетаний результатов решения контрольных задач из ОВ, относящихся к классам ω1 иω2 соответственно; N1+N2=N .

Вспомогательные функции fу  вычисляются в соответствии с методикой, изложенной в работе [2]. Например, для случая двух контролируемых параметров вспомогательные функции имеют вид:

Обычно рассматривают нормированную дискриминантную функцию:

где у=уi=1:i=1,n .

Критерием соответствия найденной дискриминантной функции в обучающей выборке является выполнение неравенства:

где minj Qj (y ∈ ω1) , maxjQj (y ∈ ω2) – минимальные и максимальные значения дискриминантных функций, относящихся соответственно к отрицательным и положительным оценкам знаний обучающихся.

По мере изменений требований к знаниям обучающихся необходимо изменять состав и структуру обучающей выборки. Признаком, определяющим необходимость пересчета ДФ, может служить нарушение неравенства (4). В этом случае пересчет ДФ осуществляется на основе новой обучающей выборки.

Определенные таким образом значения ДФ представляют собой линейную модель свертки важных для данной области анализа параметров. Если в этом классе диагностических процедур произвести расчет ДФ для двух обучающихся (не обязательно из состава ОВ), то по величинам ДФ можно  судить, например, о степени соответствия их знаний требованиям профессиональной деятельности.

Рассмотрим пример агрегирования оценок обучающихся с помощью дискриминантных функций на основе применения номинальной шкалы оценок. Допустим, что в качестве значимых параметров знаний обучающихся экспертами-педагогами выбраны три
параметра x1,  x2,  x3.  Перечисленные параметры имеют соответствующие диагностируемые индикаторы (меры расстояний между образами) верхними xiВ  и нижними xiн  пределами, допуски изменений которых соответственно равны:

x1Η=0,75 ; x2Η=0,1 ; x3Η=0,1 ;

x1Β=0,9; x2Β=0,5; x3Β=1,0;

Уровень знаний обучающихся будет тем выше, чем больше значения параметров x1
и x3  и меньше параметр x2.  Сформированная экспертами обучающая выборка включает в себя 10 вариантов сочетаний выделенных параметров, представленных в таблице 1.

Следует обратить внимание, что такое число вариантов сочетаний отвечает неравенству (1).

В результате классификации ОВ первые пять реализаций параметров отнесены

к первому классу ω1 , а вторые пять – ко второму классу ω2,  т. е.

уi∈ω1, i=1,5; уi∈ω2 , i=6,10.

Используя формулы (2) и (3), находим нормированные значения весовых коэффициентов дискриминантной функции:

W=0,31; 0,33; 0,36 .

Тогда значение дискриминантной функции для данной области (темы, курса, предмета) знаний будет:

Q=0,31у1+0,33у2+0,36у3.

Таблица 1.

Обучающая выборка

Table 1.

Training sample

В соответствии с (4) для десяти реализаций ОВ значения ДФ будут равны:

QОΒ=0,7 0,87 0,69 0,72 0,86 0,29 0,12 0,38 0,35 0,12 .

Так как min QОΒ (yj ∈ ω1) =Q3 > maxQОΒ (yj ∈ ω2) =Q8 , то дискриминантную функцию оценки знаний обучающихся следует считать правильной.

Найденная дискриминантная функция определяет параметры разделяющей плоскости номинальной шкалы оценок во множестве результатов выполнения контрольных заданий.
В ее структуре отражены результаты экспертизы знаний обучающихся экспертами-педагогами. Далее эта модель может быть использована педагогами, уровень квалификации которых в данной области знаний может быть ниже квалификации экспертов, что является достоинством подобного вида моделей.

С целью проверки значимости модели агрегирования оценок знаний обучающихся необходимо систематически обновлять состав ОВ в соответствии с изменениями требований к знаниям обучающихся в данном виде деятельности. Значимость модели агрегации в этом случае, аналогично, как и в примере, будет проверяться по результатам выполнения неравенства (4).

Допустим теперь, что необходимо по найденной модели оценить степень соответствия требованиям профессиональной деятельности уровня подготовки двух обучающихся, нормированные значения измеряемых результатов, выполнения заданий которых представлены в таблице 2. Здесь же в таблице приведены расчетные значения ДФ.

Таблица 2.

Результаты выполнения заданий обучающимися

Table 2.

Results of completing tasks by students

Как видно из таблицы 2, как первый, так и второй обучающиеся оцениваются положительно. Однако уровень знаний второго обучающегося выше, чем первого. В случае использования порядковой шкалы (например, l- балльной) оценки знаний обучающихся таких дискриминантных функций должно быть l. При этом каждая из ДФ рассчитывается по отдельной обучающей выборке, а оценка знаний будет определяться максимальным значением балла l*, при котором ДФ еще положительна. Таким образом, осуществляется переход от номинальной шкалы к порядковой шкале оценок.

Рассмотрим теперь, каким образом в ранках дискриминантного анализа осуществляется учет нечеткости исходной информации.

2. Применение нечеткого дискриминантного анализа в оценках знаний обучающихся

В процедурах формирования номинальных шкал нечеткость проявляется в итогах измерения результатов решения контрольных задач и в классификации различных их сочетаний в обучающей выборке. Например, первый вариант j=1 ,  j=1,N  сочетания параметров, соответствующих первому обучающемуся из состава ОB (см. табл. 4), может быть в условиях нечеткой оценки с определенной степенью уверенности μуωj  отнесен к первому ω1  и ко второму ω2  классам, т.е. Допустим μ уω1j=0,8 , а μ уω21 =0,2 .  Аналогичное распределение может быть представлено для каждого варианта сочетаний параметров в ОB. Вследствие этого, сама обучающая выборка становится нечеткой. На ее основе можно составить конечное множество Β  вариантов g  представлений ОВ g∈Β , на котором будет определена соответствующая функция принадлежности μg . Если через Β  обозначить нечеткое множество вариантов сочетаний параметров обучающихся из ОВ, то нечеткое множество Β  представлений ОВ следует рассматривать как образ нечеткого множества Β .

Если теперь произвести расчет дискриминантных функций для каждого
g -го варианта формирования ОВ, то найденные в итоге расчета коэффициенты ДФ αi g  образуют также нечеткое множество WΗ ,  на котором будет определена функция принадлежностиμg , т.е. найденное таким способом множество WΗ  определяет параметры искомой нечеткой дискриминантной функции (НДФ), т. е.

WΗ=aigμg:g=1, θ, i=1,n  ,

где θ  – количество возможных вариантов формирования ОВ.

Таким образом, последовательно выделяя варианты g  формирования ОВ, можно рассчитать для каждого из вариантов ОВ коэффициенты αig нечетких дискриминантных функций. Далее если проранжировать ДФ в соответствии с увеличением функции принадлежности μg , то получим ряд значений коэффициентов дискриминантной функции αig , определяемых с различными степенями четкости. Тогда ДФ может быть представлена в следующем виде:

Qμg=ni=1αiμg уixi ,

где xi  – результат изменения i - го параметра (характеристики) оцениваемого объекта.

Рассмотрим теперь, как определенное таким образом семейство дискриминантных функций используется для оценки знаний обучающихся. Причем измерение отдельных параметров осуществляется нечетко с функцией принадлежности, равной μ0=minμ0i:i=1,n , где μ0i  – функция принадлежности измерения i - го параметра. В этом случае четкость оценки знаний обучающихся будет