Saint-Petersburg, St. Petersburg, Russian Federation
Saint-Petersburg, St. Petersburg, Russian Federation
Saint-Petersburg, St. Petersburg, Russian Federation
The article considers a methodology for assessing students’ knowledge taking into account an apriori assessment of the probabilistic parameters of control procedures and the required reliability of the control results. At the same time, the paper considers the previous experience and subjective assessment of the teacher’s training process effectiveness on this topic based on the expected level of the studied material assimilation by this contingent of students.
probability, distribution function, binomial and normal distribution of parameters, grading scale, mathematical expectation, variance
Введение
Одной из задач, способствующих повышению уровня подготовки специалистов, является совершенствование образовательного процесса – как с точки зрения организации способов передачи знаний, так и объективного оценивания глубины их освоения обучающимися [1]. В рамках реализации этой задачи, в последние годы в дополнение к традиционным формам преподавания и оценивания знаний, где ключевой фигурой является преподаватель, все чаще используются обучающие информационные технологии. Среди них широкое распространение получили автоматизированные обучающие системы (АОС), включающие в себя не только учебный материал и методические рекомендации по его освоению, но и возможность in situ (без выхода из обучающей системы) оценить знания по только что пройденному учебному материалу в автоматическом режиме. АОС хорошо зарекомендовали себя в учебных дисциплинах, где проверка знаний осуществляется посредством выбора из нескольких ответов – правильного. При этом окончательная оценка уровня полученных знаний выставляется исходя из соотношения количества правильных и неправильных ответов обучающихся, что эффективно вероятно, для случаев, когда содержание учебного материала имеет конкретную к действию информацию, но может, при этом, не являться отражением глубины проработанности знаний обучающихся.
В то же время, в связи с постоянным увеличением объема и сложности, предлагаемых к изучению учебных дисциплин, возникает необходимость понимания (оценивания) глубины проработанности учебного материала обучающимися. Такую оценку, на сегодняшний день, может дать исключительно преподаватель, осуществляющий контроль знаний обучающихся, опираясь на свой опыт и восприятие глубины проработанности ими учебного материала.
В частности, одной из составляющих, которая может помочь преподавателю объективно оценить глубину проработанности материала обучающимися, является их стремление к получению более высокой оценки, которая, в свою очередь, будет зависеть от различных сопровождающих учебный процесс факторов.
Такой подход может быть осуществлен, например, при проведении рубежного контроля, «осуществляемого с целью систематической проверки усвоения обучающимися обязательных результатов обучения по дисциплине - минимума, который необходим для дальнейшего обучения, выполнения программных требований к уровню подготовки обучающихся» [2].
В настоящее время вопрос повышения объективности оценивания уровня (глубины) полученных знаний обучающихся остается дискуссионным [3]. Количественно оценка уровня знаний обучающихся выражается, в значительной степени, в использовании различных видов шкал. Например, дихотомическая шкала позволяет выражать уровень знаний всего двумя цифрами (0 и 1). Широко практикуется порядковая шкала оценок от 2 до 5 баллов. Значительное распространение получила 100-бальная шкала оценивания знаний, с помощью которой удобно представить процент полноты ответа обучающихся.
Эффективным и объективным способом оценивания знаний обучающихся, по мнению авторов данной статьи, может стать подход, основанный на методе планирования факторного эксперимента [4]. Метод позволяет сформировать выборку промежуточных оценок (далее – оценочная выборка), которая будет охватывать все возможные варианты подготовленности обучающихся по контролируемому предмету. Эти варианты будут включать в себя не только результат ответа на поставленный преподавателем вопрос, но и факторы, учитывающие степень вовлеченности обучающихся при изучении ими учебного материала. К факторам могут быть отнесены: регулярность посещения лекций по изучаемому предмету, качество ведения конспекта, активность выступлений на семинарах, своевременность выполнения практических заданий и другое. По сути, такой подход способен не только дать дополнительную информацию об уровне проработанности учебного материала (далее – УПМ) обучающимися, но и исключить получение «случайной» оценки за вытянутый «счастливый» билет [5], [6], [7] и др.
Цель настоящей работы, используя метод планирования факторного эксперимента, сформировать оценочную выборку из нескольких факторов, от которых может зависеть успешность освоения учебного материала. Оценить эффективность применения метода для повышения объективности оценивания уровня знаний обучающихся.
Формирование оценочной выборки методом планирования факторного эксперимента
Считаем, что оценочная выборка состоит из вариантов, каждый из которых включает в себя фактор допуска к экзамену (x0) и факторы успешности (xi), отражающие степень вовлеченности обучающегося при освоении им учебного материала. Также может быть учтен эффект от взаимного влияния ( ) факторов успешности на оценку уровня освоения учебного материала при сочетании факторов успешности между собой (x1x2; x1x3; x2x3; x1x2x3).
Рассмотрим оценочную выборку (табл. 1) возможных вариантов (N=23) оценивания уровня проработанности учебного материала обучающимся,
где N – общее количество возможных вариантов;
– значение 3 – количество факторов успешности (x1, x2, x3), влияющих на проработанность обучающимся учебного материала;
– значение 2 – показатель успешного выполнения (+1) или невыполнения
(-1) фактора.
Таблица 1.
Оценочная выборка возможных вариантов
Table 1.
Estimated sample of possible options
Здесь:
n – конкретный вариант оценивания;
(х0) – фактор допуска к оцениванию УПМ, который во всех вариантах при оценивании УПМ должен иметь положительное значение. Это будет свидетельствовать о том, что преподаватель удовлетворен ответом на поставленный перед обучающимся вопрос и оценивание УПМ может быть продолжено;
(х1) – наличие полного конспекта лекций;
(х2) – качество его оформления;
(х3) – хорошая ориентированность в изложенном материале в конспекте, активность на семинарах и практических занятиях.
Фактор (x1) свидетельствует о том, что обучающийся имеет конспект лекций, в котором представлен достаточный объем прослушанного или отработанного самостоятельно учебного материала, что позволяет рассчитывать обучающемуся на положительную оценку (+). В определенном смысле этот фактор связан с фактором (х2), который отражает правильное использование стандартных сокращений, терминов и определений, разделение учебного материала на темы и подтемы, предложенные преподавателем, наличие в конспекте графического сопровождения. Выполнение факторов (х1) и (х2) способствует хорошей ориентации обучающегося в изложенном в конспекте материале (х3) и эффективному использованию им конспекта на семинарских и практических занятиях, что в свою очередь будет свидетельствовать о глубокой проработанности обучающимся изучаемого предмета.
При рассмотрении результатов взаимного влияния ( ) факторов успешности по каждому из вариантов полноты знаний (n) обращает на себя внимание то, что эта часть оценочной выборки является своего рода лотереей, поскольку зависит от положительных и отрицательных результатов самих факторов успешности.
Рассмотренные выше условия по формированию оценочной выборки позволяют предложить выражение для расчета окончательной оценки УПМ обучающегося, исходя из конкретного варианта (n) его ответа:
, (1)
где: ( ) – весовые коэффициенты факторов допуска и успешности, определяющие вклад каждого из факторов и их взаимного влияния в общую окончательную оценку уровня проработанности учебного материала (УПМ);
– фактор допуска к экзамену по варианту (n);
– факторы успешности, где i – фактор успешности (1, 2 или 3) по каждому варианту (n);
– значение взаимного влияния факторов успешности (j) по варианту (n);
– расчетная окончательная оценка УПМ по варианту (n).
Пример оценивания уровня проработанности учебного материала обучающегося
Чтобы оценить вклад каждого из факторов, составляющих оценку вариантов УПМ обучающегося, определим весовые коэффициенты ( ) каждого из факторов (
). Эти коэффициенты рассчитываются исходя из возможных предварительных оценок, которые мог бы выставить преподаватель по каждому варианту ответа обучающегося.
Тогда весовые коэффициенты ( ) факторов (
) можно рассчитать, исходя из общего количества (N=8) вариантов по каждому фактору и предварительных оценок
( ) в оценочной выборке по формуле:
(2)
Предположим, что предварительная оценка по каждому из вариантов была выставлена по пятибалльной шкале. Рассмотрим два случая.
Случай 1. Предварительные оценки ( ) выставлены преподавателем по каждому варианту (табл. 2), исходя из своего индивидуального опыта. Отсюда, весовой коэффициент
фактора
по всем вариантам составляет:
А весовой коэффициент фактора
по всем вариантам составляет:
Полученные затем весовые значения каждого из факторов ( ) позволяют рассчитать весовое значение взаимного влияния факторов успешности по каждому варианту (
) из выражений:
(3),
где знаки (+) или (-) в весовых значениях взаимного влияния ( ) будут зависеть от знаков (
) факторов успешности, полученных обучающимся в конкретном варианте.
Рассчитанные по формулам 2 и 3 весовые значения факторов успешности и весовые значения их взаимного влияния приведены в таблице 2:
Таблица 2.
Весовые значения факторов успешности и весовые значения их взаимного влияния для случая 1
Table 2.
Weight values of success factors and weight values of their mutual influence for case 1
Случай 2. Предварительные оценки ( ) выставлены преподавателем по каждому варианту, исходя из предположения о равномерном снижении УПМ обучающегося от 1 к 8 варианту. Оценки представляют собой регрессию в диапазоне от 5 до 2 баллов с некоторым интервалом, рассчитанным по формуле:
где: – число пограничных вариантов уровня подготовленности знаний;
– средняя разница между граничными (соседними) вариантами.
Рассчитанные по формулам 2 и 3 весовые значения факторов успешности и весовые значения их взаимного влияния приведены в таблице 3.
Полученные в результате расчетов и выведенные на графиках (рисунок 1) окончательные расчетные оценки существенно отличаются от предварительных, предложенных преподавателями, как по характеру их распределения, так и по их значениям. Например, окончательная расчетная оценка по варианту № 5 в первом случае составляет 3,24 балла, а во втором – 2,84 балла.
Таблица 3.
Весовые значения факторов успешности и весовые значения их взаимного влияния для случая 2
Table 3.
Weight values of success factors and weight values of their mutual influence for case 2
Рис. 1. Графики распределения предварительных и окончательных оценок УПМ для случая 1 (таблица 2) и случая 2 (таблица 3), соответственно
Fig. 1. Graphs of the distribution of preliminary and final estimates of the UPM for case 1 (Table 2) and case 2 (Table 3), respectively
Безусловно, на окончательные оценки влияет и различный подход по выставлению предварительной оценки каждым из преподавателей по конкретному варианту. Однако, окончательная оценка по каждому варианту является уже объективной, поскольку учитывает вовлеченность самого обучающегося, выражающуюся в успешном выполнении факторов.
В перспективных исследованиях, связанных с эргономическим обеспечением разработки систем отбора и подготовки операторов, необходимо проанализировать существующие программные комплексы и патентную аналитику, направленную на математическое моделирование человеко-машинных комплексов [8], [9], [10].
Заключение
Представленные в статье: обоснование для использования метода планирования факторного эксперимента в образовательной деятельности, сформированная на основе метода оценочная выборка и полученные расчетные результаты свидетельствуют о том, что предложенный подход может быть использован преподавателями как инструмент стимулирования обучающихся к большей вовлеченности в изучении учебного материала. При этом рассмотренный подход обладает достаточной адаптивностью, так как перечень и количество факторов успешности могут быть выбраны по решению преподавателя с учетом специфики изучаемой дисциплины и индивидуальных особенностей обучающихся.
1. Order of the Minister of Defense of the Russian Federation “On Measures to Implement Certain Provisions of Article 81 of the Federal Law of December 29, 2012 no. 273-FZ “On Education in the Russian Federation””, no. 670 [Internet]. 2014 Sep 15 [cited 2024 Jun 06]. Available from: https://www.consultant.ru/document/cons_doc_LAW_170951/.
2. Order of the Minister of Defense of the Russian Federation “On the Organization of Educational Activities in Federal State Organizations Carrying out Educational Activities and Under the Jurisdiction of the Ministry of Defense of the Russian Federation”, no. 308 [Internet]. 2022 May 30 [cited 2024 Jun 06]. Available from: https://www.consultant.ru/document/cons_doc_LAW_421099/.
3. Kasavtsev M.Yu. Variant of Implementing Midterm Control of Academic Performance in the Educational Process of a Military Educational Institution. Science, Technology and Education. 2016;5(23):108-110.
4. Shklyar V.N. The Experiment Planning and Results Processing. Publishing House of Tomsk Polytechnic University [Internet]. 2010 [cited 2024 Jun 06]. Available from: https://portal.tpu.ru/departments/kafedra/iksu/ucheb_rabota/literatura/special/Tab/KonspPExp.pdf.
5. Bagretsov S.A., Mishchenko E.V., Rozanova L.V. Methodology for Constructing a Plan for a Diagnostic Study of Candidates’ Professional Compliance in Professional Selection Systems. Ergodesign. 2022;4(18):243-251. DOIhttps://doi.org/10.30987/2658-4026-2022-4-243-251.
6. Bagretsov S.A., Kaluga V.M., Utochkin O.V. Method of Forecasting the Process of Practical Training of Specialists Based on the Use of Markov Models. News of the Tula State University. Technical Sciences. 2023;2:252-257. DOIhttps://doi.org/10.24412/2071-6168-2023-2-252-257.
7. Goryachkin B.S. Ergonomic Problems in Information Processing System. Information-Measuring and Control Systems. 2016;14(12):38-47.
8. Rytov M.Yu., Spasennikov V.V. Theoretical and Applied Issues of Selection and Training of Operators of Human-Machine Complexes in Domestic Ergonomics. Ergodesign. 2020;4(10):203-223. DOIhttps://doi.org/10.30987/2658-4026-2020-4-203-223.
9. Spasennikov V, Androsov K, Golubeva G. Ergonomic Factors in Patenting Computer Systems for Personnel’s Selection and Training. In: CEUR Workshop Proceedings : 30; 2020 Sep 22-25; Saint Petersburg: 2020. p. 1.
10. Spasennikov V., Morozova A. Accreditation examination of developing professional competencies at the university: A mathematical model. Smart Innovation, Systems and Technologies. 2020;172:223-228. DOIhttps://doi.org/10.1007/978-981-15-2244-4_19. EDN UISUVQ.
