Moskva, Moscow, Russian Federation
Moskva, Moscow, Russian Federation
Testirovanie yavlyaetsya odnoy iz osnovnyh form proverki znaniy uchaschihsya. V sfere obrazovaniya ispol'zuyut testovye zadaniya dvuh tipov: otkrytogo tipa, kogda ispytuemyy predlagaet svoy otvet, i zakrytogo tipa, kogda kazhdyy vopros soprovozhdaetsya otvetami, i ispytuemyy vybiraet iz nih libo odin, libo neskol'ko pravil'nyh. Stat'ya posvyaschena modelirovaniyu urovnya matematicheskih znaniy studentov Moskovskogo gosudarstvennogo stroitel'nogo universiteta na osnove rezul'tatov testirovaniya s ispol'zovaniem special'noy programmy formirovaniya testov. Provoditsya sravnitel'nyy analiz rezul'tatov, poluchennyh v hode primeneniya testovyh zadaniy otkrytogo i zakrytogo tipov. Poluchena ocenka otnositel'noy slozhnosti testovyh zadaniy otkrytogo i zakrytogo tipa, pri etom sdelan vyvod o ee neizmennosti v zavisimosti ot tipa testovyh zadaniy. Sformulirovany metodicheskie rekomendacii po provedeniyu testirovaniya stu-dentov i prepodavaniyu matematicheskoy discipliny.
pedagogicheskiy test, formirovanie testov, modelirovanie urovnya znaniy, zadaniya zakrytogo i otkrytogo tipa, matematicheskie discipliny.
Введение. В настоящее время педагогические тесты становятся одной из основных форм контроля знаний студентов ВУЗов. Они позволяют получить объективную информацию о степени владения студентом учебного материала и соотнести эти данные с задачами обучения с целью своевременной коррекции процесса обучения.
Педагогический тест представляет собой совокупность тестовых заданий, которая дает возможность качественно и эффективно оценить уровень и структуру подготовленности испытуемых [1, 2]. По целям использования таких тестов их можно разделить на два больших класса – нормативно-ориентированные и критериально-ориентированные [3, 4]. Первый тип тестов позволяет ранжировать испытуемых по уровню знаний, сопоставлять успехи испытуемых в области изучения той или иной дисциплины. Второй тип тестов представляет собой систему заданий, позволяющую оценить, насколько хорошо испытуемый усвоил пройденный учебный материал [5].
В работе проводится математическое моделирование результатов тестирования по математике студентов первого курса МГСУ. Анализ выполнения теста позволяет оценить как степень усвоения испытуемыми материала учебной дисциплины, так и пригодность конкретного теста для измерения знаний учащихся [6–10].
Структура и условия выполнения теста. Тестирование проводилось по теме «Введение в математический анализ. Пределы» для девяти групп студентов-первокурсников МГСУ: студенты первых шести групп обучаются по программе бакалавриата по направлению 38.03.01 «Экономика» и остальных трех – по специальности 09.03.01 «Информатика и вычислительная техника». Первые три группы потока экономистов образовали испытуемую группу А, другие три – группу В, а студенты системотехники – группу С. Все девять групп обучаются по сходным программам дисциплины с единообразной методикой проведения практических занятий, но уровень знаний школьной математики студентов, специализирующихся на информатике и вычислительной технике, гораздо выше.
Тест состоит из 20 заданий. При подготовке теста преподаватели кафедры информатики и прикладной математики МГСУ составили по 30 различных однотипных задач для каждого из 20 заданий теста. Затем оригинальная авторская программа [11] сформировала уникальные наборы тестовых заданий для каждого испытуемого. Программа позволяет генерировать тесты закрытого и открытого типа. Тест проводился в письменном «бумажном» виде. Это несколько усложняет проверку работ преподавателями, но позволяет проверять открытые задания, в которых форма записи ответа не регламентирована.
Для группы испытуемых А тест проводился в открытой форме, т. е. в заданиях отсутствовал список ответов, студенты должны были самостоятельно решить задачу и записать полученный ответ. Студенты из групп В и С выполняли тест из закрытых заданий, в каждом из которых необходимо было выбрать один правильный ответ из имеющихся пяти. Продолжительность написания теста для каждой группы составила 90 минут. При оценке тестовых заданий использовалась дихотомическая оценка тестирования, т. е. {0, 1}, где 0 – задание выполнено неправильно, 1 – задание выполнено правильно.
Очевидным недостатком тестов закрытого типа является возможность случайного угадывания верного ответа. Для минимизации угадывания при проведении данного тестирования от студентов требовалось не только указать верный ответ, но и предъявить письменное решение задачи. Качество и форма записи текста решения не оценивались, но при его отсутствии тестовое задание не засчитывалось. Вопросы, связанные с оценкой влияния угадывания на итоговый балл теста, подробно исследуются в [12-14].
Анализ результатов тестирования. Результаты выполнения теста обрабатывались табличным процессором Excel. На рисунках 1 и 2 представлены гистограммы распределения набранных баллов студентами из групп А и В (по горизонтальной оси – количество набранных баллов, по вертикальной – количество студентов). Видно, что наиболее часто встречающееся количество баллов в группе А равно 6, а в группе В – 10. При этом в группе А менее 20 % студентов верно решили более половины заданий, в то время как в группе В таких студентов около 70 %. Это означает, что студентам-экономистам легче выполнять тест с заданиями закрытого типа, в которых имеются варианты ответов.
|
|
|
|
Рис. 1. Распределение баллов
|
Рис. 2. Распределение баллов |
На рисунках 3 и 4 представлены гистограммы правильно решенных заданий студентами групп А и В (по горизонтальной оси – номер задания, по вертикальной – количество студентов, верно решивших задание). Видно, что распределения для обеих групп имеют схожий вид, при этом коэффициент корреляции верно решенных задач студентами двух групп равен 0,94. Следовательно, относительная сложность задачи не зависит от типа задания, то есть от того, предъявлены ли студенту варианты ответов или нет.
|
|
|
|
Рис. 3. Распределение правильно |
Рис. 4. Распределение правильно |
Аналогичные гистограммы распределения баллов и правильно решенных заданий для группы С приводятся на рис. 5 и рис. 6. соответственно. Большинство испытуемых этой группы набрали 13 баллов, при этом около 80 % студентов правильно решили более половины заданий. Сравнение результатов выполнения закрытого теста группами В и С позволяет сделать вывод, что студенты группы С имеют лучшие знания по математике, чем студенты-экономисты группы В. Распределение набранных баллов студентов, специализирующихся на информатике и вычислительной технике, приблизительно такое же, как и у студентов-экономистов. Коэффициент корреляции правильно решенных заданий группы С с группой А равен 0,9, у группы С с группой В – 0,89.
|
|
|
|
Рис. 5. Распределение баллов
|
Рис. 6. Распределение правильно |
В начале первого семестра студенты всех девяти групп писали тест по элементарной математике, который содержал 20 заданий открытого типа и охватывал все разделы школьной математики [15]. В таблице 1 приведены средние баллы теста «Введение в математический анализ. Пределы», а также коэффициенты корреляции с баллом ЕГЭ и с баллом теста по элементарной математике.
Таблица 1
Статистические характеристики теста
|
|
Средний балл теста |
Коэффициент |
Коэффициент |
|
Группа А |
7,2 |
0,35 |
0,46 |
|
Группа В |
10,4 |
0,37 |
0,38 |
|
Группа С |
11,5 |
0,37 |
0,59 |
Сравним результаты тестирования групп В и С, которые писали закрытый тест с предъявленными вариантами ответов. Средний тестовый балл в группе С выше, чем в группе В, т.е. уровень знаний и умений студентов экономических специальностей ниже уровня знаний студентов, специализирующихся на вычислительной технике. У студентов группы А средний балл самый низкий. Слабая корреляция с баллом ЕГЭ у всех трех групп объясняется тем, что в университете иная методика обучения, студентам в первое время тяжело адаптироваться к новой обстановке, к тому же в школе к ЕГЭ их «натаскивают» в течение двух лет, решая одни и те же однотипные задачи, в то время как в университете тему «Пределы» изучают в течение одного месяца.
Заключение. Сформулируем итоги моделирования и анализа результатов выполнения теста по теме «Введение в математический анализ. Пределы».
1. Получена оценка относительной сложности тестовых заданий открытого и закрытого типа. Наиболее сложным оказался тест открытого типа, который выполняли студенты экономических специальностей, средний балл которых составил 7,2. Самый лучший результат показали студенты, специализирующиеся на вычислительной технике, получившие в среднем 11,5 балла. У экономистов, выполнявших тест в закрытой форме, средний бал оказался немного меньшим и равным 10,4. Сравнение средних баллов в группах А и В позволяет количественно оценить усложнение одного и того же тестового задания при изменении его типа: около 3 баллов на тест или около 0,15 балла на одно задание. Отметим, что подобная оценка может существенно измениться при тестировании других групп по иным разделам и дисциплинам, данный вопрос требует отдельного тщательного исследования.
2. Сделан вывод о неизменности относительной сложности задач независимо от того, тест открытого или закрытого типа выполняют студенты.
3. По итогам теста сформулированы методические рекомендации по тестированию студентов и преподаванию учебной дисциплины «Математика». Во-первых, целесообразно студентам-экономистам выдавать тест закрытого типа, чтоб средний балл испытуемых был около N/2, где N – количество заданий в тесте. Это важно для установления адекватного порога успешного прохождения теста и ранжирования знаний студентов. Во-вторых, в результате анализа содержания тестовых заданий, оказавшихся наиболее сложными, выяснилось, что хуже всего испытуемые решают задачи, требующие знания свойств элементарных функции. Именно на эту тему нужно обратить особое внимание при повторении школьной математики на первых занятиях.
1. Kim V.S. Testirovanie uchebnyh dostizheniy. Ussuriysk: UGPI, 2007. 214 s.
2. Avanesov V.S. Forma testovyh zadaniy. M.: Centr testirovaniya, 2005. 156 s.
3. Vilford D. Sovremennaya tipologiya pedagogicheskih testov. Informacionnyy byulleten' «Testy v obrazovanii», 1999, vyp.1. 66 Berk R.A. Criterion-referenced measurement: The state of art. Baltimor, MD: Johns Hopkins University Press, 1980.
4. Keeves J.P. (Ed.) Educational Research, Metodology and Measurement: An International Handbook. Oxford: Pergamon press, 1988.
5. Pereverzev V. Yu. Kriterial'no-orientirovannoe pedagogicheskoe testirovanie: Ucheb. posobie. M.: Logos, 2003.
6. Safina G.L., Osipov Yu.V., Kerimova D.H., Krasovskaya I.A. Poluavtomaticheskaya sistema testirovaniya po matematike // Otkrytoe i distancionnoe obrazovanie. 2015. № 2 (58). S. 56-62.
7. Duncan K.A., MacEachern S.N. Nonpara-metric Bayesian modelling for item response // Statistical Modelling. 2008. Vol. 8. No. 1. P. 41-66.
8. Kir'yakov B.S. Statisticheskaya model' mnogokratnogo testirovaniya uchaschihsya // Vestnik Ryazanskogo gosudarstvennogo universiteta imeni S.A. Esenina. 2008. № 1/18. S. 3-23.
9. Liang L., Browne M. W. A Quasi-Parametric Method for Fitting Flexible Item Re-sponse Functions // Journal of Educational and Behavioral Statistics. 2015. Vol. 40. P. 5-34.
10. Zaharov A.A. Kolichestvennye i strukturnye harakteristiki kompleksnyh testovyh kompoziciy, sformirovannyh na osnove binoma N'yutona // Vestnik Saratovskogo gosudarstvennogo tehnicheskogo universiteta. 2004. № 1. S. 19-24.
11. Fujimoto K.A., Karabatsos G. Dependent Dirichlet Process Rating Model Applied Psychological Measurement. 2014. Vol. 38. P. 217-228.
12. Kuz'mina L.I., Osipov Yu.V. Korrekciya testovyh ballov s uchetom otkazov ot ugadyvaniya // Alma-mater (Vestnik vysshey shkoly). 2014. № 12. S. 85-91.
13. Kim V.S. Korrekciya testovyh ballov na ugadyvanie. // Pedagogicheskie izmereniya. 2006. №4. S. 47-55.
14. Kromer V.V. Esche raz o korrekcii testovyh ballov. // Pedagogicheskie izmereniya. 2007. № 1. S. 89-94.
15. Kuz'mina L.I., Osipov Yu.V. O testirovanii studentov po «shkol'noy» matematike // Kachestvo. Innovacii. Obrazovanie. 2014. № 12. S. 3-7.
