Исследуется декомпозиция знаний на множество «микрознаний», допус-кающих однозначную двоичную тестовую оценку. В таком случае задание теста формулируется как набор микрознаний ответов, совокупно раскрывающих уровень знания определенного подраздела. Это позволяет представить разработку набора ответов на тестовый вопрос как задачу исследования многофакторной зависимости. Таким образом, процесс разработки набора ответов можно рассматривать с позиций планирования многофакторного двухуровневого эксперимента. При таком подходе создание теста и оценка его результатов хорошо формализуются и становятся доступны преподавателям, не специализирующимся на разработках тестовых заданий. Методика проиллюстрирована примером построения и применения тестов для оценки уровня знаний по теории автоматического управления. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия тестирующего к осознанности ответа.
факторы знания, планирование эксперимента, двухуровневые многофакторные эксперименты, варьирование факторов, матрица планирования.
УДК 517.977:62
Методология организации тестирования на основе алгоритмов планирования и обработки двухуровневых многофакторных экспериментов[1]
Р. А. Нейдорф, Е. Н. Обухова
Исследуется декомпозиция знаний на множество «микрознаний», допускающих однозначную двоичную тестовую оценку. В таком случае задание теста формулируется как набор микрознаний ответов, совокупно раскрывающих уровень знания определенного подраздела. Это позволяет представить разработку набора ответов на тестовый вопрос как задачу исследования многофакторной зависимости. Таким образом, процесс разработки набора ответов можно рассматривать с позиций планирования многофакторного двухуровневого эксперимента. При таком подходе создание теста и оценка его результатов хорошо формализуются и становятся доступны преподавателям, не специализирующимся на разработках тестовых заданий. Методика проиллюстрирована примером построения и применения тестов для оценки уровня знаний по теории автоматического управления. Статистическая обработка результатов тестирования показала уровень знаний испытуемых, а также степень доверия тестирующего к осознанности ответа.
Ключевые слова:факторы знания, планирование эксперимента, двухуровневые многофакторные эксперименты, варьирование факторов, матрица планирования.
[1] Статья написана при поддержке работ темплана Минобра № 2.3.13 «Метод сбалансированной дискретизации для задач имитационного моделирования динамических процессов в распределённых объектах»
1. Ефремова, Н. Ф. Тестовый контроль в образовании / Н. Ф. Ефремова. - Москва : Логос : Университетская книга, 2007. - 386 с.
2. Curriculum Frameworks for Mathematics and Science / general editor D. Robitalle // TIMMS Monograph № 1. - Vancouver : Pacific Educational Press, 2003. - 616 p.
3. Measuring student knowledge and skills. A New Framework for Assess-ment / Organization for Economic Co-operation and Development (OECD). - Paris : OECD Publications Service, 1999. - 84 p.
4. Нейдорф, Р. А. Методология построения тестов на основе алгоритма планирования двухуровневых многофакторных экспериментов [Электронный ресурс] / Р. А. Нейдорф, Е. Н. Обухова // Информационные технологии в управлении : сб. трудов V Российской междунар. конф. - Санкт-Петербург, 2012. - 1 электрон. опт. диск (CD).
5. Нейдорф, Р. А. Методика составления тестовых заданий на основе алгоритма планирования двухуровневых многофакторных экспериментов и анализ их использования в образовательном процессе [Электронный ресурс] / Р. А. Нейдорф, Е. Н. Обухова // Методики и технологии обеспечения и оценки качества образования : сб. материалов междунар. науч. конф. (Киев, 26-28 июня). - Киров : МЦНИП, 2013. - 1 электрон. опт. диск (CD-ROM).
6. Чернова, Н. А. Статистические методы планирования экстремальных экспериментов / Н. А. Чернова, В. В. Налимов. - Москва : Наука, 1965. - 340 с.
7. Адлер, Ю. П. Планирование эксперимента при поиске оптимальных условий / Ю. П. Адлер, Е. В. Маркова, Ю. В. Грановский. - Москва : Наука, 1976. - 274 с.
8. Нейдорф, Р. А. Анализ применения трехфакторных дробных тестов в учебном процессе / Р. А. Нейдорф, Е. Н. Обухова // Математические методы в технике и технологиях - ММТТ-26 : сб. трудов XXVI междунар. науч. конф. / под общ. ред. А. А. Большакова. - Нижний Новгород, 2013. - Т. 9, секция 11. - С. 320-323.
9. Вентцель, Е. С. Теория вероятностей и ее инженерные приложения / Е. С. Вентцель, Л. А. Овчаров. - 3-е изд. - Москва : Академия, 2003. - 464 с.
10. Нейдорф, Р. А. Методика статистического расчета балла тестируемого с выделением области неуверенности знаний [Электронный ресурс] / Р. А. Нейдорф, Е. Н. Обухова // Системный анализ, управление и обработка информации : сб. трудов IV Междунар. науч. семинара (п. Дивноморское, 29 сент. - 3 окт. 2013). - 1 электрон. опт. диск (СD-ROM).
