<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article
PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.4 20190208//EN"
       "JATS-journalpublishing1.dtd">
<article xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" article-type="research-article" dtd-version="1.4" xml:lang="en">
 <front>
  <journal-meta>
   <journal-id journal-id-type="publisher-id">Bulletin of Bryansk state technical university</journal-id>
   <journal-title-group>
    <journal-title xml:lang="en">Bulletin of Bryansk state technical university</journal-title>
    <trans-title-group xml:lang="ru">
     <trans-title>Вестник Брянского государственного технического университета</trans-title>
    </trans-title-group>
   </journal-title-group>
   <issn publication-format="print">1999-8775</issn>
  </journal-meta>
  <article-meta>
   <article-id pub-id-type="publisher-id">26710</article-id>
   <article-id pub-id-type="doi">10.30987/article_5c4ed023d49bc2.26556037</article-id>
   <article-categories>
    <subj-group subj-group-type="toc-heading" xml:lang="ru">
     <subject>Информатика, вычислительная техника и управление</subject>
    </subj-group>
    <subj-group subj-group-type="toc-heading" xml:lang="en">
     <subject>Computer engineering and information technology</subject>
    </subj-group>
    <subj-group>
     <subject>Информатика, вычислительная техника и управление</subject>
    </subj-group>
   </article-categories>
   <title-group>
    <article-title xml:lang="en">AUTOMATED SYSTEM OF ASSESSMENT AND MONITORING OF STUDENTS’ COMPETENCE MASTERY LEVEL: ORGANIZATION-METHODICAL SUPPORT</article-title>
    <trans-title-group xml:lang="ru">
     <trans-title>АВТОМАТИЗИРОВАННАЯ СИСТЕМА ОЦЕНКИ  И МОНИТОРИНГА УРОВНЯ ОСВОЕНИЯ КОМПЕТЕНЦИЙ СТУДЕНТАМИ:  ОРГАНИЗАЦИОННО-МЕТОДИЧЕСКОЕ ОБЕСПЕЧЕНИЕ</trans-title>
    </trans-title-group>
   </title-group>
   <contrib-group content-type="authors">
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Мирошников  </surname>
       <given-names>Вячеслав Васильевич</given-names>
      </name>
      <name xml:lang="en">
       <surname>Miroshnikov  </surname>
       <given-names>Vyacheslav Васильевич</given-names>
      </name>
     </name-alternatives>
     <email>v.v.miroshnikov@mail.ru</email>
     <xref ref-type="aff" rid="aff-1"/>
    </contrib>
    <contrib contrib-type="author">
     <contrib-id contrib-id-type="orcid">https://orcid.org/0000-0002-8246-6271</contrib-id>
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Антипин</surname>
       <given-names>Дмитрий Яковлевич</given-names>
      </name>
      <name xml:lang="en">
       <surname>Antipin</surname>
       <given-names>Dmitriy Yakovlevich</given-names>
      </name>
     </name-alternatives>
     <email>adya2435@gmail.com</email>
     <bio xml:lang="ru">
      <p>кандидат технических наук;</p>
     </bio>
     <bio xml:lang="en">
      <p>candidate of technical sciences;</p>
     </bio>
     <xref ref-type="aff" rid="aff-2"/>
    </contrib>
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Ефимова</surname>
       <given-names>Галина Вячеславовна</given-names>
      </name>
      <name xml:lang="en">
       <surname>Efimova</surname>
       <given-names>Galina Вячеславовна</given-names>
      </name>
     </name-alternatives>
     <email>g70@yandex.ru.</email>
     <xref ref-type="aff" rid="aff-3"/>
    </contrib>
    <contrib contrib-type="author">
     <name-alternatives>
      <name xml:lang="ru">
       <surname>Митрошенкова  Алексеевна</surname>
       <given-names>Елена Алексеевна</given-names>
      </name>
      <name xml:lang="en">
       <surname>Mitroshenkova  Alekseevna</surname>
       <given-names>Elena Alekseevna</given-names>
      </name>
     </name-alternatives>
     <email>helen.mitr@gmail.com</email>
     <xref ref-type="aff" rid="aff-4"/>
    </contrib>
   </contrib-group>
   <aff-alternatives id="aff-1">
    <aff>
     <institution xml:lang="ru">Брянский государственный технический университет</institution>
     <country>Россия</country>
    </aff>
    <aff>
     <institution xml:lang="en">Брянский государственный технический университет</institution>
     <country>Russian Federation</country>
    </aff>
   </aff-alternatives>
   <aff-alternatives id="aff-2">
    <aff>
     <institution xml:lang="ru">Брянский государственный технический университет</institution>
    </aff>
    <aff>
     <institution xml:lang="en">Bryansk State Technical University</institution>
    </aff>
   </aff-alternatives>
   <aff-alternatives id="aff-3">
    <aff>
     <institution xml:lang="ru">Брянский государственный технический университет</institution>
     <country>Россия</country>
    </aff>
    <aff>
     <institution xml:lang="en">Брянский государственный технический университет</institution>
     <country>Russian Federation</country>
    </aff>
   </aff-alternatives>
   <aff-alternatives id="aff-4">
    <aff>
     <institution xml:lang="ru">Московский техникум космического приборостроения  Московского государственного технического университета им. Н.Э. Баумана</institution>
     <country>Россия</country>
    </aff>
    <aff>
     <institution xml:lang="en">Московский техникум космического приборостроения  Московского государственного технического университета им. Н.Э. Баумана</institution>
     <country>Russian Federation</country>
    </aff>
   </aff-alternatives>
   <volume>2019</volume>
   <issue>1</issue>
   <fpage>77</fpage>
   <lpage>84</lpage>
   <self-uri xlink:href="https://naukaru.ru/en/nauka/article/26710/view">https://naukaru.ru/en/nauka/article/26710/view</self-uri>
   <abstract xml:lang="ru">
    <p>Представлено методическое обеспечение программного модуля проведения компетентностного экзамена с применением автоматизированной системы оценки и мониторинга уровня освоения компетенций студентами. Описаны состав и форма компетентностно-ориентированных экзаменационных заданий для оценки сформированных элементов знаний и умений, обеспечивающих компетенции. Приведены примеры результатов апробации предложенного подхода.</p>
   </abstract>
   <trans-abstract xml:lang="en">
    <p>Представлено методическое обеспечение программного модуля проведения компетентностного экзамена с применением автоматизированной системы оценки и мониторинга уровня освоения компетенций студентами. Описаны состав и форма компетентностно-ориентированных экзаменационных заданий для оценки сформированных элементов знаний и умений, обеспечивающих компетенции. Приведены примеры результатов апробации предложенного подхода.</p>
   </trans-abstract>
   <kwd-group xml:lang="ru">
    <kwd>уровень развитости компетенции</kwd>
    <kwd>компетентностный подход</kwd>
    <kwd>компетентностный экзамен</kwd>
    <kwd>компетентностно-ориентированное задание</kwd>
    <kwd>программный модуль</kwd>
    <kwd>автоматизированная система</kwd>
   </kwd-group>
  </article-meta>
 </front>
 <body>
  <p>ВведениеВ настоящее время подготовка студентов по программам высшего профессионального и среднего профессионального образования осуществляется по новым стандартам, основным требованием которых является формирование у специалистов необходимого набора компетенций. Каждая компетенция, в свою очередь, способствует развитию набора знаний, умений и владений в ходе изучения дисциплины, ее формирующей. В связи с этим возникает ряд проблем по оценке уровня обученности студентов при компетентностном подходе. Встает вопрос, какими контрольно-оценочными средствами оценить степень сформированности той или иной компетенции, состоящей из элементов: знаний, умений и владений.Для решения этой проблемы авторами предложена автоматиризованная система мониторинга уровня освоения студентами компетенций по выбранному направлению подготовки [5]. В системе имеется программный модуль оценки знаний, умений и навыков (ЗУН) при проведении компетентностного экзамена по изучаемой дисциплине. В данной статье описываются методика и алгоритмы этого модуля оценки ЗУН.Предварительный анализ ЗУН-элементного содержания компетенцийВ рабочих программах дисциплин должны быть определены все виды компетенций: базовые (из ФГОС), дополнительные (из вариативной части ООП), компетенции по выбору студентов. Для каждой из этих компетенций должны быть определены результаты освоения: знания («Должен знать»), умения («Должен уметь»), навыки («Должен владеть») (по каждому из этих элементов должно быть несколько позиций). Результаты освоения компетенции (ЗУН) должны максимально охватывать содержание всех разделов дисциплины - тематики лекций, практических и лабораторных работ. В рабочей программе дисциплины также должна быть описана процедура проведения экзамена при компетентностном подходе. При оценке навыков следует учитывать оценку курсовой работы и практики.Результаты анализа ЗУН-элементного содержания компетенций могут быть представлены в виде табл. 1 (например, для дисциплины «Технология разработки и защиты баз данных»).Компетентностно-ориентированные задания на экзаменеПри проведении экзамена наилучшим способом проверки ЗУН является предоставление студентам компетентностно-ориентированных заданий (КОЗ). Компетентностными будем называть те задания, которые удовлетворяют следующим требованиям [1]:общекультурная и социальная значимость получаемого результата - это обеспечивает познавательную мотивацию учащегося;цель решения задачи заключается не столько в получении ответа, сколько в освоении нового знания (метода, способа решения, приема) с возможным переносом на другие предметы;по структуре задача нестандартная, т.е. в структуре задачи не определены некоторые из ее компонентов;возможно наличие нескольких путей решения.Таблица 1Форма представления результатов анализа ЗУН-элементного содержания компетенцийДисциплинаКомпетенцияПК 2.1. Разрабатывать объекты базы данныхТехнология разработки и защиты БДЗнать: основные положения теории баз данных, хранилищ данных, баз знаний;современные инструментальные средства разработки схем баз данных.Уметь:работать с современными CASE‑средствами проектирования баз данных;создавать объекты баз данных в современных системах управления базами данных; управлять доступом к этим объектамПК 2.2. Реализовывать базу данных в конкретной СУБДЗнать: методы описания схем баз данных в современных СУБД;основные принципы построения концептуальной, логической и физической моделей данных;роль и место знаний по дисциплине при освоении смежных дисциплин по выбранной специальности и в сфере профессиональной деятельности.Уметь:разрабатывать прикладные программы с использованием языка SQL ПК 2.3. Решать вопросы администрирования базы данныхЗнать: структуры данных СУБД, общий подход к организации представлений, таблиц, индексов и кластеров.Уметь:создавать хранимые процедуры и триггеры в базах данных;формировать и настраивать схему базы данныхПК 2.4. Реализовывать методы и технологии защиты информации в базах данныхЗнать: методы организации целостности данных;способы контроля доступа к данным и управления привилегиями;основные методы и средства защиты данных в базах данных.Уметь:применять стандартные методы для защиты объектов базы данных В качестве основных можно выделить следующие типы компетентностно-ориентированных заданий [3]: предметные КОЗ: в условии описана предметная ситуация, для решения которой требуется установление и использование широкого спектра связей предметного содержания, изучаемого в разных разделах дисциплины; в ходе анализа условия необходимо осмыслить информацию, представленную в разных формах, сконструировать способ решения (путем объединения уже известных способов); полученный результат обеспечивает познавательную значимость решения и может быть использован при решении других задач (заданий);межпредметные КОЗ: в условии описана ситуация на языке одной из предметных областей с явным или неявным использованием языка другой предметной области; для решения нужно применять знания из соответствующих областей, требуется исследование условия с точки зрения выделенных предметных областей, а также поиск недостающих данных, причем решение и ответ могут зависеть от исходных данных, выбранных (найденных) студентами;практические КОЗ: в условии описана практическая ситуация, для разрешения которой нужно применять не только знания из разных предметных областей (обязательно включающих изучаемую дисциплину), но и приобретенные студентами на практике, в повседневном опыте; при этом недостаточно задать только сюжетную фабулу, данные в такой задаче не должны быть оторваны от реальности (например, размеры деталей, цены, технологические процессы должны соответствовать действительности)Форма проведения экзаменаДля проведения компетентностного экзамена и дальнейшего расчета уровня компетенции необходимо разработать форму проведения экзамена с учетом индексов уровня развития компетенции (табл. 2) [2].Таблица 2Уровни развитости компетенцииИндекс уровняОписание уровняУровень развитости компонента компетенции «Должен знать»2Узнавание изученных объектов, свойств, процессов при повторном восприятии ранее усвоенной информации о них. Представление об их принадлежности к определенной области действительности, знание источников получения более подробной информации (знания-ориентирование)3Самостоятельное воспроизведение по памяти в устной и письменной форме изученного материала. Демонстрация понимания смысла воспроизводимых знаний (знания-копия)4Воспроизведение и понимание полученных знаний. Способность представить их в виде логически завершенных элементов, составляющих единое целое, указать на общность и различие изученных методов, способов, приемов, алгоритмов (аналитические знания)5Воспроизведение и понимание полученных знаний. Способность проанализировать их с системных позиций, оценить полноту и связь со смежными областями знаний, дать оценки степени идеализации, точности, корректности пределов применимости определений, понятий, законов и т.п. (системные знания)Уровень развитости компонента компетенции «Должен уметь»2Умение выполнять предписанные действия с опорой на инструкцию (заданный алгоритм) в известной неизменяющейся ситуации (первичные умения)3Умение самостоятельно выполнять типовые действия, требующие выбора методов из числа известных в предсказуемо изменяющейся ситуации (репродуктивные умения)4Умение выполнять действия, связанные с решением нестандартных задач, предполагающих многообразие способов решения, требующих выбора, комбинации и трансформации известных методов, в том числе в непредсказуемо изменяющейся ситуации (продуктивные умения)5Умение выполнять действия, связанные с решением исследовательских задач, предполагающих получение нового знания, требующих разработки информационных подходов и методов решения (исследовательские умения)Уровень развитости компонента компетенции «Должен владеть»2Однократное выполнение предписанных инструкцией действий в известной и неизменяющейся ситуации3Неоднократное самостоятельное выполнение типовых действий в предсказуемо изменяющейся ситуации4Многократное самостоятельное выполнение действий, связанных с решением нестандартных задач в учебной, производственной и общественной деятельности5Многократное самостоятельное выполнение действий, связанных с решением творческих и исследовательских задач в учебной, производственной и общественной деятельности Для каждой из компетенций после определения результатов анализа ЗУН-элементного содержания в экзаменационном билете должно присутствовать задание, позволяющее студенту продемонстрировать уровень освоения знания, умения или владения. Поскольку в соответствии с табл. 2 выделяется 4 индекса уровня развития каждого из элементов, то в задании должны быть представлены соответствующие задачи, отражающие способность обучающегося показать, какого уровня он достиг.При разработке средств оценки уровня развития компетенции предлагается тестовая форма экзаменационного билета. Каждый такой билет должен включать в себя задания четырех уровней сложности (2-5) по каждому из компонентов компетенции (знания, умения, владения). Рассмотрим случай, когда в экзамен включаются только два компонента ЗУН; оценка навыков будет рассмотрена отдельно.Для оценки компонентов компетенции «Должен знать» и «Должен уметь» предлагается использовать задания в зависимости от индекса уровня развития компетенции (табл. 3) [2].Таблица 3Задания для оценки компонентов компетенции «Должен знать» и «Должен уметь»Компонент компетенции «Должен знать»Индекс уровняФорма задания2Тестовые задания закрытого типа, в которых каждый вопрос сопровождается готовыми вариантами ответов, из которых необходимо выбрать один или несколько правильных3Тестовые задания открытого типа (на каждый вопрос испытуемый должен предложить свой ответ: дописать слово, словосочетание, предложение, знак, формулу и т.д.)4Ситуационная задача, требующая применения полученных конкретных знаний, логических суждений для своего решения (например: каждая таблица БД, описывающая конкретную сущность, должна обладать первичным ключом; представлен набор таблиц, необходимо правильно обозначить и выделить первичные ключи в таблицах)5Ситуационная задача с начальным и конечным условиями, требующая предоставления промежуточного решенияКомпонент компетенции «Должен уметь»2Задание, требующее пошагового выполнения инструкции для достижения результата3Решение практической задачи в конкретных заданных условиях (например: есть таблица и 4 команды, написанные на языке SQL; примените одну из них, чтобы создать ограничение на ввод числовых данных в таблицу)4Решение практической задачи, требующей выбора средств и методов ее решения5Решение практической задачи, требующей применения исследовательских умений  Таким образом, форма экзаменационного задания может схематически иметь вид, представленный в табл. 4.В состав экзаменационных заданий могут входить: теоретические положения, излагаемые на лекциях;обязательные теоретические разделы, предназначенные для самостоятельного изучения;типовые ситуационные и практические задачи, разбираемые во время аудиторных занятий по дисциплине;факультативные (нетиповые) практические и ситуационные задачи, требующие творческого подхода, и др.Расчет уровня развития компетенции по компонентам ЗУН                     На основе результатов, полученных в ходе выполнения заданий компетентностного экзамена, предлагается рассчитать уровень развития компетенции по следующей формуле [4]:                                           где  – уровень развитости компонента «Должен знать» компетенции;   – уровень развитости компонента «Должен уметь» компетенции;   – количество позиций раздела требований «Должен знать» в результатах освоения компетенции из рабочей программы дисциплины;   – количество позиций раздела требований «Должен уметь» в результатах освоения компетенции из рабочей программы дисциплины;   – максимально возможные значения уровней развитости знаний и умений.Для оценки уровня развитости знаний () и умений ( ), а также их максимально возможных значений ( ) используется табл. 2.Таблица 4Примерная форма экзаменационного заданияИндекс уровня развитияКомпетенция Знания2Знание 1. Тестовое задание для раздела требований «Должен знать»Знание 2. Тестовое задание для раздела требований «Должен знать»…3Знание 1. Тестовое задание для раздела требований «Должен знать»Знание 2. Тестовое задание для раздела требований «Должен знать»…4Знание 1. Ситуационная задача для раздела требований «Должен знать»Знание 2. Ситуационная задача для раздела требований «Должен знать»…5Знание 1. Тестовое задание для раздела требований «Должен знать»Знание 2. Ситуационная задача для раздела требований «Должен знать»… Умения2Умение 1. Тестовое задание для раздела требований «Должен уметь»Умение 2. Тестовое задание для раздела требований «Должен уметь»…3Умение 1. Тестовое задание для раздела требований «Должен уметь»Умение 2. Тестовое задание для раздела требований «Должен уметь»…4Умение 1. Ситуационная практическая задача для раздела требований «Должен уметь»Умение 2. Ситуационная практическая задача для раздела требований «Должен уметь»…5Умение 1. Ситуационная практическая задача для раздела требований «Должен уметь»Умение 2. Ситуационная практическая задача для раздела требований «Должен уметь»…                       … Апробация                      Рассмотрим пример, когда имеются данные по итогам выполнения студентом заданий компетентностного экзамена по междисциплинарному курсу «Технология разработки и защиты БД». Знания и умения, которыми студент должен овладеть в ходе изучения курса, а также формируемая компетенция представлены в табл. 5. Таблица 5Итоги выполнения студентом заданийСтудентИндекс уровня развитияПК 2.1. Разрабатывать объекты базы данныхЗнать: основные положения теории баз данных, хранилищ данных, баз знаний5современные инструментальные средства разработки схем баз данных3Уметь:работать с современными CASE‑средствами проектирования баз данных 4создавать объекты баз данных в современных системах управления базами данных4управлять доступом к этим объектам3По формуле (1) и данным табл. 5 можно вычислить уровень развития компетенции:Таким образом, уровень сформированности компетенции ПК 2.1 по компонентам «Знания» и «Умения», продемонстрированный в ходе экзамена, равен 0,76.Оценка навыков (владений)                     Одной из составляющих оценки уровня развитости компонентов компетенции являются навыки - умения, которые хорошо отработаны, частично переведены на уровень автоматизма и применение которых является высокоэффективным. В ФГОС этот термин заменен термином «владение». Владение подразумевает способность применения знаний, умений, навыков и опыта профессиональной деятельности при решении сложных, приближенных к реальной профессиональной деятельности задач, а не адаптированных, учебных, упрощенных заданий.Элементы компонента «Владения» могут быть приобретены студентами в процессе следующих видов аудиторной и самостоятельной работы: практические и лабораторные работы по дисциплине;учебные и производственные практики;научно-исследовательская работа, проведенная студентом.Таким образом, для выявления уровня овладения студентами навыками можно предложить виды заданий, представленные в табл. 6.Таблица 6Задания для оценки компонента компетенции «Должен владеть»Индекс уровняФорма задания2Решение типовой практической ситуации, для разрешения которой нужно применять не только знания из разных предметных областей, но и приобретенные студентами на практике, в соответствии с инструкцией 3Самостоятельное решение типовой практической ситуации, для разрешения которой нужно применять знания из разных предметных областей, а также знания и умения, приобретенные студентами на практике4Самостоятельное определение набора действий для решения нестандартной практической задачи, для разрешения которой нужно применять знания из разных предметных областей, а также знания и умения, приобретенные студентами на практике5Самостоятельное определение набора и алгоритма действий для решения нестандартной практической задачи, требующей творческого подхода и исследовательской деятельности Заключение          Предложенная методика позволяет оценить уровень развития компетенции конкретного студента по основным знаниям, умениям и владениям, которые содержатся в рабочей программе дисциплины и предусмотрены ФГОС.           Использование этой методики в качестве методического обеспечения программного модуля проведения компетентностного экзамена в автоматизированной системе оценки и мониторинга уровня освоения компетенции студентами расширяет возможности этой системы [5].           Для разработки содержания заданий компетентностного экзамена могут использоваться комплекты программно-дидактических тестовых материалов (ПДТМ). Примеры таких ПДТМ   были разработаны по результатам исследований в рамках проекта № 10827 «Разработка и внедрение многоуровневой практико-ориентированной системы оценивания качества подготовки специалистов для машиностроения» аналитической ведомственной целевой программы «Развитие научного потенциала высшей школы (2009-2011 годы)» [6-10]. При этом проведение компетентностного экзамена может осуществляться, например, с применением автоматизированной системы контроля знаний «Конструктор тестов» [11].</p>
 </body>
 <back>
  <ref-list>
   <ref id="B1">
    <label>1.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Компетентностно-ориентированные задания в системе высшего образования / А.А. Шехонин, В.А. Тарлыков, И.В. Клещева, А.Ш. Багаутдино-ва, М.Б. Будько, М.Ю. Будько, А.О. Вознесенская, Л.А. Забодалова, Л.А. Надточий, О.Ю. Орлова. - СПб.: НИУ ИТМО, 2014. - 99 с.</mixed-citation>
     <mixed-citation xml:lang="en">Kompetentnostno-orientirovannye zadaniya v sisteme vysshego obrazovaniya / A.A. Shehonin, V.A. Tarlykov, I.V. Klescheva, A.Sh. Bagautdino-va, M.B. Bud'ko, M.Yu. Bud'ko, A.O. Voznesenskaya, L.A. Zabodalova, L.A. Nadtochiy, O.Yu. Orlova. - SPb.: NIU ITMO, 2014. - 99 s.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B2">
    <label>2.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Татур, Ю.Г. Как повысить объективность измерения и оценки результатов образования / Ю.Г. Та-тур // Высшее образование в России. - 2010. - № 5. - С. 22-31.</mixed-citation>
     <mixed-citation xml:lang="en">Tatur, Yu.G. Kak povysit' ob'ektivnost' izmereniya i ocenki rezul'tatov obrazovaniya / Yu.G. Ta-tur // Vysshee obrazovanie v Rossii. - 2010. - № 5. - S. 22-31.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B3">
    <label>3.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Федин, В.Т. Диагностирование компетенций выпускников вузов / В.Т. Федин. - Минск: РИВШ, 2008. - 100 с.</mixed-citation>
     <mixed-citation xml:lang="en">Fedin, V.T. Diagnostirovanie kompetenciy vypusknikov vuzov / V.T. Fedin. - Minsk: RIVSh, 2008. - 100 s.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B4">
    <label>4.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Мирошников, В.В. Система мониторинга качества обучения студентов при компетентностном подходе / В.В. Мирошников, Е.А. Митрошенкова // Вестник Брянского государственного технического университета. - 2015. - № 2. - С.152-160.</mixed-citation>
     <mixed-citation xml:lang="en">Miroshnikov, V.V. Sistema monitoringa kachestva obucheniya studentov pri kompetentnostnom podhode / V.V. Miroshnikov, E.A. Mitroshenkova // Vestnik Bryanskogo gosudarstvennogo tehnicheskogo universiteta. - 2015. - № 2. - S.152-160.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B5">
    <label>5.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Мирошников, В.В. Автоматизированная система мониторинга уровня освоения компетенций студентами в процессе профессионального образования / В.В. Мирошников, А.В. Морозова, Г.В. Ефимова, Е.А. Митрошенкова // Вестник Брянского государственного технического университета. - 2018. - № 12. - С. 79-86.</mixed-citation>
     <mixed-citation xml:lang="en">Miroshnikov, V.V. Avtomatizirovannaya sistema monitoringa urovnya osvoeniya kompetenciy studentami v processe professional'nogo obrazovaniya / V.V. Miroshnikov, A.V. Morozova, G.V. Efimova, E.A. Mitroshenkova // Vestnik Bryanskogo gosudarstvennogo tehnicheskogo universiteta. - 2018. - № 12. - S. 79-86.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B6">
    <label>6.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Оценка качества подготовки инженерных кадров в области технологии, оборудования и автоматизации машиностроительных производств: программно-дидактические тестовые материалы: учеб. пособие / А.В. Киричек, А.В. Морозова, С.И. Брусов, Ю.В. Василенко, О.А. Василенко, А.И. Зайцев, Д.Е. Тарасов, А.А. Алисов, М.В. Алисова; под ред. А.В. Киричека и А.В. Морозовой. - М.: Спектр, 2011. - 416 с.</mixed-citation>
     <mixed-citation xml:lang="en">Ocenka kachestva podgotovki inzhenernyh kadrov v oblasti tehnologii, oborudovaniya i avtomatizacii mashinostroitel'nyh proizvodstv: programmno-didakticheskie testovye materialy: ucheb. posobie / A.V. Kirichek, A.V. Morozova, S.I. Brusov, Yu.V. Vasilenko, O.A. Vasilenko, A.I. Zaycev, D.E. Tarasov, A.A. Alisov, M.V. Alisova; pod red. A.V. Kiricheka i A.V. Morozovoy. - M.: Spektr, 2011. - 416 s.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B7">
    <label>7.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Оценка качества подготовки технических специалистов в области автоматизации машиностроительных производств: программно-дидактические тестовые материалы: учеб. пособие / А.В. Кири-чек, А.В. Морозова, О.А. Василенко, С.А. Лавру-шин, Т.А. Ноздрачева, Ю.К. Сотников, А.А. Али-сов; под ред. А.В. Киричека и А.В. Морозовой. - М.: Спектр, 2011. - 540 с.</mixed-citation>
     <mixed-citation xml:lang="en">Ocenka kachestva podgotovki tehnicheskih specialistov v oblasti avtomatizacii mashinostroitel'nyh proizvodstv: programmno-didakticheskie testovye materialy: ucheb. posobie / A.V. Kiri-chek, A.V. Morozova, O.A. Vasilenko, S.A. Lavru-shin, T.A. Nozdracheva, Yu.K. Sotnikov, A.A. Ali-sov; pod red. A.V. Kiricheka i A.V. Morozovoy. - M.: Spektr, 2011. - 540 s.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B8">
    <label>8.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Оценка качества подготовки специалистов для машиностроения: критериально-ориентированные педагогические тесты: учеб. пособие / А.В. Киричек, А.В. Морозова, С.И. Брусов, О.В. Полохин, А.И. Тиняков, Н.Е. Моськина, В.Г. Ветров, Д.Е. Тарасов, А.А. Алисов, М.В. Алисова; под ред. А.В. Киричека и А.В. Морозовой. - М.: Спектр, 2010. - 456 с.</mixed-citation>
     <mixed-citation xml:lang="en">Ocenka kachestva podgotovki specialistov dlya mashinostroeniya: kriterial'no-orientirovannye pedagogicheskie testy: ucheb. posobie / A.V. Kirichek, A.V. Morozova, S.I. Brusov, O.V. Polohin, A.I. Tinyakov, N.E. Mos'kina, V.G. Vetrov, D.E. Tarasov, A.A. Alisov, M.V. Alisova; pod red. A.V. Kiricheka i A.V. Morozovoy. - M.: Spektr, 2010. - 456 s.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B9">
    <label>9.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Оценка качества подготовки инженерных кадров для машиностроения: программно-дидактические тестовые материалы: учеб. пособие / А.В. Киричек, А.В. Морозова, С.И. Брусов, А.М. Гаврилин, Г.А. Михайлов, Н.Н. Самойлов, О.В. Полохин, А.И. Тиняков, Н.Е. Моськина, Д.Е. Тарасов, А.А. Алисов, М.В. Алисова; под ред. А.В. Киричека и А.В. Морозовой. - М.: Спектр, 2010. - 354 с.</mixed-citation>
     <mixed-citation xml:lang="en">Ocenka kachestva podgotovki inzhenernyh kadrov dlya mashinostroeniya: programmno-didakticheskie testovye materialy: ucheb. posobie / A.V. Kirichek, A.V. Morozova, S.I. Brusov, A.M. Gavrilin, G.A. Mihaylov, N.N. Samoylov, O.V. Polohin, A.I. Tinyakov, N.E. Mos'kina, D.E. Tarasov, A.A. Alisov, M.V. Alisova; pod red. A.V. Kiricheka i A.V. Morozovoy. - M.: Spektr, 2010. - 354 s.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B10">
    <label>10.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Оценка качества подготовки технических специалистов для машиностроения: программно-дидактические тестовые материалы: учеб. пособие / А.В. Киричек, А.В. Морозова, Н.Е. Моськина, В.Г. Ветров, Т.С. Блынская, В.М. Големинова, В.В. Дворянинов, Д.Е. Тарасов, А.А. Алисов, М.В. Алисова; под ред. А.В. Киричека и А.В. Морозовой. - М.: Спектр, 2010. - 400 с.</mixed-citation>
     <mixed-citation xml:lang="en">Ocenka kachestva podgotovki tehnicheskih specialistov dlya mashinostroeniya: programmno-didakticheskie testovye materialy: ucheb. posobie / A.V. Kirichek, A.V. Morozova, N.E. Mos'kina, V.G. Vetrov, T.S. Blynskaya, V.M. Goleminova, V.V. Dvoryaninov, D.E. Tarasov, A.A. Alisov, M.V. Alisova; pod red. A.V. Kiricheka i A.V. Morozovoy. - M.: Spektr, 2010. - 400 s.</mixed-citation>
    </citation-alternatives>
   </ref>
   <ref id="B11">
    <label>11.</label>
    <citation-alternatives>
     <mixed-citation xml:lang="ru">Морозова, А.В. Методологические основы тестовой квалиметрии профессиональных кадров в машиностроении: монография / А.В. Морозова; под ред. А.В. Киричека. - М.: Спектр, 2010. - 280 с.</mixed-citation>
     <mixed-citation xml:lang="en">Morozova, A.V. Metodologicheskie osnovy testovoy kvalimetrii professional'nyh kadrov v mashinostroenii: monografiya / A.V. Morozova; pod red. A.V. Kiricheka. - M.: Spektr, 2010. - 280 s.</mixed-citation>
    </citation-alternatives>
   </ref>
  </ref-list>
 </back>
</article>
