Рус Eng Cn Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Modern Education
Reference:

Online testing as a teaching method, form of questionnaire and knowledge control of the medical personnel

Semenov Dmitry

Scientific Associate, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str. 1

d.semenov@npcmr.ru
Sergunova Kristina Anatol'evna

Head of the department of Control Measures Development, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str. 1

sergunova@npcmr.ru
Vetsheva Natalia Nikolaevna

Doctor of Medicine

Deputy Director of Medical Department, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str.1

vetsheva@npcmr.ru
Morozov Sergei Pavlovich

Doctor of Medicine

Director, Scientific and Practical Center of Medical Radiology of Moscow Healthcare Department

109029, Russia, g. Moscow, ul. Srednyaya Kalitnikovskaya, 28 str.1

morozov@npcmr.ru

DOI:

10.25136/2409-8736.2019.2.26916

Received:

18-07-2018


Published:

18-06-2019


Abstract: This article explores the online testing system with the elements of adaptive learning, developed for assessing the level of knowledge of medical specialists in the key areas of diagnostic radiology. The implementation of this program considers the modern trends of the usage of distance teaching techniques. The main advantages of the online testing system is the possibility of assessing the level of knowledge among the specialists at various stages of education, as well as reduction in time required for self-study, analysis of the acquired results, and ensuring availability for expanding and correction of the database of test assignments. The system is introduces in PHP programming language and interacts with MySQL database, which stores the test assignments and statistical data. The list of questions automatically forms out of the selected sub-specialty based on the compliance matrix that limits the scope of topics and the amount of questions. A set of tags was attached to each of the test assignment, so each user receives a unique set of tasks on the selected subject. The article examines on of the advanced trends of further development of the system – implementation of the methods of adaptive learning, which unlike the traditional methods, is aimed at the improvements of the quality of education by creating an individual education plan. Application of the suggested algorithm allows each user to conduct a detailed assessment of the level of their knowledge, set right priorities, and achieve the desired result, while minimizing their time. Creation of such system will also contribute to the reduction of costs for tuition within the framework of continuing medical education, as well as improvement in the quality of professional training.


Keywords:

adaptive training, online testing, knowledge control, medical education, questions database, education efficiency, self control, individual training, education quality, education program

This article written in Russian. You can find original text of the article here .

Введение

Одним из важнейших параметров, влияющих на уровень оказания медицинской помощи, является качество профессиональной подготовки врачей и среднего медицинского персонала. Для оценки способности специалистов выполнять служебные обязанности в соответствии с занимаемой должностью необходим периодический контроль уровня знания [1].

Обеспечение подготовки и переподготовки медицинских кадров на основе непрерывного профессионального образования в «Концепции долгосрочного социально-экономического развития РФ до 2020 года» указано как одна из приоритетных задач развития системы здравоохранения. При этом, одной из основных причин неудовлетворительного качества медицинской помощи отмечена недостаточная квалификация врачей и их низкая мотивация к профессиональному совершенствованию [2].

Присоединение России к Болонской декларации в 2003 г. и вхождение России в единое Европейское образовательное пространство внесло ряд изменений в послевузовское образование врачей [3]. В отличие от большинства европейских стран, где медицинские работники обязаны ежегодно подтверждать свои знания и ежедневно использовать современные руководства на рабочих местах, по существующей системе непрерывного последипломного образования, российские врачи проходят курсы повышения квалификации 1 раз в 5 лет. Ситуация усугубляется тем, что обучение для подтверждения сертификата зачастую носит формальный характер и содержание образовательных программ не всегда отвечает запросам практического здравоохранения. Отсутствие дистанционных технологий преподавания приводит к тому, что обучение на курсах повышения квалификации в очной форме вынуждает врачей, к неудовольствию работодателей, на 1-2 месяца отрываться от практической работы [4].

В настоящее время учебный процесс в системе дополнительного профессионального образования стремится выйти на качественно новый уровень развития, отвечающий современным потребностям общества и государства, инновационному развитию системы здравоохранения [5]. Разрабатываются новые системы профессиональной подготовки, позволяющие специалисту заниматься постоянным совершенствованием своих профессиональных знаний и навыков [6].

При переходе к системе непрерывного медицинского образования содержание разных форм образовательных программ повышения квалификации требует, прежде всего, соответствия актуальным требованиям практического здравоохранения и современных образовательных тенденций, среди которых можно выделить: активное использование дистанционных технологий, проблемное обучение в малых группах, обучение в составе междисциплинарных команд [7].

С учетом интенсивного развития информационных технологий все больше внимания уделяется гибким моделям образовательного процесса, в которых ведущую роль играют различные формы дистанционного обучения, позволяющие создать единое образовательное пространство, лишенное территориальных барьеров. Неотъемлемой частью онлайн-технологий является дистанционная система контроля – универсальный инструмент, определяющий уровень знаний на всех стадиях образовательного процесса.

Для создания подобных систем, как правило, используют онлайн-тестирование, имеющее ряд преимуществ по сравнению с другими методами контроля, в том числе тестовыми заданиями на листах бумаги:

- доступность и мобильность;

- возможность оценки достигнутого в ходе самостоятельной подготовки уровня знаний;

- возможность сравнения результатов с целью оценки степени прогресса на любых этапах обучения;

- сокращение времени на проверку результатов;

- возможность быстрой корректировки тестовых заданий.

Материалы и методы

С учетом описанных выше тенденций развития дистанционного обучения на базе ГБУЗ "НПЦМР ДЗМ" была разработана онлайн-система тестирования, позволяющая оценить степень подготовки медицинских специалистов по основным направлениям лучевой диагностики.

Система реализована на языке PHP и взаимодействует с базой данных MySQL, в которой хранятся тестовые задания и результаты тестирования пользователей. В модуле реализована система с тремя различными уровнями доступа:

1. Пользователи - группа лиц, непосредственно проходящих тестовый контроль знаний.

2. Авторы - пользователи, которым открыт доступ к созданию новых тестовых заданий по выбранной теме с соответствующим набором тегов;

3. Эксперты - пользователи, осуществляющие оценку новых тестовых заданий по выбранным в личном кабинете тематикам с целью определения корректности вопросов, вариантов ответа и правильности присвоения тегов автором.

Перед началом тестирования пользователям предлагается самостоятельно выбрать специальность и субспециальность, на основании которых в автоматическом режиме формируется список из фиксированного количества случайно выбранных из базы данных вопросов по указанному направлению. Осуществляется поиск набора тестовых заданий согласно «матрице соответствий» - таблице, определяющей количество вопросов по тематикам, соответствующим выбранной субспециальности.

Например, при выборе субспециальности «традиционная рентгенодиагностика» вопросы по тематикам распределяются следующим образом:

· голова и шея – 14 %;

· торакальная рентгенология – 16 %;

· абдоминальная рентгенология – 14 %;

· урогенитальная рентгенология – 14 %;

· мышечно-скелетная рентгенология – 14 %;

· сердечно-сосудистая рентгенология – 14 %;

· физика – 14 %

После прохождения тестирования отображается процент правильных ответов, позволяющий оценить уровень профессиональной подготовки. Результаты пройденного тестирования сохраняются для последующего анализа. Кроме того, пользователю предлагается оценить вопросы по уровню сложности и корректности постановки заданий, что в последующем позволяет выявить вызывающие наибольшие сложности тематики и использовать в целях повышения качества образовательного процесса, разработки курсов повышения квалификации, рекомендательных систем и пр.

После запуска системы онлайн-тестирования в нее были добавлены вопросы по 39 тематикам, охватывающим 3 специальности, 12 субспециальностей и 11 специализаций. На сегодняшний день в БД насчитывается порядка 2100 вопросов. Добавление новых тестовых заданий происходит в два этапа:

1. Запись автором в БД вопроса и соответствующих ему вариантов ответа.

2. Контроль качества со стороны эксперта.

Каждый новый вопрос подвергается экспертизе и может быть доработан, при необходимости, до момента включения в список тестовых заданий. Для этих целей реализован личный кабинет эксперта, в котором, указав перечень тематик, он получает список новых тестовых заданий, которые предлагается одобрить или отклонить с указанием соответствующей причины.

Каждому вопросу автором присваивается следующий набор тегов:

1. Назначение теста

2. Уровень образования

3. Специальность

4. Специализация

5. Тематика

6. Тема

Полученные результаты

Общее количество пользователей за три месяца составило 453 человека. Из них 1/3 проходили тестирование более одного раза (рис. 1).

Рисунок1. Диаграмма распределения пользователей по количеству прохождений тестовых заданий

Результаты тестирования показали достаточно высокий уровень подготовки– в среднем, 79 % (среднее отклонение 15 %) правильных ответов (рис. 2).

Рисунок 2. Диаграмма распределения количества аттестуемых по доле правильных ответов.

Количество тестирований с результатом менее 70 % правильных ответов (что соответствует отрицательному результату тестового контроля знаний при прохождении программы аттестации врачей) составило 26 %. Однако, как показал анализ данных повторного тестирования, результат может быть улучшен в процессе самостоятельной подготовки учащихся.

В среднем, пользователям, прошедшим тестирование не менее 4 раз, удалось улучшить результат с 55 до 81 %, а пользователям, прошедшим тестирование не менее 10 раз – с 57 до 88 % (рис. 3). Таким образом, повторное тестирование позволяет не только определить уровень профессиональной подготовки медицинский специалистов и выявить вопросы и темы, вызывающие основные сложности, но также определить эффективность дополнительных образовательных программ и самоподготовки в процессе обучения.

Рисунок 3. Распределение результатов у пользователей, проходивших тестирование несколько раз (черный – первый результат, серый – последний).

Для повышения качества системы тестирования пользователям было предложено отметить "некорректные" с их точки зрения вопросы (рис. 4), что позволило выявить задания, требующие повторного рассмотрения с целью корректировки или замены.

Рисунок 4. Диаграмма распределения отметок «некорректный вопрос».

В результате 13 вопросов (менее 1%) из базы данных были отмечены 5 и более раз и направлены на повторное рассмотрение экспертам по соответствующим тематикам.

Обсуждения и дальнейшие перспективы развития. Оценка возможности применения адаптивных систем обучения.

Использование системы онлайн тестирования дает возможность пользователям не только готовится к аттестационному тестированию, но и участвовать в повышении качества системы путем выявления "некорректных" вопросов. Важным показателем эффективности программы является улучшение результата при повторных прохождениях теста (в среднем, с 57 до 72 %).

Одним из перспективных направлений дальнейшего развития системы онлайн-тестирования является применение методов адаптивного обучения, которое, в отличие от традиционного, ставит перед собой задачу повышения качества образования благодаря индивидуальному подходу. Особенностью ее является тот факт, что ученик самостоятельно выбирает путь изучения материала из имеющихся вариантов и без посторонней помощи осваивает тот или иной предмет успешнее, чем при традиционной методике [8, 9]. Одним из первых такой подход описал Ричард Аткинсон в 1968 г.: разработанная в Стэндфордском университете компьютеризированная адаптивная система изучения языка была применена в начальной школе [10]. Она позволяла ученикам, усвоившим материал, быстрее переходить к следующей теме, что, в конечном счете, привело к повышению успеваемости.

Филип Келман в своей работе описывает успешный опыт применения системы адаптивного обучения ARTS в медицинских вузах, которая помимо точности ответа на вопрос, учитывает и время, затраченное на принятие решения [11].

Для реализации методов адаптивного обучения в описанной выше системе предлагается:

1. Ранжировать все вопросы по пятибалльной шкале, применив метод экспертной оценки;

2. Присвоить уровень сложности и соответствующие теги каждой образовательной программе, то есть, систематизировать все курсы, вебинары и мастер-классы так же, как и тестовые вопросы;

3. Каждому пользователю предоставить доступ к сводной таблице достижений, в которой отображается уровень знаний по тематикам (по умолчанию, нулевой) и пройденным курсам.

В представленной программе тестирования после выбора субспециальности пользователь получает n вопросов по каждой теме, включенной в данную субспециальность, согласно «матрице соответствия». Для создания адаптивной системы предлагается ограничиться одним вопросом из каждой тематики, относящимся к среднему уровню сложности. Далее, проверив ответы, в зависимости от правильности ответа система на каждом шаге будет выдавать более сложный или более простой вопрос по соответствующей тематике. После трех правильных ответов на вопросы одного уровня сложности выдача вопросов по тематике прекращается и выставляется соответствующая оценка (рис. 5).

__20171115__13.23.02

Рисунок 5. Алгоритм выбора последующих вопросов.

В результате, сокращается общее время, затрачиваемое на тестирование, без снижения качества оценки знаний. Вместе с этим, каждое завершенное тестирование пополняет таблицу персональных результатов, визуализирующую общий уровень знаний пользователя (рис. 6). Сохраненные в личном кабинете пользователя сводные данные о персональных достижениях могут быть дополнены рекомендациями, касающимися дальнейшего обучения.

__20180125__16.23.27

Рисунок 6. Результаты тестирования с рекомендациями

Заключение

Основным преимуществом системы онлайн-тестирования с введением принципов адаптивного обучения является возможность выбора индивидуального набора образовательных программ для каждого учащегося, при котором он за наименьшее время достигнет желаемых результатов. Детализированная статистика по отдельным субспециальностям позволит провести оценку необходимости совершенствования образовательных программ по конкретным направлениям подготовки, а увеличение объема данных – повысить точность определения их эффективности.

Создание адаптивной системы будет способствовать как сокращению затрат на обучение врача в рамках непрерывного медицинского образования, так и повышению качества профессиональной подготовки.

References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.