Важным аспектом в обеспечении качественной подготовки выпускников резидентуры по специальности педиатрия является мониторинг и оценка соответствующей ОП по специальности – педиатрия. В связи с чем в КГМУ постоянно проводится мониторинг ОП, определен и внедрен механизм для оценки программы. Оценка ОП по педиатрии проводится с учетом миссии и видения КГМУ, требуемых конечных результатов обучения, содержания ОП, оценки знаний и навыков, образовательных ресурсов университета.
Механизмы оценки программы резидентуры в КГМУ включают: мониторинг обеспеченности учебного процесса ресурсами (клинические базы, учебная литература, аудиторный фонд, оборудование, профессорско-преподавательский состав (ППС): преподаватели, клинические наставники, кураторы); мониторинг соответствия учебных планов требованиям государственных стандартов образования; мониторинг обратной связи от заинтересованных сторон о качестве содержания ОП [1–2].
Цель исследования: описать только некоторые механизмы оценки, детализируя роль структурных и совещательных органов в процессе мониторинга и оценки ОП, значимость обратной связи от широкого круга заинтересованных сторон.
В работе описаны некоторые аспекты современной модели организации процесса мониторинга и оценки ОП по специальности педиатрия в КГМУ.
В ОП резидентуры по специальности педиатрия четко определено общее содержание, структура и продолжительность подготовки. Конечные результаты ОП по педиатрии идентифицированы с учетом базового медицинского образования и потребности практического здравоохранения. Установлены обязательные компоненты и компоненты по выбору, при этом в процессе подготовки предусмотрена интеграция практики и теоретического обучения [3–4]. В ОП отражена преемственность с базовым медицинским образованием и непрерывным профессиональным развитием. Следует подчеркнуть важность использования в процессе обучения электронно-технических продуктов как в учебное, так и во внеучебное время, включая элементы дистанционного обучения.
За организацию образовательного процесса по резидентуре педиатрия ответственны ряд структурных подразделений КГМУ, деятельность которых построена по типу иерархии. Ответственность за формирование компетенций резидента по преподаваемым дисциплинам, за качество преподавания, актуализацию содержания учебно-методического комплекса дисциплины (УМКД), в соответствии с тенденциями развития современной системы здравоохранения, достижениями науки, возлагаются на профильную педиатрическую кафедру. Основными обязанностями кафедры в рамках оценки ОП по Педиатрии является мониторинг портфолио: анализ результатов текущего, рубежного, итогового контроля; организация промежуточной аттестации; мини-клинического экзамена; анализ полугодовых и годовых отчетов слушателей резидентуры; итоговая аттестация слушателей резидентуры; анализ результатов независимого комплексного тестирования [5]. Следующим структурным подразделением, обеспечивающим ОП по педиатрии, является деканат резидентуры и дополнительного образования, который, отвечая за формирование рабочего учебного плана и академического календаря, составление расписания, формирование учебных групп и академических потоков, анализирует на основании экзаменационных ведомостей учебные достижения резидентов. Немаловажная роль в организации ОП по педиатрии принадлежит департаменту учебно-методической работы (ДУМР), который, формируя КЭД, проводит проверку качества УМКД и мониторинг учебно-методической документации кафедр резидентуры [6].
Важные решения по улучшению организации ОП по педиатрии принимаются путем обсуждения на заседаниях совещательных органов, к которым относятся: комитет образовательных программ (КОП), академический совет (АС), клинический совет (КС). Особенностью деятельности КОП по резидентуре является формирование рабочих групп по экспертизе и оценке ОП, методов обучения и оценки знаний и навыков, по экспертизе КЭД, планированию мероприятий по улучшению содержания и процесса реализации ОП. Вместе с этим КОП разрабатывает образовательные траектории, отслеживает преемственность уровней образования и проводит мониторинг реализации потребностей практического здравоохранения в рамках подготовки в резидентуре. В состав КОП входят заведующие кафедрами, профессора, доценты, преподаватели кафедр, представители практического здравоохранения, представители контингента обучающихся – резиденты. Значимость АС заключается в разработке основных направлений методической работы в целях повышения уровня подготовки специалистов, в координации взаимодействия структурных подразделений университета, обеспечивающих ОП в резидентуре. Деятельность КС заключается в управлении и совершенствовании клинической подготовки резидентов, осуществляемой на разных уровнях оказания медицинской помощи, начиная с районных, городских, областных, республиканских организаций здравоохранения [7].
В совещательных органах КГМУ соблюдается должное представительство резидентов, как заинтересованных сторон в конечных результатах программ.
Важно отметить работу других структурных подразделений в обеспечении реализации ОП. Прежде всего, департамента кадровой политики и человеческих ресурсов, который совместно с деканатом ответственен за подбор ППС, их соответствия квалификационным требованиям, профилю специальности; обеспечение контроля за совершенствованием и развитием компетенций педагогов. Отдел клинической работы и трудоустройства выпускников ответственен за мониторинг и отбор клинических баз, заключение договоров и координацию работы с клиническими базами, сбор и анализ обратной связи об удовлетворенности ППС и обучающихся клиническими базами, удовлетворенности работодателей качеством подготовки выпускников, организацией медицинского обслуживания обучающихся.
Оценка содержания ОП резидентуры, методов обучения и оценки учебных достижений обучающегося осуществляется на основе данных обратной связи от обучающихся (анкетирование резидентов), специалистов практического здравоохранения, ППС, работодателей, КС КГМУ [8–9].
Основными методами оценки уровня освоения компетенций слушателями резидентуры по специальности педиатрия являются: содержание портфолио резидента; анализ результатов текущего, рубежного, итогового контроля по дисциплине, промежуточной аттестации; мини-клинического экзамена; анализ полугодовых и годовых отчетов слушателей резидентуры; итоговая аттестация слушателей резидентуры; анализ результатов независимого комплексного тестирования (НКТ).
НКТ выпускников резидентуры проводится с 2015 г. по приказу Министерства здравоохранения Республики Казахстан. Проведение НКТ выпускников резидентуры направлено в первую очередь на повышение качества образовательных услуг медицинских вузов Казахстана. Тестовые задания разработаны в соответствии с Типовой профессиональной учебной программой по специальностям резидентуры. Все тестовые задания готовит ППС с большим опытом педагогической работы, имеющие сертификаты тестологов. Тесты готовятся в большой секретности, анонимно и проходят экспертизу. В нашем вузе, согласно «Положение о резидентуре КГМУ» обучающийся, не согласный с результатом комплексного экзамена, подает апелляцию не позднее следующего рабочего дня после его проведения. При получении неудовлетворительной оценки обучающиеся (даже с учетом аппеляции) отчисляются из вуза приказом ректора с выдачей Справки, выдаваемой гражданам, не завершившим образование. Пересдача комплексного экзамена лицам, получившим оценку «неудовлетворительно», в текущем учебном году итоговой аттестации не разрешается, а возможна только в следующем году [10–11].
В 2015–2016 гг. треть резидентов-педиатров не смогли пройти КНТ. В 2017 году все резиденты-педиатры сдали КНТ на удовлетворительные оценки.
Ежегодно отчет председателя итоговой государственной аттестации (ИГА) по результатам итоговой аттестации выпускников резидентуры заслушивается на ученом совете КГМУ.
В оценке ОП и конечных результатов программ подготовки слушателей резидентуры участвуют заинтересованные стороны – стейкхолдеры. Прежде всего – организации практического здравоохранения: районные, городские, областные, республиканские медицинские организации детского профиля. Работодатели и специалисты педиатрических специальностей привлекаются к обсуждению предполагаемых результатов обучения; к оценке учебных достижений обучающихся и удовлетворенности подготовкой выпускников резидентуры по специальности Педиатрия. Регулярно проводя анализ анкет работодателей, вуз вносит изменения в ОП на основании их рекомендаций и предложений с целью повышения удовлетворенности потребностей практического здравоохранения в качестве подготовки резидента и улучшения ОП, совершенствования ключевых и конечных компетенций выпускников резидентуры по специальности педиатрия.
Процесс оценки ОП в вузе предполагает привлечение обучающихся резидентов. По окончании каждой дисциплины проводится изучение их удовлетворенности результатами обучения по дисциплине и удовлетворенности качеством организации учебного процесса путём анкетирования. Регулярно в течение 3 лет (2014–2015; 2015–2016; 2016–2017) на профильной кафедре резиденты анкетировались согласно анкетам: «Преподаватель глазами резидентов», состоящей из 18 вопросов и «Удовлетворенность резидентов образовательной программой», включающей 11 вопросов.
Анализ результатов анкетирования по вопросу: «Преподаватель заинтересован в успехах резидентов» показал, что, по мнению резидентов, в 2014–2015 гг. преподаватели были заинтересованы в успехах резидентов в 82,8 %; в 2015–2016 гг. процент заинтересованности со стороны ППС был выше и соответствовал 87,7 %; в 2016–2017 – этот показатель имел наивысшее значение – 94,4 %.
Анализ вопроса анкеты: «Преподаватель ориентирует на использование изучаемого материала в будущей профессиональной и общественной деятельности» показал, что по сравнению с 2014–2015 гг. (78,5 %) в 2016–2017 гг. (92,5 %) резиденты чаще отмечают использование изучаемого теоретического материала в практической деятельности, а также больше удовлетворены возможностью применения получаемых знаний как в процессе учебного времени, так и в условиях самостоятельной работы резидента. При этом резиденты отмечают важность ориентации преподавателя на узловые моменты теоретического обучения, которые затем закрепляются у «постели больного ребенка» или в процессе лабораторно-инструментального обследования с целью верификации диагноза и/или назначения рационального этио-патогенетического лечения.
Изучение полученных результатов анкетирования резидентов по вопросу «Преподаватель способствует развитию уровня знаний, умений и навыков у резидентов» установил, что в течение анализируемых 3 лет (2014–2015 – 92,8 %, 2015–2016 – 93,7 %, 2016–2017 – 94,5 %) резиденты отмечали в большинстве случаев удовлетворенность и согласие с тем, что преподаватели способствуют развитию уровня знаний, умений и навыков, которые в последующем самостоятельно применяются резидентами их в практической деятельности.
По результатам анализа вопроса «Преподаватель проявляет уважительное отношение к резидентам» установлено, что, по мнению резидентов, как правило, преподаватель проявляет доброжелательность, такт и уважительное отношение к резидентам соответственно в 2014–2015 – 92,8 %; в 2015–2016 – 93,7 %; в 2016–2017 – 94,4 %.
Регулярно на профильной кафедре проводится анкетирование резидентов с целью изучения уровня удовлетворенности ОП.
Нами проведен сравнительный анализ результатов анкетирования резидентов за 3 года (2014–2015; 2015–2016; 2016–2017). Результаты анкетирования свидетельствуют о повышении удовлетворенности содержанием ОП – с 76,2 % в 2014–2015 гг.; 83,2 % в 2015–2016 гг.; 92,8 % в 2016–2017 гг. Изучение удовлетворенности резидентов методами обучения установило положительную динамику за анализируемый период с 82,5 % (2014–2015 г.г) до 87,5 % (2015–2016 гг.) и повышение этого показателя до 92,8 % в 2016–2017 гг. Важно отметить, что в течение 3 лет увеличилась удовлетворенность резидентов организацией учебного процесса (с 85,7 % в 2014–2015 гг. до 94,2 % в 2016–2017 гг.). При этом резиденты отмечали большую возможность доступа и работы у «постели больного», проведения диагностических, лечебных манипуляций для освоения практических навыков и др. Удовлетворенность резидентов выбором элективных дисциплин была высокой в течение всего анализируемого периода и соответствовала в 2014–2015 гг. – 92,8 %, в 2015–2016 гг. – 93,8 %, в 2016–2017 гг. – 95,9 %. По результатам анкетирования установлено, что удовлетворенность резидентов уровнем освоения ОП по специальности педиатрия имела высокие показатели на протяжении всех 3-х лет (2014–2015 гг. – 91,8 %; 2015–2016 гг. – 93,7 %; 2016–2017 гг. – 95,4 %).
Вместе с этим, согласно результатам анкетирования резидентов за анализируемый период, было выявлено следующее: повышение удовлетворенности материально-технической базой с 88,5 % до 93,3 %; удовлетворенность качеством информационного обслуживания повысилась с 85,2 % до 97,5 %; повысилась удовлетворенность материально-технической обеспеченностью клинических баз (с 78,5 % до 92,8 %); также отмечается положительная тенденция в организации научно-исследовательской работы резидентов (91,4 % в 2016–2017 гг. против 78,5 % в 2014–2015 гг.). Итоги опроса резидентов по анкете «Удовлетворенность резидентов ОП» показали, что в течение изучаемого периода с 2014–2015 гг. до 2016–2017 гг. резиденты были удовлетворены качеством образовательного процесса в университете.
Анализируя данные анкетирования согласно опросникам «Преподаватель глазами резидентов» и «Удовлетворенность резидентов ОП», можно сделать заключение о конструктивном и резидент-ориентированном обучении в университете. Вместе с тем полученные данные анализа обратной связи и результаты мониторинга позволяют разрабатывать мероприятия с целью улучшения программы подготовки резидентов, при необходимости проводится внесение изменений и дополнений в ОП, тем самым улучшая качество подготовки выпускников резидентуры.
ППС, являясь заинтересованной стороной и обеспечивающей образовательный процесс в резидентуре, регулярно привлекается к разработке и обсуждению предполагаемых результатов обучения; к оценке фактических результатов обучения резидентов. Результаты обратной связи учитываются при планировании работы на улучшение образовательного процесса. В целом использование обратной связи способствует лучшему пониманию потребностей широкого круга заинтересованных сторон (работодателей, ППС, резидентов и др.) и носит системный характер при внесении изменений в ОП [11].
Представители практического здравоохранения, имеющие большой опыт работы, являются клиническими наставниками на кафедрах и осуществляют клиническую подготовку резидентов, обеспечивают преемственность между медицинским образованием и практическим обучением «у постели больного» в условиях реальной практики, способствуя совершенствованию профессиональных компетенций, коммуникативных навыков. Показателями эффективности работы клинического наставника являются: получение обучающимися врачебных навыков и компетенций по специальности, достижение качественной подготовки и эффективного распределения в соответствии с потребностями практического здравоохранения и прохождение независимой экзаменации.
Также представители практического здравоохранения принимают участие в формировании ОП в качестве рецензентов рабочих программ и тестовых заданий по дисциплинам полугодовой аттестации (промежуточная аттестация).
Обсуждение результатов обратной связи, эффективность проведенных мероприятий осуществляется на заседаниях кафедр, КОП, АС, КС, Ученого совета КГМУ, в состав которых входят представители всех заинтересованных сторон, в том числе и резиденты. Помимо этого, доступ заинтересованных сторон к результатам оценки ОП обеспечивается информированием на сайте, публикациями в журнале «Медик». Для обратной связи с преподавателями и резидентами используется блог ректора, на котором обучающиеся и сотрудники университета получают ответы на интересующие их вопросы по условиям реализации ОП.
Система мониторинга и оценки ОП проводится на всех уровнях, с использованием многоуровневого подхода Д. Киркпатрика, и включает профилирующую, смежные кафедры, КОП, АС, деканат резидентуры и дополнительного образования.
В соответствии с моделью Д. Киркпатрика и с целью оценки ОП по специальности педиатрия на факультете ведется постоянный мониторинг обратной связи от обучающихся резидентов (Reaction – первый уровень оценки). Анкетирование резидентов проводится по завершению каждой дисциплины кафедрами и по завершению учебного года, анкеты содержат вопросы об удовлетворенности учебным процессом. Анализ анкет позволяет получить сведения по удовлетворенности процессом обучения, уровнем мотивации резидента к освоению новых знаний, навыков и умений и в целом к обучению [12].
Два раза в год в рамках промежуточной аттестации профильная кафедра и деканат резидентуры проводят анализ успеваемости слушателей резидентуры с обсуждением отчета на заседании КОП (Learning – второй уровень оценки). Важным моментом анализа является: освоили ли резиденты необходимые навыки, уровень и качество их освоения. При выявлении «слабых» мест проводится соответствующая корректирующая работа по повышению уровня освоения и обучения по соответствующим дисциплинам.
Оценка портфолио слушателя резидентуры по специальности педиатрия позволяет оценить способность применять приобретенные в учебе знания и навыки в работе и соответственно достижения резидентов по всем видам деятельности, достигнутые ими в процессе обучения (Behavior – третий уровень оценки). Результаты оценки портфолио обсуждаются на заседании кафедр, деканата и КОП. При этом обращается внимание на те виды деятельности обучающихся, которые недостаточно освещены и, возможно, не позволяют им достичь конечных результатов обучения. Важным моментом является подтверждение применения полученных навыков в работе у «постели больного».
Результаты Итоговой аттестации и независимой оценки знаний выпускников, результаты трудоустройства демонстрируют результаты обучения, принятые в качестве индикаторов качества, и то насколько реализация ОП приближается к выполнению миссии ОП. Результаты итоговой аттестации и независимой оценки знаний выпускников обсуждаются на заседании учебно-методического совета, Ученого совета КГМУ (Results – четвертый уровень оценки). При недостаточном уровне знаний, демонстрируемых при независимой оценке знаний выпускников, разрабатываются соответствующие мероприятия на уровне кафедры, деканата.
По завершении резидентуры по специальности педиатрия отмечается высокий процент трудоустройства выпускников (100 %).
Таким образом, в оценке ОП по специальности Педиатрия участвуют различные структурные подразделения вуза, каждая из которых имеет свою ответственность в процессе оценки ОП. При этом в оценке ОП участвуют и совещательные органы вуза. Система мониторинга и оценки ОП проводится на всех уровнях на основании многоуровневого подхода Д. Киркпатрика. В ОП резидентов имеется компонент по выбору – КЭД. Систематический анализ обратной связи стейкхолдеров – широкого круга заинтересованных сторон, проводимый в вузе на регулярной основе, позволяет выявить слабые места, разработку путей улучшения и совершенствования ОП с целью повышения качества подготовки слушателей резидентуры.