Научный журнал
Международный журнал прикладных и фундаментальных исследований

ISSN 1996-3955
ИФ РИНЦ = 0,618

РАЗРАБОТКА НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ МЕТРИК ПОЗИЦИОНИРОВАНИЯ МЕДИЦИНСКОГО УНИВЕРСИТЕТА, ГАРМОНИЗИРОВАННАЯ С МЕЖДУНАРОДНЫМИ ТРЕБОВАНИЯМИ

Вялков А.И. 1 Глухова Е.А. 1 Мартынчик С.А. 1
1 ГБОУ ВПО «Первый Московский государственный медицинский университет им. И.М. Сеченова»
Разработка системы оценки результативности научной деятельности выполнена с применением эффективных («качественных») процессов с использованием глубинной разметки данных о публикациях. Показано, что в архитектуру системы заложены прогрессивные метрики оценки результативности: повышение доли публикаций со значением SNIP > 1 с надежным Stability interval. Даются рекомендации по повышению к публикационной активности вуза на основе единой технологической платформы: программно-аппаратных средств, автоматизации внутренних и внешних процессов, обеспечивающих реализацию инновационного цикла: от поиска научной информации к системе оценке научно-исследовательской деятельности и принятия решений.
медицинский университет
информационно-коммуникационные технологии
модель оценки научных результатов
метрики позиционирования
индикаторы качества
1. Вялков А.И., Мартынчик С.А., Глухова Е.А., Орлова Н.А. Эволюция систем и методологии международных рейтингов университетов. Социальные аспекты здоровья населения. – 2015. – Т. 41, № 1. – С. 16.
2.  Вялков А.И., Зацман Г.И., Мартынчик С.А., Глухова Е.А. Стратегия развития университета медицинского профиля: технологии повышения конкурентоспособности. – 2015. – № 5 (45). – С. 10.
3. Николенко В.Н., Вялков А.И., Мартынчик С.А., Глухова Е.А. О проблемах формирования университетов мирового уровня и рейтингах позиционирования. Сеченовский вестник. – 2014. – № 1 (15). – С. 5–14.
4. Николенко В.Н., Вялков А.И., Мартынчик С.А., Глухова Е.А., Фомичева О.А. Индексы научного позиционирования для оценки публикационной активности и рейтинга медицинского вуза. Учебное пособие. – М., 2013. – 30 с.
5. Николенко В.Н., Вялков А.И., Мартынчик С.А., Глухова Е.А. Подходы к оценке эффективности и способы стимулирования публикационной активности в крупном медицинском вузе. Высшее образование в России. – 2014. – № 10. – С. 18–25.
6. CWTS Leiden Ranking, U-Multirank. [Электронный ресурс]. URL: http://www.leidenranking.com. (дата обращения 19.08.2015).
7. Francisco Marmolejo. Are We Obsessed with Ranking? Voices of Dissent and Concern. Higher Education in Russia and Beyond (HERB). – 2015. – ssue 2(4). – P. 8–10.
8. Меthodology SNIP. [Электронный ресурс]. URL: http://www.cwts.nl/Home. (дата обращения 27.08.2015).
9. Меthodology Stability intervals. [Электронный ресурс]. URL: http://www.journalindicators.com/methodology. (дата обращения 13.08.2015).
10. Sidorkin Alexander. University Ratings: Imperfect but Indispensable. Higher Education in Russia and Beyond (HERB). – 2015. – Issue 2(4). – P. 7–8.
11. Usher Alex. Structural Barriers to Russian Success in Global University Rankings. Higher Education in Russia and Beyond (HERB). – 2015. – Issue 2(4). – P. 13–14.
12. Zaitseva Zoya. Central European and ex-USSR Universities on the QS World University Rankings Map. Higher Education in Russia and Beyond (HERB). – 2015. – Issue 2(4). – P. 15–16.

Интерес и спрос на оценки научных исследований растет на международном уровне. Это связано с динамично эволюционирующими университетами, с растущей подотчетностью, требований управления на национальном и международном уровнях и формирования политики, демонстрации ответственности за инвестирование государственных средств в научных исследованиях [3, 11].

Разработка научно-исследовательских метрик позиционирования медицинского университета соответствует политике интеграции университета в международное научное сообщество, создает условия для обмена результатами исследований, способствует выявлению и актуализации проблем и тенденций в областях знаний, развитию научного сотрудничества [12].

В настоящее время развиваются сопряженные с медицинской наукой передовые научные разработки в области информационно-коммуникационных технологий по определению потенциала университета, оценки результативности и развития исследовательских метрик, требующих стандартизированных данных и нормирования аналитических методов [1, 6].

Целью исследования явилась разработка технического решения (модели, алгоритмов, системы индикаторов, научно-исследовательских метрик), относящегося к программному комплексу для адекватной оценки научной деятельности и управления изменениями, ориентированными на повышение конкурентоспособности и вхождение в предметные мировые рейтинги.

Для этих целей предлагается использовать весь спектр показателей, учитывающих как различия по областям знаний, так и размеры организаций, дополняя их показателями, альтернативными библиометрическим показателям (исследовательская продуктивность, влиятельность исследований, исследовательское превосходство).

Новые механизмы и принципы оценки результативности научной деятельности

Из текста изменения к приказу Министерства образования и науки 2009 года «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» следует, что вводится три новшества в оценке научно-исследовательской деятельности – ее вневедомственный характер, составление «референтных» групп институтов, а также изменение периодичности сбора данных [2].

Первый аспект – вневедомственный характер оценки будет достигаться благодаря созданию Межведомственной комиссии по оценке результативности научных организаций.

Второй аспект – «референтные группы» (группы, служащие своеобразным стандартом, сиcтемой отчета, эталоном, образцом для подражания) и в целом принципы проведения оценки. При этом университеты из «референтной группы» демонстрируют более высокий рост публикационной активности и уровень научных изданий, широкий спектр научных интересов, находятся на более высоких рейтинговых позициях.

Для формирования «референтных групп» из университетов схожего профиля и количества научно-педагогических работников (НПР) требуется экспертный подход, поскольку сделать сопоставимыми области знаний, да еще и учесть характер проводимых работ, и при необходимости – «источники и механизмы финансирования, а также организационно-правовую форму научных организаций» – это очень сложная проблема. Проект по формированию «Корпуса экспертов» – отличный пример того, насколько кропотливой является работа по классификации областей и подобластей знаний.

Третий аспект – периодичность оценки. Данные будут собираться ежегодно, и это названо мониторингом, а оценка проводиться раз в пять лет.

Четвертый аспект – изменение методологии оценки. Вводится глубокая разметка библиографических данных о публикациях, балльная оценка результативности с учетом взвешивающих коэффициентов, детализированной оценкой информации по соавторам, принадлежности к референтным вузам.

Оценка – это характеристики различных структур и инструментов в их соотношении друг с другом. Комплексная оценка: степень, в которой оценка намеревается быть всеобъемлющей, охватывающей широкий спектр потенциальных результатов научных исследований, а не сосредоточенная на ограниченном числе ключевых областей, представляющих интерес [7].

При оценке научно-исследовательской деятельности, измерения могут быть приняты на различных этапах процесса исследований: входные меры, выходные меры, критерии оценки и меры воздействия.

Цели оценки научно-исследовательской деятельности ассоциируются с итогами и результатами и последствиями: продвижение знаний; наращивание потенциала; информирование политики и развития научной продукции; широкие социально-экономические выгоды.

Чтобы быть эффективным, дизайн базы данных зависит от цели оценки: информирование, подотчетность, анализ и обучение, распределение финансовых инвестиций.

Необходимо получить некую объективную меру сравнительной эффективности научной деятельности университетов, которую используют в качестве основы для распределения финансирования, в то время как информирование – это случай для дополнительной поддержки в конкретной области исследования, группы учреждений, или других исследований группировки.

Подходы к разработке базы оценки научных исследований и панели инструментов анализа

При разработке базы оценки научного исследования применяются следующие подходы [5]:

● Количественные подходы (численные результаты) обеспечивает предоставление итоговой меры; при этом итоговая оценка не является исчерпывающей. Как правило, используются суммационные инструменты, которые не требуют толкования, они количественные, масштабируемые, прозрачные, сопоставимые и подходят для продольного исследования. Данные, не требуют суждения или интерпретации и относительно прозрачны, но имеют высокую начальную нагрузку (требуется значительная работа по разработке и внедрению подхода).

● Формирующие подходы (обучение и совершенствование), являются исчерпывающими, оценивая по целому ряду направлений, и гибкими, но не позволяют производить сравнения между учреждениями. Формирующие инструменты, являются гибкими и имеют дело с кросс-дисциплинарной и мультидисциплинарной оценкой. Формирующий подход необходим для того, чтобы показать, «как» и «почему» исследование является эффективным, а не просто обеспечить представление итоговой меры.

Исследования опираются на подходы к использованию логической (концептуальной) модели и формирования сбалансированной системы показателей [10].

Логические модели – графические изображения основных элементов рабочего процесса. Они способствуют систематическому мышлению о программе и ее основных предположениях, и в какой-то степени о других внешних факторов, влияющих на достижение конечных результатов. Логические модели может служить в качестве идеального руководства для планирования, мониторинга и оценки.

Модель описывает, как входы, так и рабочие процессы, связанные с ожидаемыми результатами: выходы, результаты и последствия.

В рамках системы оценки медицинского университета определяются:

– показатели производительности, результативности и экономической эффективности;

– параметры «входы», «процессы» и «выходы»;

– архитектура аналитической системы, базы данных публикаций, аффилированных с учреждением, система управления базой данных;

– автоматизированные инструменты отчетности, включая: разработку клиентской и серверной частей системы, их программирование, разработку инструментария для управления базой данных и для унификации обработки загруженных данных.

Логическая модель – некий фундамент для построения архитектуры системы. Модули – клиентская, серверная части системы, автоматизированные инструменты отчетности, СУБД. Полезная модель направлена на техническое решение, относящееся к компьютерному (программному) устройству в целях получения результата – автоматизированной оценки результативности научной деятельности и потенциала организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал).

Использование стандартного протокола оценки позволяет оценить четыре аспекта научного исследования: качество (международное признание и инновационный потенциал); производительность (научный выход); последствия (научные и социально-экономические последствия); устойчивость и возможность (перспективы на будущее).

Система охватывает следующие пять компонентов: установка приоритета исследований, финансирование исследований, управления исследованиями, развитие потенциала исследований и проведение научно-исследовательской деятельности, внутренние процессы и взаимодействия с внешними сторонами.

Оценка производится на основе следующих ключевых элементов: количество результатов исследований; качество результатов исследований; влияние результатов исследований; устойчивость исследовательской среды.

Количество результатов исследований – метрики публикационной активности (показатели продуктивности в зависимости от числа публикаций на автора; наблюдаемые показатели воздействия, основанные на цитатном анализе; ожидаемые показатели воздействия, основанные на импакт-факторе журналов, в которых были опубликованы статьи).

Однако действующей системы метрик свойственны ограничения в оценке результативности научной деятельности, так использование количественных методов не дает возможности оценить качественный уровень работы исследователя.

В системе оценки результативности научных исследований используются современные метрики [8, 9]:

– SNIP (Source Normalised Impact per Paper) – журнальный индикатор нового поколения; нормализованный показатель с учетом предметной области; предиктор показателя цитируемости – основного библиометрического компонента рейтингов QS и THE;

– Stability intervals – интервал стабильности, отражает стабильность и надежность показателя. Чем шире интервал стабильность показателя, тем меньше надежность индикатора. Если для конкретного источника SNIP имеют широкий интервал стабильности, показатели имеют низкую надежность этого источника.

– Квартили – Q1-Q4 (ранжированная оценка по уровню журнала);

– Проект РИНЦ – по размещению 1000 лучших российских журналов на платформе WoS c аббревиатурой (RSCI) – Russian Index Science Citation Index.

«Качество» и «совершенство»: мера количества публикаций учреждением, которые находятся в топ-10 процентов мирового распределения. Эта мера была использована для отслеживания тенденций в положении научно-исследовательских университетов и групп на верхних уровнях их соответствующих предметных областях. Тем не менее, понятия «качество» и «превосходство» в оценке исследовательской деятельности сопряжено с трудностями.

В рамках исследования планируется разработка:

– Система оценки результативности авторов и подразделений по набору нормированных и средних значений параметров оценки с переводом в балльную шкалу.

– Разработка полезной модели и алгоритма производится по темпоральным индикаторам оценки, с последующей проверкой по критериям надежность, валидность, адекватность.

– Внедрение нового инструмента управления: информационно-аналитической системы поддержки принятия решений при распределении стимулирующих надбавок, ориентируясь на лучшие международные практики в области развития научных исследований, в частности на методики, разрабатываемые в Центре наук и технологий – CWTS.

Автоматизация и компьютеризация анализа данных потенциально повышает качество и точность исследований. Рабочая гипотеза исследования – формализация измерений по набору показателей публикационной и инновационной (патентной) активности НПР и организации, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных [4].

Анализ данных используется для алгоритмизации и извлечения информации и анализа из баз данных, для прогнозирования и описания информации, для кластеризации или сегментирования данных, обобщения информации.

Критерии системы оценки: полезность для спонсоров; совместимость с существующими структурами; возможность международного сравнения; способность определять полный спектр потенциальных воздействий.

К основным характеристикам представления данных исследований и наукометрических метрик относятся: достоверные данные; стандартные определения вывода; транспарентный (прозрачный) анализ; предсказуемые результаты; фокус на результативность и эффективность.

Наукометрические метрики используется для построения карт развития новых мультидисциплинарных областей исследований, а также для измерения научной коллаборации, оценки междисциплинарных исследований через институциональные принадлежности авторов публикации.

Отображение научных исследований: карты цитирования, кластеры публикаций, отражающие характер развития того или иного направления в науке.

Выводы

Новые подходы к оценке эффективности инвестиций в научные исследования направлены на улучшение процесса выработки политики, обеспечение подотчетности и привлечение финансирования.

Разработка системы оценки имеет две основные цели. Во-первых, направленность на реализацию механизма, с помощью которого обеспечивается создание надежной и точной записи сотрудников учреждений. Во-вторых, измерение влияния науки на экономику результатов, генерации знаний, и результаты, развитие науки, технологий и инновационной политики. Разработка рассчитана на минимизацию нагрузку на учреждения в процессе участия за счет автоматизации процессов.

Включение международных стандартов данных предусматривает использование дополнительных видов бенчмаркинга.

Используется интегрированный процесс оценки в рамках всех научно-исследовательских подразделений, программ и вуза в целом.

Система оценки отражает:

● производительность (качество, количество, последствия исследования) – оценка текущего состояния деятельности научно-исследовательского подразделения;

● международная стратегия и инновационный потенциал – управление, развитие научных коллективов;

● качество (оригинальность, качество, перспективы) – перспективы и возможности.

На уровне университета, оценка фокусируется на политике и стратегии, с упором на улучшение, в то время как оценка на уровне программы фокусируется на эффективности и подотчетности.


Библиографическая ссылка

Вялков А.И., Глухова Е.А., Мартынчик С.А. РАЗРАБОТКА НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ МЕТРИК ПОЗИЦИОНИРОВАНИЯ МЕДИЦИНСКОГО УНИВЕРСИТЕТА, ГАРМОНИЗИРОВАННАЯ С МЕЖДУНАРОДНЫМИ ТРЕБОВАНИЯМИ // Международный журнал прикладных и фундаментальных исследований. – 2015. – № 12-4. – С. 629-632;
URL: http://applied-research.ru/ru/article/view?id=7992 (дата обращения: 16.11.2018).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252