Scientific journal
International Journal of Applied and fundamental research
ISSN 1996-3955
ИФ РИНЦ = 0,564

DEVELOPMENT RESEARCH METRICS POSITIONING MEDICAL UNIVERSITY HARMONIZED WITH THE INTERNATIONAL REQUIREMENTS

Vyalkov A.I. 1 Glukhova E.A. 1 Martynchik S.A. 1
1 First Moscow State Medical University I.M. Sechenov
1261 KB
The development of the evaluation system of scientific activity carried out with the use of effective («quality») processes using deep marking of data on publications. It is shown that the architecture of the system laid progressive performance evaluation metrics: increasing the share of publications with a value of SNIP > 1 with a robust Stability interval. Recommendations to improve to the publication activity of the university, based on a single technology platform: software and hardware, automation of internal and external processes to ensure the implementation of the innovation cycle, from research to the scientific information system, the evaluation of research activities and decision-making.
Medical University
information and communication technologies
evaluation model of scientific results
metric ranking
quality indicators

Интерес и спрос на оценки научных исследований растет на международном уровне. Это связано с динамично эволюционирующими университетами, с растущей подотчетностью, требований управления на национальном и международном уровнях и формирования политики, демонстрации ответственности за инвестирование государственных средств в научных исследованиях [3, 11].

Разработка научно-исследовательских метрик позиционирования медицинского университета соответствует политике интеграции университета в международное научное сообщество, создает условия для обмена результатами исследований, способствует выявлению и актуализации проблем и тенденций в областях знаний, развитию научного сотрудничества [12].

В настоящее время развиваются сопряженные с медицинской наукой передовые научные разработки в области информационно-коммуникационных технологий по определению потенциала университета, оценки результативности и развития исследовательских метрик, требующих стандартизированных данных и нормирования аналитических методов [1, 6].

Целью исследования явилась разработка технического решения (модели, алгоритмов, системы индикаторов, научно-исследовательских метрик), относящегося к программному комплексу для адекватной оценки научной деятельности и управления изменениями, ориентированными на повышение конкурентоспособности и вхождение в предметные мировые рейтинги.

Для этих целей предлагается использовать весь спектр показателей, учитывающих как различия по областям знаний, так и размеры организаций, дополняя их показателями, альтернативными библиометрическим показателям (исследовательская продуктивность, влиятельность исследований, исследовательское превосходство).

Новые механизмы и принципы оценки результативности научной деятельности

Из текста изменения к приказу Министерства образования и науки 2009 года «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» следует, что вводится три новшества в оценке научно-исследовательской деятельности – ее вневедомственный характер, составление «референтных» групп институтов, а также изменение периодичности сбора данных [2].

Первый аспект – вневедомственный характер оценки будет достигаться благодаря созданию Межведомственной комиссии по оценке результативности научных организаций.

Второй аспект – «референтные группы» (группы, служащие своеобразным стандартом, сиcтемой отчета, эталоном, образцом для подражания) и в целом принципы проведения оценки. При этом университеты из «референтной группы» демонстрируют более высокий рост публикационной активности и уровень научных изданий, широкий спектр научных интересов, находятся на более высоких рейтинговых позициях.

Для формирования «референтных групп» из университетов схожего профиля и количества научно-педагогических работников (НПР) требуется экспертный подход, поскольку сделать сопоставимыми области знаний, да еще и учесть характер проводимых работ, и при необходимости – «источники и механизмы финансирования, а также организационно-правовую форму научных организаций» – это очень сложная проблема. Проект по формированию «Корпуса экспертов» – отличный пример того, насколько кропотливой является работа по классификации областей и подобластей знаний.

Третий аспект – периодичность оценки. Данные будут собираться ежегодно, и это названо мониторингом, а оценка проводиться раз в пять лет.

Четвертый аспект – изменение методологии оценки. Вводится глубокая разметка библиографических данных о публикациях, балльная оценка результативности с учетом взвешивающих коэффициентов, детализированной оценкой информации по соавторам, принадлежности к референтным вузам.

Оценка – это характеристики различных структур и инструментов в их соотношении друг с другом. Комплексная оценка: степень, в которой оценка намеревается быть всеобъемлющей, охватывающей широкий спектр потенциальных результатов научных исследований, а не сосредоточенная на ограниченном числе ключевых областей, представляющих интерес [7].

При оценке научно-исследовательской деятельности, измерения могут быть приняты на различных этапах процесса исследований: входные меры, выходные меры, критерии оценки и меры воздействия.

Цели оценки научно-исследовательской деятельности ассоциируются с итогами и результатами и последствиями: продвижение знаний; наращивание потенциала; информирование политики и развития научной продукции; широкие социально-экономические выгоды.

Чтобы быть эффективным, дизайн базы данных зависит от цели оценки: информирование, подотчетность, анализ и обучение, распределение финансовых инвестиций.

Необходимо получить некую объективную меру сравнительной эффективности научной деятельности университетов, которую используют в качестве основы для распределения финансирования, в то время как информирование – это случай для дополнительной поддержки в конкретной области исследования, группы учреждений, или других исследований группировки.

Подходы к разработке базы оценки научных исследований и панели инструментов анализа

При разработке базы оценки научного исследования применяются следующие подходы [5]:

● Количественные подходы (численные результаты) обеспечивает предоставление итоговой меры; при этом итоговая оценка не является исчерпывающей. Как правило, используются суммационные инструменты, которые не требуют толкования, они количественные, масштабируемые, прозрачные, сопоставимые и подходят для продольного исследования. Данные, не требуют суждения или интерпретации и относительно прозрачны, но имеют высокую начальную нагрузку (требуется значительная работа по разработке и внедрению подхода).

● Формирующие подходы (обучение и совершенствование), являются исчерпывающими, оценивая по целому ряду направлений, и гибкими, но не позволяют производить сравнения между учреждениями. Формирующие инструменты, являются гибкими и имеют дело с кросс-дисциплинарной и мультидисциплинарной оценкой. Формирующий подход необходим для того, чтобы показать, «как» и «почему» исследование является эффективным, а не просто обеспечить представление итоговой меры.

Исследования опираются на подходы к использованию логической (концептуальной) модели и формирования сбалансированной системы показателей [10].

Логические модели – графические изображения основных элементов рабочего процесса. Они способствуют систематическому мышлению о программе и ее основных предположениях, и в какой-то степени о других внешних факторов, влияющих на достижение конечных результатов. Логические модели может служить в качестве идеального руководства для планирования, мониторинга и оценки.

Модель описывает, как входы, так и рабочие процессы, связанные с ожидаемыми результатами: выходы, результаты и последствия.

В рамках системы оценки медицинского университета определяются:

– показатели производительности, результативности и экономической эффективности;

– параметры «входы», «процессы» и «выходы»;

– архитектура аналитической системы, базы данных публикаций, аффилированных с учреждением, система управления базой данных;

– автоматизированные инструменты отчетности, включая: разработку клиентской и серверной частей системы, их программирование, разработку инструментария для управления базой данных и для унификации обработки загруженных данных.

Логическая модель – некий фундамент для построения архитектуры системы. Модули – клиентская, серверная части системы, автоматизированные инструменты отчетности, СУБД. Полезная модель направлена на техническое решение, относящееся к компьютерному (программному) устройству в целях получения результата – автоматизированной оценки результативности научной деятельности и потенциала организации на полном массиве публикаций объекта исследования (автор, структурное подразделение, научная организация, научный журнал).

Использование стандартного протокола оценки позволяет оценить четыре аспекта научного исследования: качество (международное признание и инновационный потенциал); производительность (научный выход); последствия (научные и социально-экономические последствия); устойчивость и возможность (перспективы на будущее).

Система охватывает следующие пять компонентов: установка приоритета исследований, финансирование исследований, управления исследованиями, развитие потенциала исследований и проведение научно-исследовательской деятельности, внутренние процессы и взаимодействия с внешними сторонами.

Оценка производится на основе следующих ключевых элементов: количество результатов исследований; качество результатов исследований; влияние результатов исследований; устойчивость исследовательской среды.

Количество результатов исследований – метрики публикационной активности (показатели продуктивности в зависимости от числа публикаций на автора; наблюдаемые показатели воздействия, основанные на цитатном анализе; ожидаемые показатели воздействия, основанные на импакт-факторе журналов, в которых были опубликованы статьи).

Однако действующей системы метрик свойственны ограничения в оценке результативности научной деятельности, так использование количественных методов не дает возможности оценить качественный уровень работы исследователя.

В системе оценки результативности научных исследований используются современные метрики [8, 9]:

– SNIP (Source Normalised Impact per Paper) – журнальный индикатор нового поколения; нормализованный показатель с учетом предметной области; предиктор показателя цитируемости – основного библиометрического компонента рейтингов QS и THE;

– Stability intervals – интервал стабильности, отражает стабильность и надежность показателя. Чем шире интервал стабильность показателя, тем меньше надежность индикатора. Если для конкретного источника SNIP имеют широкий интервал стабильности, показатели имеют низкую надежность этого источника.

– Квартили – Q1-Q4 (ранжированная оценка по уровню журнала);

– Проект РИНЦ – по размещению 1000 лучших российских журналов на платформе WoS c аббревиатурой (RSCI) – Russian Index Science Citation Index.

«Качество» и «совершенство»: мера количества публикаций учреждением, которые находятся в топ-10 процентов мирового распределения. Эта мера была использована для отслеживания тенденций в положении научно-исследовательских университетов и групп на верхних уровнях их соответствующих предметных областях. Тем не менее, понятия «качество» и «превосходство» в оценке исследовательской деятельности сопряжено с трудностями.

В рамках исследования планируется разработка:

– Система оценки результативности авторов и подразделений по набору нормированных и средних значений параметров оценки с переводом в балльную шкалу.

– Разработка полезной модели и алгоритма производится по темпоральным индикаторам оценки, с последующей проверкой по критериям надежность, валидность, адекватность.

– Внедрение нового инструмента управления: информационно-аналитической системы поддержки принятия решений при распределении стимулирующих надбавок, ориентируясь на лучшие международные практики в области развития научных исследований, в частности на методики, разрабатываемые в Центре наук и технологий – CWTS.

Автоматизация и компьютеризация анализа данных потенциально повышает качество и точность исследований. Рабочая гипотеза исследования – формализация измерений по набору показателей публикационной и инновационной (патентной) активности НПР и организации, использование стандартных операций и процедур нормирования, ранжирования и их алгоритмизация повысят объективность и адекватность оценки, устойчивость к изменениям данных [4].

Анализ данных используется для алгоритмизации и извлечения информации и анализа из баз данных, для прогнозирования и описания информации, для кластеризации или сегментирования данных, обобщения информации.

Критерии системы оценки: полезность для спонсоров; совместимость с существующими структурами; возможность международного сравнения; способность определять полный спектр потенциальных воздействий.

К основным характеристикам представления данных исследований и наукометрических метрик относятся: достоверные данные; стандартные определения вывода; транспарентный (прозрачный) анализ; предсказуемые результаты; фокус на результативность и эффективность.

Наукометрические метрики используется для построения карт развития новых мультидисциплинарных областей исследований, а также для измерения научной коллаборации, оценки междисциплинарных исследований через институциональные принадлежности авторов публикации.

Отображение научных исследований: карты цитирования, кластеры публикаций, отражающие характер развития того или иного направления в науке.

Выводы

Новые подходы к оценке эффективности инвестиций в научные исследования направлены на улучшение процесса выработки политики, обеспечение подотчетности и привлечение финансирования.

Разработка системы оценки имеет две основные цели. Во-первых, направленность на реализацию механизма, с помощью которого обеспечивается создание надежной и точной записи сотрудников учреждений. Во-вторых, измерение влияния науки на экономику результатов, генерации знаний, и результаты, развитие науки, технологий и инновационной политики. Разработка рассчитана на минимизацию нагрузку на учреждения в процессе участия за счет автоматизации процессов.

Включение международных стандартов данных предусматривает использование дополнительных видов бенчмаркинга.

Используется интегрированный процесс оценки в рамках всех научно-исследовательских подразделений, программ и вуза в целом.

Система оценки отражает:

● производительность (качество, количество, последствия исследования) – оценка текущего состояния деятельности научно-исследовательского подразделения;

● международная стратегия и инновационный потенциал – управление, развитие научных коллективов;

● качество (оригинальность, качество, перспективы) – перспективы и возможности.

На уровне университета, оценка фокусируется на политике и стратегии, с упором на улучшение, в то время как оценка на уровне программы фокусируется на эффективности и подотчетности.