Исследователи в Италии резко повысили уровень цитируемости в клубах и «беспокойство»

Марк Эйрс / Getty Images

Исследователи в Италии резко повысили уровень цитируемости в клубах и «беспокойство»

Джорджия ГульельмиСеп. 11, 2019, 14:00

Согласно новому исследованию, скорость, с которой ученые в Италии цитируют себя и своих соотечественников, растет быстрее, чем в 10 других развитых странах. Авторы исследования утверждают, что всплеск клубного цитирования в Италии, вероятно, является результатом закона 2010 года, требующего стандартов производительности для академического найма или продвижения по службе.

Полученные результаты являются предостерегающим рассказом для администраторов исследований, которые слишком сильно полагаются на показатели цитирования при распределении ресурсов и принятии решений о карьерном росте, говорит автор исследования Джузеппе Де Николао, инженер из Университета Павии в Италии. Связывание профессионального прогресса с показателями цитирования может подтолкнуть ученых к непреднамеренному поведению и сделать показатели ненадежными, говорит он.

Полученные результаты являются «тревожными», - говорит Людо Уолтман, библиометрический эксперт Лейденского университета в Нидерландах, который не принимал участия в исследовании. По словам Уолтмана, чтобы ограничить сомнительную практику цитирования, итальянская система оценки должна исключать самоцитирование и учитывать такие факторы, как опыт и деятельность исследователя в дополнение к количеству цитирования.

После принятия закона 2010 года Италия начала регулировать набор и продвижение по службе, используя такие показатели, как число цитирований. Он был предназначен для решения проблем кумовства и отсутствия меритократии.

В соответствии с этой политикой академики не могут искать работу или повышение в должности доцента или профессора, если они не соответствуют хотя бы двум из трех показателей эффективности исследований. В таких областях, как медицина и естественные науки, эти показатели включают количество публикаций, количество полученных ссылок и h-индекс - комбинированный показатель производительности и воздействия цитирования.

Цитаты поворачиваются внутрь

По сравнению с другими странами в Италии наблюдался более быстрый рост «добросовестности» - процента ссылок на научные статьи страны, которые поступили от авторов из той же страны.

2008 2010 2012 2014 2016 20 22 24 26 28 30 32% Япония Великобритания Италия Франция Внутренность
Графика: Дж. Брейнард / Наука; Данные: A. Baccine и др .; PLOS ONE

Предыдущие исследования показали, что политика 2010 года привела к росту само цитирования. Однако эти исследования не учитывают долю публикаций каждой страны, на которые ссылаются другие ученые в той же стране, говорит Альберто Баччини, эксперт по наукометрии в Университете Сиены в Италии. Эти внутринациональные цитаты могут выявить «клубы цитирования» - тонкую форму манипуляции, в которой группы ученых ссылаются друг на друга, чтобы повысить свои показатели цитирования, говорит Бачини.

Таким образом, Баччини, Де Николао и их команда решили разработать показатель внутреннего развития, который измеряет как ссылки на себя, так и внутренние ссылки. Исследователи изучили базу данных Elsevier Scopus, одну из крупнейших в мире для исследовательской литературы, для подсчета цитирования между 2000 и 2016 гг. Для исследователей из G-10, группы из 11 развитых стран. Чтобы рассчитать внутреннюю принадлежность нации, команда подсчитала цитаты авторов страны на статьи, написанные в этой стране, и поделила эту цифру на общее количество цитат, полученных страной.

Все страны продемонстрировали скромный рост внутреннего развития с течением времени, что, как ни парадоксально, можно объяснить ростом международного сотрудничества. Это расширяет число документов из стран-участниц, которые могут быть процитированы. Возьмем, к примеру, статью, в соавторстве с научными сотрудниками в Италии и Франции: любая ссылка на эту статью из итальянской или французской публикации будет считаться внутренней ссылкой как для Италии, так и для Франции.

Однако, начиная с 2010 года, внутренняя часть Италии начала быстро расти, опередив Францию, Японию и Великобританию, обнаружили исследователи. Такой всплеск нельзя было отнести к сотрудничеству, поскольку темпы роста международного сотрудничества Италии в период с 2000 по 2016 год были анемичными по сравнению с другими странами. К 2016 году около 31% цитирований Италии были получены авторами в пределах ее границ - больше, чем любая другая страна, за исключением США, исследовательского центра, где ожидается много внутринациональных цитирований.

Поскольку тенденции изменились после введения политики 2010 года, вполне вероятно, что авторы в Италии приняли оппортунистическое поведение, в том числе массово цитируя свою собственную работу и работу коллег, для достижения целей политики своей страны, исследователи сообщить сегодня в PLOS ONE.

Марко Сибер (Marco Seeber), исследователь научной политики в Гентском университете в Бельгии, говорит, что рост в Италии является «поразительным». В марте Сибер исследовал использование в стране показателей цитирования и обнаружил существенное увеличение самоцитирования после политики 2010 года. «Политика была мотивирована достойными намерениями», - говорит он. «Но библиографические показатели должны использоваться для информирования, а не для определения оценок».

Зибер говорит, что неясно, насколько внутренняя часть Италии является результатом самоцитирования против клубов цитирования. Чтобы раскрыть эти клубы, нужно изучить отдельные документы, чтобы отличить законные цитаты от поддельных, говорит он.

Джон Иоаннидис, врач-ученый из Стэнфордского университета в Пало-Альто, штат Калифорния, подозревает, что клубы цитирования отстают от итальянской тенденции. Янинидис, который создал базу данных, которая выявила сотни экстремально цитирующих себя исследователей, говорит, что новое исследование предоставляет еще один пример того, как метрики могут быть использованы неправильно. Он отмечает, что само цитирование необходимо, если исследование основано на предыдущих работах авторов или их коллег. «Но если кто-то собрал более половины своих цитат из себя или соавторов, это довольно странно», - говорит он. «Вы должны присмотреться».