Ирина Мельчакова: Наукометрия — искусство интерпретации

19.04.2016

— Ирина, о чем говорят наукометрические показатели? Действительно ли, чем они больше, тем лучше?

И. М.: Никакой количественный показатель, конечно, не может быть поставлен во главу угла. Я отношусь к ним как к некой отправной точке, отталкиваясь от которой можно оценить деятельность ученого, организации или журнала. Сводить все к цифрам нельзя. В любом случае необходимо проводить экспертную оценку количественных показателей, анализировать, что за ними стоит, потому что может стоять разное.

— Равнозначен ли индекс Хирша таланту ученого?

И. М.: Все-таки «на пустом месте» индекс Хирша высоким не будет, исключения редки. Обычно этот показатель говорит о чем-то.

— Как аргумент против индекса Хирша приводят ученых-классиков, у которых этот коэффициент был бы низким, при этом их талант неоспорим.

И. М.: Исследования начала XX века не сопровождались таким количеством работ и индекс Хирша у ученых того времени был бы невысок. Часто у них есть одна работа, которая является классической и основополагающей. Но это не значит, что высокий индекс нужно обесценивать и сбрасывать со счетов. Необходимо смотреть, что стоит за каждой цифрой.

— Что же может стоять за высоким и низким индексом Хирша?

И. М.: Сам по себе индекс Хирша означает, что у ученого имеется n статей с количеством ссылок на них не меньше чем n (т. е. при индексе Хирша равном 8 у ученого есть минимум 8 статей, на которые сослались не менее 8 раз). Низкий индекс Хирша может говорить о разном. Представим, что он равен 1, но при этом эта единственная статья имеет миллион ссылок. Конечно, стоит признать, что это хорошая и нужная работа. Но что сейчас делает ее автор? Возможно, он опубликовал эту статью и оставил науку. Возможно, в последние годы он ведет коммерческие разработки, работает на закрытом предприятии и потому не может публиковаться. А вот высокий индекс Хирша определенно говорит о том, что работа ученого востребована и он публикуется в «горячих» тематиках.

— Какие могут возникать ошибки при интерпретации различных показателей?

И. М.: Нередко ошибки связаны с неэтичным научным поведением. В случае с индексом Хирша — с самоцитированием. Однако можно рассчитать индекс Хирша без самоцитирования: если он значительно отличается от обычного, это повод задуматься о том, как ученый зарабатывает себе имя. Другой показатель — количество ссылок. Web of Science (WoS) указывает общее число ссылок, а следующей строкой — число ссылок без самоцитирований. Легко оценить: ученый сам себя пиарит или его читают другие научные группы.

Не стоит также делать далекоидущие выводы по одному показателю. Только комплексный анализ может дать более-менее объективную картину. В нашей лаборатории есть сотрудники, у которых малое количество публикаций. Казалось бы, это плохо, ведь нам сейчас нужно много статей. Но вот пример: у нового сотрудника около 20 статей, при этом индекс Хирша порядка 14. Да, работ не много, зато индекс Хирша высокий. Это говорит о том, что его работы занимают много времени, зато каждая из них качественная, она читается и цитируется.

— А если у ученого много работ, но ссылок на них почти нет, о чем это говорит?

И. М.: Это могут быть и хорошие работы, но он либо не рассказывает о них, либо они действительно в данный момент не интересны («не в струе»). Ведь публикация даже в «звездном» журнале не гарантирует высокое количество ссылок. Помимо этого нужно съездить на конференции, рассказать о достижении, возможно, принять участие в научном диспуте, который подскажет, что не доделано и куда двигаться дальше. Если вы попали в интересную тему и сопровождаете ее пиар-поддержкой, вас будут цитировать.

— В разных областях науки исследования идут с разной скоростью...

И. М.: Да, многое зависит от области исследований. Например, у физиков-теоретиков много публикаций, потому что теоретическое осмысление напрямую выражается в написании статьи. А физики-экспериментаторы много времени затрачивают на проведение эксперимента, поэтому и публикаций у них меньше. У программистов основной продукт — не статьи, а программные коды, которые они, к тому же, часто разрабатывают для медицины, биологии, физики, поэтому и публикуются не в IT, а в других областях науки. Нужно оценивать область знаний. Разные сферы по-разному цитируются и ученые публикуют статьи с разной скоростью и периодичностью.

— Наверно, и журналы из разных областей нельзя сравнивать по этим показателям механически?

И. М.: Да, об этом часто напоминают. Импакт-факторы журналов в медицине традиционно самые большие. В химии меньше, в физике еще меньше. Если для журнала в области физики импакт-фактор 3–5 считается достойным, а 7–10 — замечательным, то для медицинского журнала такой импакт-фактор «ни о чем». У инженерных изданий импакт-факторы еще ниже (2–3). И все эти цифры несопоставимы с междисциплинарным Nature, который публикует лучшие исследования на горячие темы и имеет импакт-фактор более 30. Необходимо обращать внимание на область науки.

— Есть мнение, что наукометрия провоцирует гонку за публикациями, «перепроизводство недоработанных текстов».

И. М.: Речь идет о негативных практиках. Если говорить об этической стороне, конечно, это неправильно. Такое может быть в любой сфере: когда появляются новые условия, люди начинают к ним приспосабливаться и спекулировать, понимая, что за это заплатят. Сейчас в России уже приходит осознание, что нужно не просто количество, а нужны качественные статьи. Высокорейтинговые журналы, подобные Science или Nature, незаконченное, сделанное впопыхах исследование не возьмут никогда, туда даже на рецензию попасть сложно. Да, есть журналы, в которых легко опубликоваться, «надробив» статьи для количества, но цитирование этих работ не будет большим. А ведь помимо количества статей, важно и число их цитирований. Если работы незавершенны, они не получат много ссылок.

— Можно сказать, что разные показатели «уравновешивают» друг друга?

И. М.: Научное сообщество начинает понимать, что нужно анализировать комплексно: не только количество статей, но и то, в каких журналах они опубликованы, сколько ссылок на них. Кстати, количество ссылок тоже неоднозначный показатель. Бывает, что в статье содержатся ошибки и ее критикуют, приводя в качестве отрицательного примера. Но все равно можно сказать, что эта статья затронула тему, которая вызывает интерес. Даже если там приведены ошибочные данные, ее тематика актуальна.

— Достоверность наукометрических показателей напрямую зависит от полноты информации в базе данных.

И. М.: Да, я занимаюсь мониторингом эффективности международных лабораторий и мы опираемся на показатели двух широко известных международных баз — WoS и Scopus. Эти базы существуют давно, в них входят большое количество журналов, для которых это престижно. Отечественная база РИНЦ молодая и не обладает такими обширными данными, особенно по статьям, опубликованным за рубежом. С большей достоверностью по ней можно оценить публикации в российских журналах. Многие молодые ученые нашей лаборатории, которые активно работают и публикуются, там представлены лишь частично или вовсе отсутствуют с нулевыми показателями. Я заметила, что частота обновления информации в РИНЦ несопоставима с теми же Scopus и WoS. Видимо, ее дорабатывают и в какой-то момент по ней также можно будет получать полную информацию.

— Наверно, одно из главных достоинств наукометрических баз — дать возможность увидеть картину целиком...

И. М.: Scopus и WoS предлагают пакеты (SciVal и InCites), которые позволяют провести экспертный анализ публикационной активности в организации или сравнительную оценку с ближайшими конкурентами. ИТМО долгое время был узкоспециализированным университетом, мы понимали, что нужно расширять спектр исследований. WoS и Scopus помогают нам увидеть, появляются ли публикации в новых областях, происходит ли перераспределение сил.

— Помогают ли аналитические возможности баз данных выявлять негативные практики?

И. М.: Scopus проводил сравнительный анализ участников программы «5–100», цель которой вывести наши вузы в международные рейтинги. Было выявлено, что ряд университетов занимаются самоцитированием или публикуются в журналах, которые предлагают за определенную плату без рецензирования опубликовать статью. Конечно, такие журналы из базы данных исключают.

— В прессе широко обсуждалось соавторство как способ искусственного повышения показателей...

И. М.: Если включить известного иностранного ученого в соавторы, он привлечет к статье дополнительное внимание, ссылки или, благодаря своему имени, поможет попасть в более рейтинговые журналы. Такое есть, и мы с этим сталкивались, особенно в связи с программой «5–100». Но если великий ученый ценит свое имя, он этого не позволит. Многое зависит от позиции руководства университета и конкретной научной группы. Здесь мы возвращаемся к вопросу о научной этике, которую нужно воспитывать. Кстати, издательство Elsevier (владеющее научной базой Scopus) проводит лекции о научной этике.

— За рубежом наукометрия развивается давно, возможно, им удалось преодолеть негативные моменты?

И. М.: Мы часто ездим к коллегам из Европы проводить эксперименты на их оборудовании. Они уже прошли период гонки и сейчас спокойно и размеренно выполняют свою работу. Думаю, и в России ажиотаж пройдет, мы свыкнемся, что должны регулярно публиковать работы и отправлять их в достойные журналы. Да, устанавливаются общеуниверситетские показатели, но две статьи в год — это достижимо. Нередко у профессора выходит и 5–10 статей за год. Это значит, что он грамотно работает с аспирантами, основной «рабочей силой» науки, которые проводят исследования под его руководством. Некоторые ученые успевают участвовать в нескольких проектах, конечно, с разной степенью вовлеченности.

— Видите ли вы пути совершенствования наукометрических показателей?

И. М.: Скорее, нужно научиться правильно с ними работать: получать адекватную информацию, грамотно ее анализировать, понимать нюансы. Усилия по совершенствованию индексов все-таки предпринимаются. Например, многие критикуют импакт-фактор, потому что он сильно зависит от области исследования. Scopus попытался нормализовать его, введя показатель SJR, который учитывает «вес» ссылок в зависимости от источников. Показатель SNIP позволяет сравнивать публикации и журналы из разных областей. Однако у этих способов подсчета тоже есть свои плюсы и минусы. Я думаю, рационально учиться работать с тем аппаратом, который уже есть: корректно его оценивать и составлять целостную картину.