Наукометрия в двух словах. Базы данных и археология

Зимой 2018 года Министерство образования и науки Украины исторгло новый “Порядок формування Переліку наукових фахових видань України”. О нём было довольно много шума в украинской академической среде, и не зря — значительная часть требований этого документа абсурдны и нереалистичны. Важно понимать, что такой порядок в принципе необходим для определения эффективности работы учёных и качества диссертационных разработок. Но в том виде, в котором он предложен, документ пытается измерить всех на свой, кривой и глупо устроенный, аршин. А ведь через две недели все издания категории «В» (то есть не соответствующие требованиям международных баз данных) навсегда утратят ту самую «профильность» («фаховість»). Однако наши реалии именно таковы, потому есть смысл провести краткий ликбез о том, что такое менеджмент научной деятельности сегодня и что нужно минимально знать о том, куда и как подавать свои статьи.
Основным мерилом эффективности научной деятельности сегодня стал показатель цитируемости учёного / организации / издательства. Тут всё просто — чем больше на тебя ссылаются, тем лучше твои работы. Если бы не набор Но.
Но № 1: для того, чтобы считать цитируемость, нужно собрать какую ни какую базу данных. И желательно не базу чего попало, а базу достойных работ. И обеспечить механизмы взаимодействия данных
Но № 2: нужно определить показатель, по которому мы считаем цитируемость, и понимать, как он работает. А работает он не всегда хорошо.
Но № 3: нужно было бы (и этого не происходит) учитывать специфику условий, в которых выполнена научная работа.

1. Базы данных

Да, такие базы есть. Не стоит их путать просто с агрегаторами статей (например, Academia или Researchgate). Это именно наукометрические базы данных.

Самая известная из них — Google Scholar. Тут механизм очень простой — алгоритмы гугл ищут статьи и связывают их с профилями автором, а позже измеряют «ссылаемость» других статей из базы на эти. Эта база самая большая, что скорее недостаток, чем преимущество. Дело в том, что критериев качества к публикациям Google Scholar не применяет никаких. Таким образом, база лопается от засилья бессмысленных и невидимых статей сомнительной полезности. А показатели цитирования оказываются завышенными, ведь учитывают каждые завалящие тезисы. Итог — совершенно отрезанные от мировой науки люди имеют огромный показатель цитирования непонятно чего непонятно где.

Второй по популярности кандидат — Scopus. Эта база уже имеет претензию на какие-то объективные показатели научной эффективности. Во-первых, она работает только с теми журналами, которые считает качественными. Качественные — это с авторитетной и активной редколлегией, DOI, рабочим сайтом и двойным слепым рецензированием. Кстати, эти принципы общие для большинства адекватных наукометрических баз. Их попыталось в своем… документе внедрить и министерство образования и науки, но получилось как обычно. Основная претензия к Скопус кроме общих недостатков подхода (о которых ниже) — большое количество спорных журналов, индексируемых базой. Но есть и преимущества:
размеры — журналов там реально много, есть из чего выбрать и есть на что сослаться;
хоть какой-то фильтр от мусора — это и правда не Google Scholar, тут есть немножко качества;
возможности поиска и анализа материалов из базы, которые всё-таки превосходят стандартный набор инструментов;
Для отображения данных о журналах и авторах существует специальный сайт-сервис, который автоматически создает и поддерживает профиль всего, что попадает в базу данных — как конкретного автора, так и организации. С другой стороны, без хотя бы одной публикации в Скопус вы этот профиль не создадите.
Но как вы понимаете, и опубликоваться здесь дольше и труднее. Кроме того, нынче в Украине нет ни одного Археологического издания в Скопус, а русскоязычных — два или три.
Чтобы попасть в базу, журнал должен пережить испытательный срок, равный времени выхода шести выпусков (потому требование МОН быстро всем подать документы в Скопус для получения максимальной категориальной оценки журнала изначально было бредовым).

Третий самый популярный игрок на этом поле — Web of Science (Core Collection). То же самое, что и Скопус, но намного лучше и с более прочной репутацией. Обычно в требованиях к издательствам эти две базы идут в паре, но археологи более предпочитают Скопус, ведь он на слуху. И возможно зря.
Для отображения эффективности учёных, журналов или организаций здесь также существует сервис (с ограниченным доступом) и отдельный сайт-сервис Publons с открытым доступом.

Есть и другие супергерои — заточенный на гуманитарные науки Erih Plus или базы, сфокуссированые на открытом доступе. Да, тут вскрылся ещё один аспект — большинство баз имеют узкий спектр применения. Потому, например, ориентация документа МОН на реестр “SENSE” — абсурдна, ведь он имеет очень локальную сферу применения, ограниченную в основном территорией Нидерландов. Да, Scopus и Web of Science — общие базы. Но не ими едиными мы должны быть богаты. Ну а местные реалии надо учитывать и подавно.

Отдельно стоит отметить, что большинство баз предоставляют инструменты для поиска и выбора наиболее тематического журнала или статьи, нужно только определить свои потребности и задать условия поиска.

Получается, что перед созданием статьи можно (и нужно) выбрать журнал и оценить его мощность — базы, показатели, процедуру рецензирования. Иначе публикация с определенным шансом отправится в ящик. Благо, человек, который умеет гуглить, без труда справится с менеджментом своей деятельности. Хотя научным учреждениям не помешало бы иметь отдельного специально обученного человека, который был бы готов прийти на помощь в этом нелегком деле.

Как нормальные базы обеспечивают качество и связность данных?
Сперва о качестве. Базы данных содержат информацию о конкретных журналах. А вопрос о публикации той или иной статьи принимает редколлегия журнала сама по себе. Для того, чтобы убедиться в том, что статья достойна быть напечатана, её подвергают процедуре рецензирования. Да, когда-то давно Энштейн был оскорблен такой опцией, но сейчас она стала, увы, общим правилом. Каждую статью лишают признаков персонификации автора и отправляют на рецензию к двум анонимным рецензентам, которые высказывают свои пожелания о том, как статью доработать и стоит ли вообще игра свеч. Конечно, зачастую рецензенты ничего не понимают в предметной сфере и высказывают поверхностные суждения. Иногда бывает наоборот, но в этом случае автор, скорее всего, знает тех двух человек, которые могут дать адекватные замечания по его исследованию и вся анонимность испаряется.

Связность данных обеспечивает Digital Object Identifier (DOI). Это цифровой индекс-ссылка, которая однозначно ведёт к конкретной статье и связана с её метаданными. DOI своим статьям обеспечивает журнал. Но то, что издательство получает индекс (в отдельной независимой структуре Crossref) не значит, что он индексируется в какой-либо базе данных, это всего длишь необходимое и недостаточное условие. Пример — Археология Украины по состоянию на 2019 год (на испытательном сроке). Обратный пример — Стратум + (хотя я не знаю, как они до сих пор не вылетели из Скопуса, без DOI-то).
Каждая статья получает индекс и проходит проверку списка литературы. Для всех статей, на которые ссылается автора, выполняется поиск их DOI. После поиска оператор издательства регистрирует совпадения и цитирования. Таким образом и собираются данные для определения цитируемости того или иного текста. Тут есть два нюанса. Во-первых, Любой адекватный журнал должен стремиться получать DOI, чтобы сделать свои статьи видимыми. Во-вторых, статьи без открытого доступа (как часть текстов в Скопус и Web of Science), получают возможность быть украденными пиратскими сайтами-агрегаторами (God save Sci-hub). Так что кроме пути к показателям, DOI — ещё и путь к открытой науке, что не может не радовать.

2. Два слова о способах расчета цитирования

Самый простой вариант — в лоб. Просто определить, сколько раз процитирована та или иная статья, тот или иной учёный и так далее (конечно же, Скопус будет учитывая только цитирования в тех изданиях, которые входят в Скопус. То есть источник данных о цитировании имеет важное значение и его нужно учитывать). Однако в таком случае, одна удачная статья, написанная в соавторстве с десятком коллег значительно повлияет на показатели в остальном непопулярного учёного. Или наоборот. То есть нужно учитывать вес статьи. Для этого есть несколько видов индексов, самый популярный из которых — “Индекс Хирша” (h-индекс).
Правило расчета таково: h-индекс равен h, если количество h публикаций этого автора процитировано h раз. Таким образом, автор, одну статью которого процитировали однажды, имеет индекс Хирша 1. А чтобы получить значение 2, нужно быть процитированным уже 4 раза — по два для двух статей, входящих в базы данных. Сейчас это основной вариант измерения крутизны учёного, хотя это и не объективно. Почему? Во-первых, индекс не до конца учитывает самоцитирование. Во-вторых, самые большие индексы получают статьи-некрологи, что забавно и неадекватно. В-третьих, индекс Хирша увеличивается и при отрицательном цитировании, не учитывая контекст, что неверно. В-четвертых, разные дисциплины имеют разные подходы к цитированию — у физиков h-индекс стабильно выше, чем у археологов, которые, тем не менее, обгоняют по этому показателю литературоведов.
Кроме того, каждая база расчитывает индекс отдельно, только для себя. Вот и получается, что условный археолог Давид (изучает неолит) в Google Scholar имеет индекс Хирша 18 во разным мусорным изданиям, а в Скопус у него почетный 0. Это не умалаяет его заслуг перед археологией, но много говорит о готовности соответствовать требованиям современной науки. Реальный случай, кстати. По состоянию на 2019 год самый высокий индекс Хирша у археологов Украины — 8. В первую пятерку входит самый маститый украинский трипольевед Михаил Юрьевич Видейко, директор Института Виктор Петрович Чабай, несколько славистов . Все приличные люди.
Google Scholar оперирует ещё и другим показателем — i10-индексом, который указывает количество текстов, процитированных более 10 раз. Но этот показатель ещё менее объективный, ведь полностью исключает молодых учёных из конкурентной борьбы.
Все эти индексы не следует путать с импакт-фактором журнала, который считается иначе. А его, в свою очередь, не стоит путать с i-индексом — по-сути, индексом Хирша для изданий (а не для отдельных авторов).

3. Почему это плохо работает в Украине?

Пару лет назад очень популярно было обсуждать статью о неэффективности работы Национальной Академии Наук Украины и учёных как раз в контексте баз данных, индексов и т.д. Настолько глупая статья, что даже лень её искать. Очень обидно, что многие наши коллеги подхватили её настроение, не разобравшись в вопросе.
Прежде всего, в пост-советской науке в принципе не может быть таких показателей, как в Европейской. Из-за железного занавеса и его последствий, например — мы ведь были отрезаны от мира очень долго. К тому моменту, как наукометрия уже стала нормой в Европе, мы только слово это первый раз услышали. Было бы странно, если бы у наших академиков к тому моменту были h-индексы по 30. А учитывая, что пост академика пожизненный, обновление наших кадров происходит крайне медленно.
Кроме того, мешает ещё и языковой барьер — ведь базы сфокусированы на англоязычных публикациях. А откуда им у нас взяться-то? Чтобы они были, надо хорошо готовить кадры к тому, чтобы они делали конкурентную науку. Тут мы можем упереться и долго обсуждать третью проблему — отсутствие достойного образования и финансирования, но вы всё то и без меня знаете. У журналов просто нет денег на DOI (а они платные), сайт и прочие административные расходы. Кроме того, законодательное сжимание широкого выбора баз данных до двух самых массивных отрицательно сказывается на отраслевой и узкодисциплинарной науке, что стало предметом отдельной паники историков, например, и не зря. Ведь чем меньше отрасль, тем меньше ресурсов. А если отобрать у неё профильное издание, то и пополняться новыми учёными отрасль не будет — ведь новых кандидатов наук взять будет просто неоткуда.

А ведь всё это — только наукометрическая сторона научной деятельности. Как-нибудь потом ещё нужно будет поговорить о социальном её компоненте.

P.S. Кстати, оригинал картинки мы бесчестно позаимствовали у группы Астраханских археологов и настоятельно рекомендуем следить за их крутой и зрелищной работой.