Рейтинг науковців України: методологія та її межі
З 2012 по 2015 рік за цією адресою публікувався щомісячний іменний рейтинг українських учених. Сьогодні тут — розбір методології, за якою такі рейтинги будуються, і пояснення, чому ми від них відмовилися.
Персональний наукометричний рейтинг — це впорядкований список людей за кількісним показником їхньої публікаційної активності. Виглядає він переконливо. Саме в цьому й полягає головна проблема.
Що тут було раніше
З березня 2012 до березня 2015 року за цією адресою щомісяця з'являлася таблиця українських учених, упорядкована за індексом Гірша. Були загальний рейтинг і два предметні — фізико-технічний та медико-біологічний. Окремо велися рейтинги молодих учених віком до 35 років.
Ці таблиці широко цитувалися: на них посилалися Вікіпедія, загальнонаціональні медіа, сайти університетів і наукових установ. Частина цих посилань жива й досі — власне, тому ця адреса збережена.
Як будується персональний рейтинг
Процедура виглядає простою лише зовні. Насправді вона складається щонайменше з шести кроків, і на кожному приймаються рішення, що впливають на кінцевий результат.
Визначення сукупності
Кого взагалі включаємо? Зазвичай — авторів, які у публікаціях за останній період зазначили українську афіліацію. Уже тут з рейтингу випадають ті, хто вказав лише закордонне місце роботи, хоча фактично працює в Україні.
Злиття профілів
Один учений часто має кілька облікових записів у базі — через різні транслітерації прізвища, зміну афіліації чи помилки індексування. Якщо профілі не звести докупи, показники будуть заниженими.
Відсіювання однофамільців
Зворотна помилка: під одним профілем можуть опинитися публікації різних людей із поширеним прізвищем. Автоматика тут регулярно помиляється.
Вибір хронологічних меж
Рахуємо все за всі роки чи лише за останні п'ять? Перший варіант вигідний для старших дослідників, другий — для активних сьогодні.
Рішення щодо самоцитування
Виключати самоцитування автора? А співавторів? Кожен варіант дає іншу таблицю. Ми свого часу виключали самоцитування всіх співавторів — найсуворіший із поширених підходів.
Впорядкування
За h-індексом, за цитуваннями, за кількістю праць — три різні рейтинги з тих самих даних.
Індекс Гірша: що він насправді показує
Показник запропонував фізик Хорхе Гірш у 2005 році. Означення: h-індекс дорівнює N, якщо дослідник має щонайменше N праць, кожну з яких процитовано щонайменше N разів, а решту праць процитовано менше ніж N разів.
Ідея була в тому, щоб одним числом поєднати продуктивність і вплив: багато нецитованих статей індексу не піднімуть, як і одна надзвичайно цитована.
| Що показник враховує | Що ігнорує повністю |
|---|---|
| Стабільний потік праць, які помічають колеги | Вік дослідника та тривалість кар'єри |
| Наявність «ядра» помітних робіт | Розмір і темпи цитування в дисципліні |
| Довготривалу присутність у полі | Особистий внесок у працях із сотнями співавторів |
| Монографії, підручники, патенти, прикладні розробки | |
| Причину цитування — схвалення чи спростування |
Ключове: h-індекс не може зменшитися й ніколи не падає. Це означає, що дослідник, який припинив публікуватися десять років тому, зберігає свій показник назавжди, а той, хто активно працює п'ять років, апріорі має нижчий. Порівнювати їх безглуздо.
Сім типових спотворень
- Ефект дисципліни. Медіанний h-індекс у біомедицині в рази вищий, ніж у математиці чи філології — просто тому, що там більше дослідників, коротші статті й густіші списки літератури.
- Ефект віку. Кумулятивні показники накопичуються. Порівняння 30-річного й 60-річного за h-індексом — це порівняння віку.
- Гіперавторство. У фізиці високих енергій чи геноміці стаття може мати понад тисячу співавторів, і кожен отримує повне цитування.
- Мовний зсув. Роботи українською в міжнародних базах представлені гірше й цитуються менше — незалежно від їхньої якості.
- Помилки ідентифікації. Розділені та злиті профілі спотворюють показники в обидва боки, іноді в рази.
- Цитатні картелі. Групи авторів або журналів, що системно цитують одне одного, штучно піднімають показники.
- Ефект зворотної дії. Щойно за показником починають звітувати, з'являються стратегії його накрутки — від «салямі-публікацій» до купівлі співавторства.
Чому ми припинили публікацію
У 2015 році стало очевидно, що рейтинг використовують не так, як задумувалося. Замість інструменту огляду наукового ландшафту він перетворився на аргумент у кадрових суперечках і на предмет гордості пресслужб.
При цьому виправити методологічні спотворення, перелічені вище, у форматі публічної таблиці неможливо. Будь-яка примітка про межі інтерпретації губиться, щойно з таблиці роблять скриншот.
Рішення про індивідуальний внесок дослідника не може ґрунтуватися на журнальних чи агрегованих показниках. Оцінювання має спиратися на зміст роботи. Загальний принцип DORA, до якого приєдналися тисячі установ і видавців
Тому ми перевели проєкт із режиму «публікуємо таблиці» в режим «пояснюємо методологію». Це менш видовищно, але чесніше.
Як користуватися чужими рейтингами
Іменні наукометричні рейтинги продовжують публікувати інші проєкти. Якщо ви на такий натрапили, поставте до нього шість запитань:
- Джерело. З якої бази взято дані та на яку дату?
- Сукупність. Кого включено й за яким критерієм — афіліація, громадянство, місце захисту?
- Самоцитування. Виключалося? Чиє саме?
- Профілі. Чи зводилися кілька облікових записів однієї людини?
- Дисципліни. Чи порівнюються між собою представники різних галузей у спільній таблиці?
- Оскарження. Чи є процедура виправлення помилки в даних про конкретну людину?
Якщо відповідей немає на чотири й більше запитань — перед вами не рейтинг, а вивантаження.