Материал подготовлен проектом ИноСМИ Группы сайтов РИА Новости >>
Йоахим Мюллер-Юнг
Коллективный сбой? То, что отличает хороших исследователей от плохих, вряд ли можно надежно оценить при помощи системы цитирования, факторов влияния и рецензий коллег.
Основываясь на голом числе публикаций, вряд ли можно определить, что наука в кризисе. Согласно статистическим данным, каждые 20 секунд публикуется одна научная статья. Тот, кто знает, сколько работы уходит на одну публикацию с участием нескольких авторов, скажем, по астрофизике или молекулярной биологии, тот удивится такой высокой продуктивности, особенно если исходить из хорошего качества работ. Отделять зерна от плевел – это, скажете Вы, рутина для ученых. Также как можно было бы предположить, что апелляционные комиссии, спонсорские организации и жюри конкурсов довольно просто могут отличить хорошего ученого от середнячка. Но не тут-то было.
Если коснуться дискуссий последних лет о том, как можно надежнее всего измерить качество публикуемых материалов, быстро возникают сомнения. И виновен в этом не только поток новых сомнительных журналов, большинство из которых не имеют открытый доступ и обещают потенциальным авторам и спонсорам быструю — и якобы гарантирующую защиту качества — публикацию материалов. Если коснуться вопроса о том, достиг ли своего предела метод рецензирования работ как надежный инструмент, использующийся на протяжении веков, тут же закрадываются сомнения. С одной стороны, все чаще попадаются такие случаи как с физиком-обманщиком Яном Хендриком Шеном (Jan Hendrik Schön), который более десяти лет публиковался в признанных журналах Nature и Science и, по всей видимости, сумел обойти все механизмы безопасности. Есть также статьи, которые в первые недели после публикации активно цитируются, а спустя год будто забываются, потому что их тезисы опровергаются. Но есть и оригинальные статьи, например, Грегора Менделя (Gregor Mendel), которые на протяжении нескольких лет будто не замечаются, но, в конце концов, приводят к смене парадигмы в науке. Другими словами: распознать, что является выдающейся статьей, — это тяжелейшая работа в научной сфере. Потому что, в конце концов, от этой оценки зависит не только слава и размер гонорара отдельного исследователя, но и целые институты с сотнями или тысячами сотрудников.
То, что введение различных статистических, то есть библиометрических методов оценки, например, факторов влияния журналов и цитируемость не решило в целом проблему, отражается не в последнюю очередь в растущем количестве новых концептов и идей, которые лишь частично исходят из соответствующих дисциплин – библиометрии или наукометрии. Подобный подход появился около десяти лет назад в биологии и позднее в медицине с основанием сайта научных публикаций Faculty of 1000. Несколько тысяч исследователей со всего мира дают определения, оценивают, комментируют, по их мнению, самые важные публикации и создают из них банк данных. Статьи в банке данных могут быть помечены как «рекомендованные», «необходимые к прочтению» или «выдающиеся». По мнению критиков, данный подход является хотя и дополнительным, но субъективным методом оценки.
Наибольшую пользу сайт приносит необязательно благодаря защите качества статей, говорит основатель ресурса F1000 Витек Трач (Vitek Tracz) репортеру издания Science. Это сокровищница. Исследователи из смежных дисциплин ищут в банке данных важнейшие публикации за пределами их профессиональной области. Контроль качества не является моделью бизнеса, потому что основные идеи сосредоточены в новых проектах, таких как F1000Research. За счет быстрой проверки качества редакторами он позволяет быстро публиковать исследования и рецензии на них с указанием имен рецензентов. Долгие, затяжные и нервирующие методы анонимного рецензирования, а авторы отзывов, как правило, являются конкурентами в этой сфере, отпадают. Вместо того, говорится в блоге F1000, некоторые статьи сразу оцениваются в банке несколькими рецензентами, что должно положительно сказаться на качестве.
Но действительно ли все так происходит? Двое ученых решили опробовать этот метод и проверить альтернативные методы оценки. Биолог Адам Эйр-Волкер (Adam Eyre-Walker) из университета Сассекса в Брайтоне вместе со своей коллегой из Ганновера Ниной Столецки (Nina Stoletzki) взяли для исследования 5811 публикаций, находящихся с 2005 года в банке F1000. Более 1300 статей были рецензированы более чем одним ученым. Также для исследования были взяты 716 докладов из британского банка Welcome Trust, которые также подвергались рецензированию после публикации в классических журналах. Список цитируемости каждой из более 6500 статей в течение шести лет после их опубликования прослеживался при помощи Google Scholars. Результат: «Ни один из рассмотренных критериев оценки не является надежным. Прежде всего, субъективный метод оценки, осуществляемый коллегами, таит в себе много ошибок и является дорогостоящим». Другими словами: Эксперты всегда допускают ошибку, когда им приходится оценивать значение труда своего коллеги. Если двое высокоуважаемых коллег оценивают одну и ту же статью, они максимум в половине случае приходят к одному и тому же результату. «В статистическом плане это не лучше, чем случайное совпадение», — таково резюме обоих исследователей в их работе, опубликованной в Plos Biology.
Оригинал публикации: Auch die besten Wissenschaftler sind schlechte Gutachter
