Открытая методология — следующий шаг для открытой науки

Редакционный директор OxfordUniversity Press Дэвид Кротти рассуждает о необходимости публиковать больше информации о методологиях и ходе исследований. Данные должны помочь получать более точные и воспроизводимые результаты в будущем.

 

Научные журналы вышли в Интернет примерно четверть века назад. А мы только начинаем понимать, что это на самом деле значит с точки зрения отчётов об исследованиях. Первые десятилетия мы потратили на то, чтобы воссоздать в Сети аналоговый опыт публикации. Это были ежемесячные выпуски, заполненные PDF-файлами, и объём каждой публикации был ограничен размерами полос. Мы обнародовали резюме исследовательских проектов, что, безусловно, важно. Но большой объём информации, которую учёные получали в процессе, никогда не выходил в свет. 

Как сообщество, мы должны осознать: чем больше работы мы проделаем по сбору, сохранению и распространению данных о рабочих процессах, тем большей прозрачности и надёжности выводов исследований мы добьёмся. А ещё это позволит повысить отдачу от инвестиций, которые направляются на финансирование исследований.

На первый взгляд, кажется очевидной идеей делать публичные хроники всего, что происходит ежедневно в ходе исследований. Однако в реальности мы столкнёмся с ограничениями. Помимо проблем с инфраструктурой для хранения и публикации данных, есть и сложности с тем, что на это требуется много времени. А именно его и так не хватает исследователям. 

Время, потраченное на ведение записей и их публикацию, — это часы, сворованные у экспериментов. Потому, чтобы фиксировать ход исследований правильно, надо разработать комбинацию стратегий, которые позволят снизить нагрузку на учёных, и предложить вознаграждение, достаточное, чтобы оправдать возросшее бремя. 

Кроме того, в процессе возникает много данных, которые не имеют никакой общественной ценности. Так как отделять зёрна от плевел, чтобы понять, что надо обнародовать? 

Выбор правильных отправных точек

Путь к полностью открытым исследованиям, что является конечной целью, скорее всего будет долгим. Немедленный и радикальный переход к полной прозрачности, вероятно, невозможен. Лучше начать с тех частей исследовательского процесса, которые наиболее ценны и сохранение которых станет меньшим бременем для учёных. Нам нужно выбрать шаги, которые быстро принесут пользу и дадут импульс для движения вперёд. 

Открытые данные — очевидный первый шаг. И мы всё быстрее движемся к тому, чтобы сделать их стандартной частью любого проекта. Что действительно полезно в движении за открытые данные, так это создание модели того, как мы обнародуем фрагменты исследовательских процессов. Лучшие стандарты и практики могут быть адаптированы и применительно к раскрытию другой информации.

Не обращайте внимания на данные, где протоколы?

Одних данных недостаточно. Огромной дырой в вопросе открытой науки остаётся недостаточное внимание, которое уделяется отчётам по исследовательским методологиям. Возможность посмотреть данные, лежащие в основе исследования, позволяет увидеть, насколько точны результаты проекта и сделанные выводы именно для этого набора данных. Но при этом не получится проверить качество и точность самих данных. Если я не знаю, как вы получили эти данные, я понятия не имею, насколько они хороши, и у меня, конечно, нет никаких шансов воспроизвести эксперименты.

Большая проблема в том, что скудная информация, которую предлагают разделы «Материалы и методы» большинства журналов, недостаточна, чтобы повторить то, что делали авторы. Часто при описании техники учёный просто цитирует предыдущую статью, которая цитирует предыдущую, и так далее. Это отсутствие детальной методологии — что-то вроде анахронизма, сохранившегося от печатной модели публикации, направленной на сокращение страниц в бумажной версии.

Как OpenAccess требует публичного доступа к данным, лежащим в основе исследований, так и открытые методы потребуют публичного доступа к подробному описанию процедур, используемых для сбора и анализа этих данных. Для этого могут использоваться различные пути — публикация метода в виде отдельной статьи, цитируемой исследовательской работой, подробное его описание в самой статье или цитирование депонированной документации метода в репозитории, таком как protocols.io.

Потенциал для повторного использования

Ещё один важный вызов — повышение эффективности, которое обеспечивает открытая наука. Одним из главных стимулов развития открытых данных является возможность повторного их использования. Это также может относиться и к открытым методам. Огромное количество данных, генерируемых исследовательскими проектами, действительно специфично для конкретного типа клеток, или региона, или конкретных условий. Но так или иначе методологии позволяют адаптировать их для новых проектов, даже не связанных друг с другом.  Например, метод, разработанный при изучении паразитов рыб, был воспроизведён при изучении нейронов.

Огромная часть любого исследовательского проекта тратится на выяснение, как сделать то, что вы хотите сделать, а также на изучение и совершенствование методов, которые вы собираетесь использовать. Наличие проверенной и успешной методологии может дать огромную фору.

Показатели публикации

Спросите любого редактора журнала, и он скажет вам, что статьи о методах почти всегда самые цитируемые. Это говорит об их ценности в продвижении будущих исследований и высоком уровне применимости к новым проектам. Я просмотрел около 15 работ, которые опубликовал в прошлом. И наиболее цитируемая из них — как раз статья о методе. Она вышла в 2002 году, но цитировалась даже в прошлом году. Её также упоминали в нескольких патентных заявках. И если вы вкладываетесь в экономическое развитие через финансирование исследований, это как раз один из ожидаемых результатов.

Воплощение в жизнь

Переход к открытым методам потребует вклада и усилий со стороны широкого круга заинтересованных сторон. Нам нужны чёткие стандарты, смоделированные на основе справедливых принципов, уже существующих для открытых данных. Они должны применяться на разных уровнях — от содержания самих методологий до того, как они маркируются, цитируются и распространяются. Нам нужны стандарты для хранилищ, чтобы обеспечить надёжный и постоянный доступ к информации. Протоколы, как правило, развиваются со временем, поскольку разные исследователи находят для них разное применение. Поэтому необходимо учитывать разветвление методов.

Требования к открытым данным продолжают разрабатываться. И финансирующие организации должны также признать важность и полезность предлагаемых методик и рассматривать их как ценный результат исследований, достойный соответствующего карьерного вознаграждения и постоянного финансирования. Как и в случае с открытыми данными, исследователям придётся изменить свои рабочие процессы с учётом возможного публичного доступа к ним.

И у издателей здесь есть реальная возможность для развития. Те, кому хватило смелости выдвинуть первые требования к открытым данным для публикации, смогли ускорить прогресс и нормализовать идею для авторов. Аналогичные усилия в обсуждаемом нами направлении будут направлены на улучшение методов отчётности. Многие издатели уже действуют, существуют Cell Press’ STAR Methods, Nature’s Protocol Exchange. А недавно PLOS объявил о появлении Laband Study Protocols.

Сейчас самое время двигаться вперёд. Проще говоря, прозрачность методологий исследований необходима для формирования общественного доверия и получения точных, воспроизводимых результатов исследований.