Один из основополагающих критериев хорошей науки — воспроизводимость. Эксперимент должен обязательно давать одинаковые результаты если его ставят одинаковым образом разные люди в разных лабораториях (в пределах погрешности, естественно). Для этого нужно очень детально и скрупулезно описывать методику эксперимента, чтобы другой ученый, при желании, мог его повторить. В принципе, требование детального описания методики существует практически во всех областях науки и во всех приличных журналах, но на практике оно соблюдается довольно редко.

Причин у наплевательского отношения к описанию методики несколько. Во-первых описывать ее банально лень т.к. это очень нудное занятие, а в статьях хочется сосредоточиться на результатах и выводах. Во-вторых во многих журналах рецензенты читают методику по диагонали т.к. это тоже очень нудное занятие, а стало быть пробелы в ней часто проходят незамеченными. В-третьих очень распространенной является практика сознательного замалчивания каких-то мелких, но очень важных деталей, без которых воспроизвести эксперимент не получится. Это делается специально чтобы оставить за собой эксклюзивное право пользоваться придуманной крутой методикой и не иметь конкурентов. В условиях постоянной драки за гранты — это существенный козырь.

Невозможность повторить большое количество научных работ получило название кризис воспроизводимости. Его причина не только в криво описанной методике, но она тоже вносит свой вклад. Ярче всего кризис проявляется в психологии, где не получается воспроизвести более 2/3 всех исследований. Тревожные звоночки поступают и из такой важной области как исследования рака — там также далеко не все воспроизводится. Если примеры и из других областей: медицины, экономики, маркетинга, экологии, эволюционной биологии и т.п.

Проблемы невоспроизводимости хорошо известны и для их решения уже разрабатываются новые приемы, которые раньше в науке не применялись: пререгистрация исследований, переосмысление критериев статистической значимости результатов, отдельное финансирование повторного независимого воспроизведения важных результатов, загрузка «сырых» экспериментальных данных в «облако» для общего доступа и т.д. Все это постепенно формирует новый тренд, получивший название открытая наука, который, в теории, должен если не преодолеть совсем, то существенно ослабить кризис воспроизводимости. Идея состоит в том, чтобы сделать весь процесс исследования максимально открытым, прозрачным и доступным для мониторинга и перепроверки на любом этапе.

В моей работе тоже был показательный и веселый случай, который ярко демонстрирует все эти болячки. В моей области (молекулярном моделировании) небрежное описание методики — чуть ли правило хорошего тона. Чтобы понять почему, надо немного объяснить как в нашей песочнице делаются исследования:

  1. Из сотен тысяч отдельных атомов по принципу детского конструктора складывается нужная молекулярная система. От того как именно это делается (а делается это зачастую очень сложно) зависит ее начальное состояние и дальнейшая эволюция.
  2. Выбираются параметры моделирования — это около сотни параметров для специального вычислительного ПО, для доброй половины которых нет значений по умолчанию либо они малопригодны на практике. Все эти параметры в той или иной степени влияют на результат.
  3. Когда все посчиталось на суперкомпьютере проводится анализ. Процедура анализа зачастую в разы сложнее самого счета и подготовки системы. Для нетривиальных систем алгоритмы анализа надо разрабатывать и отлаживать «на коленке» прямо в процессе. Естественно, что в них могут быть какие-то свои нетривиальные параметры.

Так вот, из всего этого добра в статьях на методику отводится, обычно, пара скупых абзацев. Естественно, ни о какой точной воспроизводимости в большинстве случаях говорить не приходится — желающему повторить результат приходится заново проделывать все операции и заново подбирать кучу параметров.

Теперь, собственно, случай из моей практики. Есть такие забавные небольшие заряженные пептиды, называемые CPP (cell-penetrating peptides), которые спонтанно пролазят сквозь клеточные мембраны. Как именно они это делают толком не понятно до сих пор, но доминирующей является идея, что они формируют в мембранах сквозные поры.

В далеком 2007 г. мы аккуратно промоделировали взаимодействие этих пептидов с мембранами и выяснили, что никаких пор мы не наблюдаем и что пептиды даже просто в мембрану влезать не желают.

Примерно в то же время другая группа ученых бодро отрапортовала, что они намоделировали самопроизвольное формирование пор и все это наглядно увидели. Встал вопрос ребром: или мы дураки, или лыжи не едут. Мы полезли разбираться в методике конкурентов и нашли у них эпичный ляп (дальше сложные технические детали, можете не читать):

Ребята забыли насыпать в систему контрионы, чтобы нейтрализовать ненулевой заряд пептида. Алгоритмы рассчета электростатики в молекулярной динамике работают так, что в случае некомпенсированного заряда сам собой возникает паразитный объемный заряд противоположного знака, который размазан равномерно по всему объему системы. Этот заряд сильно дестабилизирует мембрану и в нее лезет всякая гадость, которая в норме лезть не будет.

Об этой «особенности» (де факто просто ошибке, допущенной каким-то не шибко подкованным аспирантом) в статье конкурентов было сказано вскользь, между прочим, но все-же было. Если бы сказано не было вообще, то конфликтующие результаты так и висели бы годами и никто так и не нашел бы причину расхождений!

Знаете что сделали эти ребята когда мы макнули их в ошибку? Думаете исправили ляп и все перепроверили? Может быть отозвали статью или написали к ней дополнение с признанием ошибки? Не-а! В последующих работах они... (барабанная дробь)... вообще перестали что-либо писать в методике про контрионы, чтобы больше никто к ним не придолбался! При этом они продолжали отлично публиковаться и цитироваться в хороших журналах.

Возникает риторический вопрос: спасет ли новомодная «открытая наука» от человеческой хитрожопости?