может, это ближе к шаманству, чем к науке?

[avva]

Исследователи рассмотрели 53 статьи в области раковых заболеваний, и попробовали воспроизвести их результаты (причем включая диалог с авторами, получение от них дополнительных данных и указаний в случае необходимости итд.). Только в 11% случаев удалось воспроизвести результаты.

Как-то это шокирует, если честно. 11 процентов? Одиннадцать процентов?

(via HN, там есть неплохая дискуссия по теме)

Comments

[biogalkin.livejournal.com]

при етом ето 11% из одних и тех же мест. но вообще сдается мне, что тотално скорее всего меньше, потому что вруны печатают больше

[tandem-bike.livejournal.com]

моет и так,но не проверить, а потому голословно. потом, проблема не во "врунах". их не более в медицинском рисерче чем в бэзик сайнс.

[amapai.livejournal.com]

Вот же линк на саму заметку - http://www.nature.com/nature/journal/v483/n7391/full/483531a.html
К чему линк на ответ на вопросы о заметке?

[avva.livejournal.com]

Там есть дополнительная интересная информация о том, почему не раскрыты подробности об исследованиях, а также ссылка на первоначальную статью.

[grihanm.livejournal.com]

В математике воспроизводится всё.

[special-linear.livejournal.com]

Казалось бы — да, но на самом деле нет. Просто "воспроизводится" тут имеет несколько иной смысл.
Есть масса статей, в которых формально ошибок вроде нет (не находится), но что конкретно там делается, понять чрезвычайно сложно или вовсе невозможно. Либо написано очень запутанно, либо какие-то нестандартные техники применяются, но если понять по существу невозможно, то вряд ли такой результат можно назвать воспроизводимым.

[alaev.livejournal.com]

Господь с Вами, почему? В математических работах масса ошибок.

Под воспроизводимостью математической статьи я понимаю то, что ряд коллег постарались глубоко разобраться в доказательствах, и согласились, что текст верен. Такое случается далеко не всегда. Часто статьи вообще никто глубоко не разбирает.

[shvarz.livejournal.com]

А кто-нибудь пытался воспроизвести результаты этой статьи?

[darum.livejournal.com]

Вопрос хорошо подходит к теме. В этой заметке же есть ссылка (Prinz, F., Schlange, T. & Asadullah, K. Nature Rev. Drug Discov. 10, 712 (2011)) на статью 2011 года с аналогичными результатами.

[kray-zemli.livejournal.com]

Такова сейчас тенденция в науке: наука превращается в бизнес. А когда бизнес был честным?

Есть неполиткорректное мнение, что это всё из-за того, что к глобальной науке подпустили всякую азиатскую мразь и прочих унтерменшей. И в результате, конкуренция повысилась, а стандарты качества снизились. Наверное, что-то в этом есть.

Я отработал в науке 10 лет и видел, как это произошло в России. Тут, конечно, азиаты ни при чём.

Где-то эдак до 2005 года, в России учёные получали $100 в месяц и жаловались, что денег мало выделяют. Кроме стариков, в основном там отсиживались всякие безнадёжно повёрнутые гики.

Потом вроде бы и деньги выделять начали, но началось такое... Не наука, а сплошной маркетинг.

В общем, главную роль тут сыграло то, что 90% специалистов времён СССР попередохли и никому не передали свой опыт. Из-за отсутствия финансирования в 90-е, людей среднего возраста в науке не было -- нафига работать за $100/месяц, если можно пойти в коммерцию, программистом тем же. Ну а старичью бежать было особо некуда.

Потом вроде и деньги давать стали. Но на запах денег всего-навсего сбежались молодые дебилы-недоучки, которых не взяли в коммерческий сектор. Особенно волна пошла после кризиса 2008 года. Они даже до поры до времени сами верили в свою лженауку. Ну, потом, конечно, втягиваются, и жульничают уже сознательно. И думают, что это нормально. Хотя, со временем, может, всё и устаканится.

Ну а в Азии, надо полагать, научной школы не было изначально. И тут они как раз начали её развивать, и тоже понабрали туда дебилов-недоучек.

Говорят, примерно подобное произошло с космосом. Старики попередохли, унеся опыт в могилу. А молодые кроме тестостерона ничем и не обладают.

Где-то же здесь, вроде бы, пролетала статья про полимерный завод и утраченные знания? Вот так-то.

[dennett.livejournal.com]

в космосе есть очень много грамотных молодых
работая в наса могу засвидетельствовать
много молодых и с российской стороны, и с американской

какой предсказуемый тут defensive comment

[tandem-bike.livejournal.com]

на самом деле не только раковые исследования, а ВСЕ медицинские исследования - есть такой известный грязный факт что ПЯТЬ процентов всех исследований подтвердимы.

по близкому рассмотрению оказывается не одна а несколько причин. включая и чисто человеческие факторы, и байасы при селекции в трайлаы ( тут вообще АДИЩЕ байасов и откровенной нечестности), неумелый анализ, т.е. неправильный статисстический подход, подсознательное чаще всего или вполне откровенное "выбрасывание" неподходящих под гипотезу данных, непонимания понятия power статистической, и ... все на свете и топор.

после этого меня потрясают и сами ресерчеры у которых конфликт интересов и самообман про "медицинскую науку", и юзеры типа больные которые "верят" в медицину как в мать христову, одновременно издеваясь нат всякой альтернативкой которая хоть наукой не притворяется хоть так же безумно врет.

[dzz.livejournal.com]

Не означает ли это наличие системного кризиса т.н. "доказательной медицины"? ;)

Re: какой предсказуемый тут defensive comment

[mochalkina.livejournal.com]

тем не менее, даже по нашему опыту, каждые несколько лет результаты лечения становятся немного лучше. Процесс медленный, но монотонный.

[kray-zemli.livejournal.com]

Как шутят сами медики, placebo outperforms placebo in 30% of clinical studies.

[catta.livejournal.com]

Ну так на данных одного медицинского исследования никто и не делает глобальных выводов и не дает радикальных рекомендаций. Требуется довольно много работ с совпдающими/перекрывающимися результатами. То есть, оно бы здорово было, чтобы 99% статей были кристально верными, но а) люди ошибаются, и довольно часто; б) при необходимости для каждой лаборатории кормиться грантами нонстоп хорошо хоть 11% верны, поскольку все делается второпях и с необходимостью получить результат во что бы то ни стало.

[el-heneral.livejournal.com]

присоединюсь к комментарию. От того, что кто-то что-то опубликовал, это еще не становится научным фактом.
Результаты исследований часто противоречат друг другу или вообще приходят к опровергающим друг друга выводам.
Для этого и существует практика репродуцируемости результатов независимыми группами исследований.
Так что, на мой взгляд, результат безусловно интерессный, но ни коим образом не иконоборческий.

[nechaman]

Ахилес черепахи никогда не догонит?

о, там есть метакомментарий к метаисследованию

[salas.livejournal.com]

Having read through these comments for the last several minutes, I'm left with the overwhelming conclusion that programmers, on the whole, have about as much to contribute to a discussion on the biological sciences as they do one on economics.

[postumia.livejournal.com]

Вообще-то это абсолютно норамально. Любая наука - поиск. Во-первых, в лабораториях разное оборудование, во-вторых - разные руки это делают. Слышала девочку-докторантку, которая жаловалась что пользуется пипетером не так как надо бы, что влияет на результаты.
Также вспоминается наш школьный учитель биологии (я биологию учила в старших классах) у которого не получался ни один школьный опыт (!) Очень было показательно.
Это полезно знать людям, которые разделяют "науку-науку, суровую и точную" и "вот этих всех гуманириев-общественников".

[shpriz.livejournal.com]

+1. Недавно мне сказали следующее -- публикации не для того чтобы раскрыть 'правду', а для того чтобы начать дискуссию.

[p2004r.livejournal.com]

когда измерение эффекта заменили изучением его "достоверности" ничего другого ожидать не приходится.

маразм столь далеко зашел, что только хардкор, только повторные исследования :)

[kobak.livejournal.com]

С другой стороны, нужно с подозрением относиться к утверждениям о том, что такой-то эффект не удалось подтвердить. Все знают, что если эффекта нет, то p<0.05 получится "всего" в 5% случаях. Но не все знают, что если эффект есть, то распределение p-values в экспериментах может быть очень широким, и, скажем, p>0.05 может легко получаться в половине случаев. См. смешное видео http://www.youtube.com/watch?v=ez4DgdurRPg.

См. также http://www.frontiersin.org/quantitative_psychology_and_measurement/10.3389/fpsyg.2010.00026/abstract

да это вообще особенный барьер такой оказывается :)

[p2004r.livejournal.com]

The public cannot be expected
to appreciate the implications
of, for example, a western blot
working in one lab and not in
another. Therefore, the meaning
of ‘reproducibility’ in a particular
context should be properly
articulated. This could have
prevented the mistaken inference
that ‘90% of all science cannot be
reproduced’.
In the complex data sets now
being generated by genomics
and proteomics, the nature of
reproducibility is changing; it is
increasingly dissimilar from that
for more simple measurements.
The basic meaning of scientific
knowledge is shifting, and the
community must learn to deal
with it in ways that go beyond
simple semantics.

новое машление нужно применять, это так просто не объяснить --- "тут верить надо" (С) :)

[rudnev.livejournal.com]

была такая известная в свое время статья, если вы, вдруг, не видели.

Can a Biologist Fix a Radio? — or, What I Learned while Studying Apoptosis.

protein.bio.msu.ru/biokhimiya/contents/v69/pdf/bcm_1403.pdf

[vasja-iz-aa.livejournal.com]

одиннадцать -- это очень много. это скорее всего свидельство тому, что у них критерии воспроизводимости были очень мягкие

[vasja-iz-aa.livejournal.com]

я посмотрел оригинальную статью. Вы ее неправильно поняли. критерии у них были нормальные, но статьи они брали не случайные, а кажущиеся очень качественные после внимательного и многостороннего анализа всего опубликованого по теме. отсюда и и удивительно высокий процент подтверждений