відтворена невоспроизводимость

Відтворена невоспроизводимость

Генріх Володимирович Ерліх,
доктор хімічних наук
"Хімія і життя" №8, 2015

Художник С. Тюнін

Одне з найбільш убивчих обвинувачень, які можуть бути пред'явлені вченому, це звинувачення в невоспроизводимости поданих ним результатів. Воно губить репутацію, руйнує кар'єру, аж до вигнання з наукової спільноти, призводить до закриття наукового напрямку, до його витіснення за межі справжньої науки і навішування різних зневажливих приставок – лже-, пара-, псевдо- і т. Д. Коли звучать звинувачення в невоспроизводимости "окремих" досліджень, мається на увазі, що переважна частина інших добре відтворена. Але чи так це?

Ключове поняття науки

Відтворюваність – наріжний камінь наукового методу, ключове поняття. Воно виникло ще на зорі становлення сучасної науки, коли дослідники звернулися до експерименту як засобу пізнання навколишнього світу і до кількісним вимірам як способу опису досліджуваних явищ. Об'єктивність істини має на увазі, що виключені будь-які суб'єктивні чинники, тому різні дослідники, які вивчають однакові об'єкти однаковими методами з використанням аналогічних інструментів, повинні отримувати ідентичні результати незалежно від часу і місця проведення експерименту.У цьому полягає категоричний імператив відтворюваності.

Ідентичність результатів слід розуміти, природно, з урахуванням статистичної похибки. У цьому сенсі відтворюваність аналогічна (а в багатьох випадках і синонимична) точності вимірювань. Первинний і більш вузький випадок відтворюваності – це повторюваність. Вона характеризує збіжність повторних результатів індивідуального дослідника, який використовує одні й ті ж матеріали і обладнання, одну і ту ж методику в ідентичних робочих умовах протягом короткого проміжку часу. Коли дослідника запитують про відтворюваності результатів його роботи, то мають на увазі саме повторюваність. Близькість всіх перерахованих понять підкреслює і той факт, що кількісно їх характеризують загальним параметром – величиною відносного стандартного відхилення (або аналогічними статистичними величинами).

Але суть і значення відтворюваності набагато ширше її математичного виразу. Вона виступає в якості головного критерію, що дозволяє відокремити зерна від плевел, ягнят від козлів, наукове знання від іншого інформаційного шуму.Результат, отриманий дослідником, – це всього лише набір цифр, малюнків і деяких умовиводів. Статус наукового знання ці результати отримають лише після того, як їх прийме наукове співтовариство. І єдиний надійний метод такої верифікації – повторення, відтворення отриманих результатів іншими, незалежними дослідниками по представленим протоколам (методикам) проведення експерименту. Тут неприпустимі посилання на "таємне" знання, магічні ритуали, доступні тільки обраним і присвяченим, "секретні" компоненти і таємниче "ноу-хау", вони відразу виводять розглядаються результати за межі наукового знання, і там, за цими межами, їх можна кваліфікувати по-різному, від шарлатанства і шахрайства до цілком працездатних технологічних регламентів.

Більш м'який варіант верифікації результатів – їх подання науковому співтовариству на наукових конференціях і захист дисертацій, у вигляді публікацій в наукових журналах. Розгляд результатів, відповіді на ці запитання, дискусія дозволяють встановити, наскільки методично правильно була виконана робота, наскільки достовірні отримані результати і обгрунтовані висновки. Чим вище рівень експертів (рецензентів), тим більше довіри до результатів експертизи.Зрозуміло, що найбільший сумнів викликають статті в нерецензіруемих журналах (при тому, що в них серед відвертого сміття можуть бути присутніми і справжні діаманти, які з якихось причин не можуть пробитися в "високорейтингові" видання). Але в будь-якому випадку всі ці презентації лише попередня апробація результатів, справжнє визнання може принести лише їх відтворення іншими дослідниками.

масштаби катастрофи

Але все це в теорії. Все це в минулому. Реальне життя відрізняється від теоретичних схем, а сучасна наука далеко пішла від класичних канонів. Однією з основних проблем науки стало стрімке наростання кількості невідтворюваних результатів. Стрімкий – тому що відбувається буквально на наших очах.

За часів моєї студентсько-аспірантської молодості літературні методики мали властивість відтворюватися, і першою реакцією керівника на повідомлення, що методика не відтворюється, були неприємні припущення, звідки ростуть руки у виконавця. Після тридцяти років перша реакція принципово змінилася: знову ці (неполіткоректні згадка національності авторів статті) начудили.І відбувається це не тільки в хімії, але і у всіх дисциплінах, де існує поняття об'єктивної істини і де відтворюваність результатів – необхідний критерій науковості.

Оцінити кількісно масштаби катастрофи (а це саме катастрофа) важко, тому що досліджень цього явища немає і навряд чи вони можливі. Але є результати вибіркового контролю в деяких вузьких областях. Так, Гленн Біглі і Лі Елліс, провідні фахівці американської фармацевтичної компанії "Amgen", в статті, опублікованій в журналі Nature (2012, 483, 7391, 531-533), розповіли про предклініческіх випробуваннях антиракових препаратів, переданих в компанію університетськими лабораторіями. З 53 перевірених препаратів лише 6 показали задовільні результати, дані по іншим 47, опубліковані, до слова сказати, в високорейтингових журналах, які не відтворилися. Кілька більш оптимістичні фахівці компанії "Bayer", за їхніми даними, опублікованими роком раніше в Nature Reviews Drug Discovery, Відтворюваність робіт по онкології, серцево-судинних і жіночим захворюванням становить 20-25%. І це при тому, що тестування проводили високопрофесійні фахівці, зацікавлені в позитивному результаті випробувань,- адже таким чином компанії вибирають препарати для подальшої комерційної опрацювання.

Ці та деякі схожі публікації викликали широке обговорення. Опитування фахівців в цих областях показали, що в середньому 55% ​​опитаних стикалися з невоспроизводимость чужих результатів. Третина опитаних повідомляли про це в наукових публікаціях, причому найбільшу принциповість проявляли "старші" наукові співробітники, а "молодші" вважали за краще не висовуватися. І це зрозуміло, тому що дві третини молодих сміливців визнали, що мали проблеми при спробі опублікувати спростовують дані.

причини невоспроизводимости

Найбільший інтерес представляють думки учасників дискусій про причини наростаючої невоспроизводимости наукових результатів. Відверта і свідома підтасовування даних практично не розглядається. Звичайно, шахраї є в будь-якому співтоваристві, але, погодимося, частка таких індивідів в науці незрівнянно нижче, ніж в інших сферах людської діяльності – в політиці, економіці, юриспруденції і т. Д.

Основний драйвер невоспроизводимости – квапливість, прагнення затвердити свій пріоритет в новій області досліджень.Це має цілком земну підгрунтя – пріоритет підвищує ймовірність отримання фінансування на подальші дослідження. Це раніше вчені пеклися про репутацію, тепер вони думають про первородство і гранти. Що ж до можливих звинувачень в невоспроизводимости, то тут автори цілком можуть слідувати логіці Кочкарева з "Одруження" Гоголя: "Яка ж біда, якщо розгніваються! … адже тут найбільше, якщо хто-небудь з них плюне в очі – ось і все" . Коли все розкриється, грант вже буде отримано, а там, дивись, розробка буде доведена до розуму, тобто до відтворюваності.

Наступна причина публікації "сирих" результатів – гонитва за числом публікацій і індексом Хірша, який нині зведено в ранг головного індикатора якості наукової діяльності. Як кажуть молоді науковці, опублікуй в високорейтингового журналі або помри. В результаті ми спостерігаємо картину, немислиму в колишні часи, – відгук статей з журналів (в тому числі рецензованих і високорейтингових) як на стадії підготовки до друку, так і після публікації через спростувань інших дослідників.

Складається також враження,що багато авторів абсолютно не зацікавлені у відтворенні своїх робіт іншими дослідниками і тому цілком усвідомлено опускають деякі пілотні наукові подробиці. Раніше цим грішили патенти: хто хоч раз намагався відтворити приклад з патенту, той зрозуміє. Але патент на винахід – це в першу чергу правовий документ, який встановлює суттєві ознаки винаходу. А деякі експериментальні тонкощі, ноу-хау, автор цілком може приховати як додатковий козир при продажу патенту. З цієї точки зору патент взагалі не можна розглядати як наукову публікацію, і в рамках, наприклад, дисертації патент може виступати тільки як свідоцтво практичної значущості.

Але зараз, на жаль, принцип ноу-хау все більше поширюється і на наукові статті. Доводиться докладати великі зусилля, щоб з'ясувати, про що промовчали автори оригінальної публікації. А ті, в свою чергу, отримують певний часовий гандикап, щоб утриматися на гребені досліджень і, можливо, просунутися в бік їх комерціалізації. У цьому їм мимоволі підіграють видавці наукових журналів, які максимально скорочують місце, відведене опису експериментальної частини роботи (матеріалами, методиками, обладнання).Правда, зараз провідні наукові журнали на своїх сайтах викладають методики у вигляді додатку до статей. Але це поки що швидше виняток, ніж правило.

Втім, більшу частину опублікованих наукових результатів ніхто не відтворює і тим самим не верифікує. Це один із наслідків того величезного вала, Big Data, наукових публікацій, який виробляє в останні роки наукове співтовариство і який вона сама не може переварити. Щоб відтворити результати, представлені в який-небудь статті, її потрібно для початку прочитати. Скільки з опублікованих статей були прочитані хоча б однією людиною, не знають навіть Web of Science і Scopus, Тим більше що вони охоплюють не весь масив наукової інформації. Але можна зробити оцінку, засновану на психології. Якщо дослідник з якоїсь причини скачав статтю і прочитав її, то він неодмінно коли-небудь на неї посилатиметься, в позитивному або негативному сенсі або просто "до купи", надаючи солідність списку цитованої літератури.

За кількістю ми маємо багату статистику – це імпакт-фактори журналів, які розраховують як відношення числа цитувань статей, опублікованих в певний рік, до загального числа статей, опублікованих в тому ж році.Візьмемо тепер імпакт-фактори журналів, наприклад російських зі списку ВАК. Переважна частина потрапляє в інтервал від 0,01 до 0,5. Це і буде оцінка середнього числа читачів однієї статті у відповідному журналі. Безсумнівно, що багато хто з цих статей підготовлені грамотними, висококваліфікованими фахівцями, які вивчають вузькі, спеціальні проблеми. Але в той же час необхідно визнати, що подібне відсутність хоч якоїсь зовнішньої експертизи знижує внутрішню вимогливість до якості роботи і створює умови для виробництва та публікації недостовірних, невідтворюваних даних.

Що робити?

Як з усім цим боротися? Боротися важко, якщо взагалі можливо, тому що всі ці причини обумовлені самим ладом сучасної науки, націленої на публікації та комерційний ефект. Не випадково дослідники, які беруть участь в обговоренні цих проблем, не можуть запропонувати нічого конструктивного, крім створення спеціальних наукових організацій, які будуть займатися вибірковою перевіркою публікацій, хоча б виконаних в ключових напрямках, на відтворюваність. Все ж ідея інквізиції викорінити в умах людства і негайно відроджується при будь-якій кризі! Ще більш утопічним, на мій погляд,виглядає пропозиція створити індекс відтворюваності результатів з публікацій в наукових журналах за аналогією з імпакт-фактором або публікувати в журналах у вигляді електронного додатка всі первинні дані, отримані дослідником.

Єдиний, на мою думку, шлях вирішення проблеми полягає у вихованні та освіті молодого покоління вчених. Наукова діяльність стала в останні десятиліття масовою професією, неймовірно зросла кількість науковців, навчальних закладів і дослідницьких центрів. Як наслідок, впав середній рівень експериментальної підготовки молодих фахівців (твердження спірне, але, гадаю, багато з них погодяться). Вони часто просто не розуміють, що таке відтворюваність результатів. У кращому випадку вони проводять повторні вимірювання характеристик зразка. Отримати в цьому випадку хорошу збіжність результатів – справа нехитра за певного навику. Думка про те, що необхідно повторити всю послідовність експерименту, включаючи отримання зразків, навіть не приходить їм в голову. Хто б їм пояснив, скільки великих відкриттів було закрито після того, як дослідник, вичерпавши одну банку реактивів, відкрив нову!

Але ніякі пояснення, заклики або віртуальні експерименти не замінять живої експериментальної роботи з неминучими помилками (на яких, власне, і вчаться). Тільки так, набивши шишки, початківець дослідник зрозуміє, що "тупе" повторення експериментів, стандартизація та повірка обладнання – це не примха керівника, а невід'ємна складова наукової діяльності. У плані ж виховання необхідно міцно вбити в голову, що найперший обов'язок вченого – отримання достовірних знань і відтворюваних результатів, в цьому полягає один з найважливіших принципів етики вченого, а не в модній нині рефлексії з приводу відповідальності вченого за наслідки використання результатів його досліджень. У невідтворюваних результатів може бути тільки один наслідок – падіння престижу науки. І ось за це доведеться нести відповідальність.

проблема унікальності

Всі перераховані фактори, що впливають на відтворюваність наукових досліджень, можна віднести до розряду суб'єктивних, обумовлених значною мірою системою функціонування сучасної науки. Однак необхідно також враховувати, що змінилася сама наука і виникли об'єктивні чинники, які відіграють проти відтворюваності в її класичному розумінні.

Сучасна наука все частіше звертається до вивчення унікальних об'єктів, систем, явищ, дослідники виконують унікальні експерименти на єдиному в своєму роді обладнанні. Все це викликає законне захоплення прогресом науки, але, з іншого боку, породжує незручні питання. Візьмемо, наприклад, історію з відкриттям бозона Хіггса на Великому адронному колайдері. Це відкриття не було підтверджено незалежними дослідженнями та з ймовірністю не буде відтворено в доступному для огляду майбутньому, тому що у світової спільноти просто немає коштів для будівництва ще одного подібного циклопічного споруди. Як тут бути: прийняти на віру ствердну вердикт Нобелівського комітету або стоїчно слідувати жорстким твердженням відомого філософа Карла Поппера, що "одиничне невоспроізведеніе повідомлення нічого не означає для науки"?

Інший свіжий приклад пов'язаний з висадкою зонда "Філи" на поверхню ядра комети Чурюмова-Герасименко. Це само по собі видатне досягнення. Тепер вчені з нетерпінням чекають, коли ж нарешті запрацює встановлене на зонді наукове обладнання і вони отримають інформацію про фізичні і хімічні характеристики ядра комети.Все це, звичайно, дуже цікаво, але ж це будуть поодинокі дані, невоспроізведеніе і невідтворювані в доступному для огляду майбутньому і, крім того, нерепрезентативні. (Уявіть, що якісь інопланетяни висадили єдиний зонд на Землю і оглянули кілька квадратних метрів її поверхні. Зрозуміло, що їх уявлення про Землю буде сильно залежати від місця посадки – на Північному полюсі, в пустелі Сахара або на поле аерації в Підмосков'ї.) Чи можна розглядати ці дані як істинно наукове знання? Це питання, над яким варто задуматися.

Класична наука мала справу з великими ансамблями об'єктів і з повторюваними процесами і навчилася чудово розбиратися з ними. Аналіз результатів вимірювань в таких системах і поняття довірчого інтервалу засновані на нормальному, гауссова розподілі, при якому ймовірність подій, що істотно відрізняються від середнього значення, нехтує мала. Але в останні десятиліття наука приступила до вивчення систем, в яких розподіл подій відрізняється від гауссова, їх ще називають розподілами з "важкими хвостами". Вони характерні, зокрема, для фрактальних, безмасштабних систем.У них ймовірність подій, що істотно відрізняються від середнього, має значиму величину, якої не можна нехтувати. Такі рідкісні події можна назвати унікальними, а ще в багатьох випадках їх називають катастрофами, що зі зрозумілих причин привертає до них особливий інтерес.

Для вивчення унікального потрібна інша методологія. Вона в цілому розроблена, залишилося дати її студентам – майбутнім дослідникам і, вкрай бажано, донести в популярному вигляді до широкої громадськості, щоб її не збивали з пантелику "сенсаційні викриття" журналістів.

Проблема унікальності і пов'язаної з цим невоспроизводимости загострилася у зв'язку з розворотом науки від вивчення неживих об'єктів і створення технічних пристроїв до дослідження живих систем. Сьогодні як мінімум половина публікацій в наукових журналах так чи інакше пов'язана з медициною, здоров'ям, екологією, а також вивченням соціальних процесів. А будь-які живі істоти, по суті своїй, різні, і до них не застосовуються методи стандартизації, які використовуються при роботі з неживими об'єктами.

Вище ми говорили про катастрофічну невоспроизводимости характеристик лікарських препаратів і пов'язували це з суб'єктивними факторами – поспіхом, гонитвою за пріоритетом, комерціалізацією,недостатньою кваліфікацією і помилками в методології. Але є і об'єктивні чинники. Живі об'єкти неймовірно складні. Принципово неможливо досконально описати вибірку живих об'єктів (мух, мишей, людей) і тим більше взяти її повторно. Дослідники кожен раз мають справу з унікальною вибіркою, тобто зародок невоспроизводимости присутній в експерименті спочатку, і боротися з ним дуже важко.

За останні десятиліття виявлена ​​також ще одна фундаментальна причина можливої ​​невоспроизводимости результатів. Класична наука заснована на ідеї детермінованості процесів, однозначності їх протікання. Тут можна провести аналогію з математикою: якщо виходити з одних і тих же постулатів і правильно застосовувати дозволені логічні процедури, то з неминучістю буде отримано один і той же результат. Можна також сказати, що відтворюваність – зворотний бік передбачуваності, перша відноситься до експерименту, друга – до теорії.

Саме математика зруйнувала цю приємну картину, виявивши процеси з множинними рішеннями. Існує великий клас систем, розвиток яких протікає через точки біфуркації, де виникають альтернативні варіанти розвитку системи.Вибір того чи іншого варіанту відбувається під впливом незначних флуктуацій параметрів системи і, по суті, випадково. Кінцеві стану системи (результати вимірювання) можуть при цьому принципово відрізнятися.

Але в таких системах існує, принаймні, можливість теоретичного передбачення цих множинних кінцевих станів (при незначній кількості точок біфуркації). Набагато гірші справи з системами, чутливими до флуктуацій параметрів вихідної системи. У них виникає так званий ефект метелика: незначна зміна вихідних параметрів призводить до непередбачуваних наслідків розвитку системи. Поведінка таких систем описують, використовуючи різні підходи, зокрема теорію динамічного (детермінованого) хаосу. І це аж ніяк не екзотичні системи, а добре знайомі нам атмосферні явища, серцеві патології, популяційна динаміка, економіка, політика і інші соціальні явища.

Проблема полягає в тому, що апріорі експериментатор не знає, чи стосується досліджувана їм система до класу "хаотичних". Він бачить тільки патологічну невоспроизводимость результатів.Звичайно, заднім числом можна спробувати створити теоретичну модель, що пояснює ці результати, проте не кожен дослідник має необхідні для цього знаннями, крім того, він може вважати, що овчинка не варта вичинки. Мало хто зважиться опублікувати такі суперечливі експериментальні дані, ще менше число редакторів наукових журналів, які візьмуть подібну статтю. Так що дослідники, втомившись від боротьби, зазвичай або припиняють роботу, або публікують найбільш сходяться дані, відкинувши всі "дивні". А в другому випадку завжди є ризик нарватися на звинувачення в невоспроизводимости.

Об'єктивна істина і суб'єктивні зусилля

На закінчення зазначимо, що системи, які вивчає сучасна наука, неймовірно ускладнилися. Вони можуть бути дуже чутливі як до вихідних параметрів (що породжує проблеми зі стандартизацією), так і до численними параметрами проведення процесу. Завдання дослідника полягає в тому, щоб виявити ці параметри, оптимізувати їх і домогтися максимальної повторюваності результатів. Але цілком реальна ситуація, коли він не зможе вирішити цю задачу, не зможе знайти параметри,критичні для досліджуваного процесу. Вони можуть виявитися абсолютно несподіваними, хоча б тому, що не випливають з існуючого знання. Це може бути що передує відкриттю, і честь і хвала досліднику, який ознайомить наукове співтовариство з цими сирими результатами в надії на те, що його колеги більше досягнуть успіху в їх дослідженні.

При оцінці таких результатів необхідно також враховувати суб'єктивні чинники, які зазвичай ігнорують "теоретики" науки. З життєвого досвіду все ми знаємо, що відтворити будь-яку дію вельми не просто навіть при наявності детальної інструкції або демонстрації. Вперше зроблене блюдо або табуретка зазвичай дуже далекі від зразка. Але, повторюючи раз по раз необхідні операції, ми поступово наближаємося до досконалості. І начебто робимо все точно так же, але результат поліпшується, це те, що називається "набити руку". Причому одні речі відтворюються легко, на раз-два-три, а на інші йдуть роки тренувань.

У науці все відбувається точно так само. Об'єктивна істина залежить від суб'єктивних зусиль по її досягненню. Досліднику, щоб домогтися повторюваності результатів (нехай навіть не дуже хорошою), теж доводиться іноді пройти дуже довгий шлях "набивання руки" в одному конкретному експерименті.Чи існують гарантії, що цей експеримент "вліт" відтвориться в іншого дослідника? Ніяких. Відтворення буде скоріше випадковістю, ніж правилом. Особливо якщо дослідник не вірить, що у нього що-небудь вийде, і підсвідомо налаштований на спростування, а не на підтвердження.

Мова зараз йде про дослідження, які не вписуються в загальноприйняті уявлення. Тут треба з дуже великою обережністю ставитися до заяв про невоспроизводимости результатів і тим більше не поспішати з навішуванням ярликів. Адже так легко з водою виплеснути і дитини. Саме "дивні" результати повинні бути предметом першочергового вивчення в науці. Нехай більша частина їх після детального дослідження буде в кінці кінців спростована і відкинута, але те, що залишиться, перетвориться в відкриття. Наука не може і не повинна зупинятися в своєму пізнанні світу і зосереджуватися на обслуговуванні утилітарних потреб людей. Ми віримо в прийдешні відкриття. Можливо, вони вже зроблені. Їх просто потрібно відтворити.


Like this post? Please share to your friends:
Залишити відповідь

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: