Вакцинация от гриппа: офисные работники против медицины (часть вторая).

В первой части я рассмотрел методологические ошибки в исследовательской работе Результаты изучения эффективности гриппозной инактивированной субъединичной вакцины инфлювак.

Теперь настало время рассмотреть самое интересное — как же медики умеют работать с формулами.

6. Итоговая таблица, на основании которой собственно и были сделаны выводы об эффективности вакцины.

Для начала давайте просто проверим результаты на вменяемость. Итак, заболеваемость иммунизированной группы — 41 на тысячу человек. Первой контрольной — 187 на тысячу. Второй — 506 на тысячу. 41 и 506 — разница просто колоссальна и наводит на размышления. Просто грубая прикидка: недельный эпидемиологический порог — порядка 6 на тысячу, период наблюдения был 7 месяцев, умножаем 7 на 4 и на 6, получаем 168. В общем, в первой контрольной была самая настоящая эпидемия. А во второй контрольной — какая-то повальная суперэпидемия. Что-то странное происходило в учебном заведении.

Но… авторы просто не обратили на это внимания. Хотя такие вопиющие цифры просто обязаны были получить какое-то объяснение и разъяснение.

7. Проверка расчётов, произведённых авторами исследования.

Я внёс размер групп и количество заболеваний в Librecalc. (Тут, кстати, у них неточность в названии колонки — это количество заболеваний, а не количество заболевших.) Далее добавил колонку с вычисленным количеством заболеваний на 1000 человек. Цифры почти совпали с цифрами, приведёнными в исследовании. Единственная неточность в исследовании — во 2-ой контрольной группе не 1350.1, а 1350.5 заболеваний на 1000 человек.

Как проверить приведённые погрешности? Поскольку мы имеем дело с числом заболеваний, то здесь нужно применять формулы для нормального распределения (или полиномиального). И без исходных данных (кто сколько раз болел) посчитать погрешность невозможно.

Тем не менее я решил погонять цифры на компьютере и посмотреть при каких исходных данных возможны приведённые погрешности. И обнаружил неожиданный факт!

Такие погрешности возможны только при условии, что каждый студент болел ровно один раз! Тут одно из двух: либо это действительно количество заболевших, а не заболеваний, либо авторы применяли совсем не те формулы. Но опять же — смотрим на 840 заболеваний среди 622 участников второй группы. 622 человека не могут заболеть 840 раз по одному разу каждый.

Таким образом исследовательская группа к нормальному распределению применила формулы, относящиеся к биномиальному распределению!

Давайте проверим это. Я вписал в колонку «Иссл. Погрешность на 1000 наблюдений» формулу

(7.1)

где n — количество участников, p — количество заболеваний разделить на количество участников.

Результаты полностью совпадают с результатами исследователей! Обратите внимание на возникшую ошибку в строке «2-я контрольная». Она возникла из-за отрицательного числа под знаком корня. Также обратите внимание на таблицу, приведённую в исследовании. В строке «2-я контрольная» погрешность… просто отсутствует!

Видимо, авторы исследования также получили отрицательное число, не смогли извлечь из него корень и — нет, не задумались о том, что же тут не так — а просто решили оставить пустое место в таблице!

Дайте мне посмаковать это ещё раз! Светила медицины применили формулы биномиального распределения вместо нормального. Получили отрицательное число под знаком корня. Но даже после этого они не поняли, что делают что-то не так, а просто… проигнорировали эту проблему!

К сожалению, без доступа к исходным данным, исправить полностью эту ошибку невозможно. Но немного подкорректировать можно попробовать. Я добавил колонку «Откорр. погрешность на 1000 наблюдений» с формулой

Например, для основной группы это означает примерно такой расклад: 312 человека болело по одному разу, 65 — два раза, 6 — три.

8. «Заболеваемость гриппом на 1000 участников (с учётом серологического подтверждения диагноза)»

Перейдём теперь к рассмотрению последней колонки таблицы («Заболеваемость гриппом на 1000 участников (с учётом серологического подтверждения диагноза)"). Для начала — лирическое отступление от математики.

Цитата.

С целью подтверждения клинических диагнозов была проведена выборочная серологическая расшифровка заболеваний у больных гриппом и ОРЗ. Для этого по мере обращения у заболевших гриппом или ОРЗ независимо от тяжести заболевания дважды изучали парные сыворотки: первый раз в начале заболевания и повторно — через 14-21 день.

Опять же — где рандомизация? Почему не изучали сыворотки всех поголовно? Слишком затратно? Ну тогда — согласно принципу рандомизации — нужно было изучать сыворотки случайным образом выбранных участников эксперимента.

Но вернёмся к математике.

9. Цифры: "Заболеваемость гриппом на 1000 участников (с учётом серологического подтверждения диагноза)"

Каким образом были получены цифры в этом столбце?

Цитаты.

При серологическом определении этиологического фактора у больных с клиническим диагнозом гриппа и ОРЗ частота подтверждения гриппа в группах невакцинированных составила 37,5%, а в группе вакцинированных всего 11,5%. После получения из лаборатории результатов изучения сывороток и их дешифровки было определено, что серологическая диагностика была выполнена у 52 лиц, вакцинированных против гриппа, и 80 невакцинированных.

Попробуем из этого восстановить исходные данные. Берём число из колонки "На 1000 наблюдений" для основной группы и умножаем его на 11.5%.

362.8 * 0.115 = 41.722

Результат совпадает. Т.е. эта колонка образована умножением колонки "На 1000 наблюдений" на частоту подтверждения гриппа.

Из 52 вакцинированных лиц было подтверждён грипп у 52 * 0.115 = 5.98. Т.е. очевидно, у 6 человек был подтверждён грипп. Перепроверяем.

1000 * ( 460 / 1268 ) * ( 6 / 52 ) = 41.8587721427

Результат несколько отличается от того, который указан. В дальнейшем мы увидим ещё несколько таких мелких несовпадений. Думаю, это объясняется тем, что старшие научные сотрудники округляют промежуточные результаты и потом используют в дальнейших расчётах именно округлённые значения. Просто вопиющая неаккуратность.

Итак, мы знаем, что 6 из 52 заболеваний было подтверждено при серологической диагностике. К сожалению, исследователи не привели раздельно данные для контрольных групп. Но тем не менее данных у нас достаточно, чтобы, составив систему уравнений, найти и их: диагностика проведена у 72 человек из первой контрольной группы и подтверждён грипп у 27 из них. Соответственно для второй контрольной — 8 и 3. Заносим все это в таблицу.

Да, все совпадает. Посчитанные мною данные в колонке "Заболеваемость гриппом на 1000 участников (с учётом серологического подтверждения диагноза)" совпадают с оригинальными данными исследователей. Есть расхождения в десятых долях, но это опять же проблемы округления, о которых я уже говорил.

На что здесь следует обратить внимание. Лишь 8 человек из второй контрольной группы были отправлены на серологическую диагностику. И это при очень высокой заболеваемости в группе. В чем причина? Неизвестно… Может, в том, что диагностика проводилась "по мере обращения", а старшекурсники не обращались? Рандомизация просто не могла бы дать такое низкое число. Что-то здесь не так. Какие вообще можно делать выводы при таком мизерном количестве диагностик (восемь)?

Но следствие этого мы рассмотрим в пункте 10.

10. Снова погрешности.

Каким образом учёные (или может к этому моменту пора уже писать не учёные, а "учёные" - в кавычках?) посчитали погрешность результирующих значений?

Зная, что они путаются в формулах, я предположил, что они использовали опять ту же формулу 7.1 из пункта 7. И не прогадал! Вновь погоняв цифры через компьютер я нашёл алгоритм, который был использован.

Итак, на примере основной группы. Делим 460 на 1268. Делим 6 на 52. Перемножаем результаты. Получаем выборочную оценку математического ожидания количества заболеваний для одного человека. Подставляем его в формулу 7.1 в качестве p. В качестве n используется1268.

Добавляю колонку "Погрешность на 1000 наблюдений (с учётом серологического подтверждения диагноза)" с найденной мною формулой.

Результаты совпадают! Но это неверно! Неверно-неверно-неверно! Мало того, что они опять использовали формулу для биномиального распределения, так они ещё и подставили в неё значения из двух различных экспериментов! Нельзя! Нельзя! Нельзя так делать! Старшие научные сотрудники демонстрируют полное непонимание математического аппарата. Они нашли формулу в книге и подставляют туда числа, абсолютно не понимая, что скрывается за этой формулой и как её надо использовать.

Ну что ж. Давайте исправлять. Дело в том, что "Заболеваемость гриппом с учётом серологического подтверждения диагноза" — это функция (произведение) от двух величин, каждая из которых определена экспериментальным путём и каждая из которых имеет свою погрешность. Для определения погрешности произведения случайных величин воспользуемся упрощённым правилом, которое состоит в том, что при перемножении независимых величин (распределённых нормально), суммируются квадраты их относительных погрешностей. Думаю, в данном случае это правило даст заниженные величины погрешности, но тем не менее это будет лучше, чем то, что уже наколдовали учёные медики в своём исследовании.

Кроме того. В исследовании в качестве абсолютной погрешности используется стандартная ошибка среднего. Серьёзные люди так не делают! Слишком низкая у него доверительная вероятность. Обычно её берут как минимум 95%. Для 95% доверительной вероятности нужно умножить стандартную ошибку среднего на 1.96.

Заносим это все это в таблицу.

Погрешности получились очень большими. Для второй контрольной группы погрешность просто ЧУДОВИЩНА! Ну как вы относитесь к результату эксперимента, который утверждает, что искомая величина равна 510+/-450?

Давайте для наглядности выпишем результаты (округляя).

Заболеваемость в основной группе: 42 +/- 32

Заболеваемость в первой контрольной группе: 190 +/- 60

Заболеваемость во второй контрольной группе: 510 +/- 450

Почему же погрешности так велики? Из-за низкого количества серологических диагностик. Именно этот фактор внёс основную лепту в результирующую погрешность. При чем исследовательская группа полностью проигнорировала этот фактор.

Для основной группы было произведено 52 диагностики. Подтверждений было всего лишь 6. Частота подтверждений получилась низкой и, соответственно, получилась очень высокая относительная погрешность.

Для второй контрольной группы все ещё более печально — 8 (восемь!) диагностик. Ну какие выводы можно делать на основании диагностирования восьми человек? Это и отразилось на итоговой погрешности. В принципе, на протяжении всего разбора исследования мы видели, что вокруг второй контрольной группы происходило что-то не то.

11. Показатели (индекс и коэффициент) профилактической и противоэпидемической защиты.

Цитаты.

Для оценки эффективности вакцины Инфлювак определяли показатели (индекс и коэффициент) профилактической и противоэпидемической защиты (эффективности вакцины) по следующим формулам [1]:
K = b / a и
E = 100*(b-a) / b (%)
где К — индекс эффективности, Е — коэффициент эффективности, а — заболеваемость среди вакцинированных, b — заболеваемость среди невакцинированных.Определенные по данным исследования заболеваемости гриппом в 1-й контрольной и в основной группах позволили определить показатели профилактической эффективности вакцины К и Е, которые соответственно равны 4,5 и 77,7%. Вместе с тем обращает на себя внимание, что при расчете показателей профилактической эффективности вакцины К и Е с учетом заболеваемости гриппом во 2-й контрольной группе (506,3 на 1000) и в основной группе (41,7 на 1000) они были выше и соответственно равны 12,1 и 91,8%.

Исследовательская группа забыла упомянуть, что выведенные K и E тоже имеют погрешности. Без указания погрешности выглядит оно солидно: 4.5 и 77.7%! Но давайте рассчитаем погрешности? Опять же, расчёт погрешностей я несколько упростил (и получил заниженные результаты), но при уже имеющемся порядке погрешностей это не отыграет существенной роли.

Итак ясно что про вторую контрольную группу мы вообще не можем ничего сказать. Погрешности для неё пробили дно и коэффициент эффективности лежит в диапазоне от минус шестнадцати до двухсот процентов. Зачем они вообще студентов мучили? Можно и без всяких экспериментов сказать, что одно из двух: препарат либо эффективен, либо нет. Эксперимент ясность не внес.

Для первой контрольной группы индекс эффективности лежит в диапазоне от 0.8 до 8.2 (от "вреден" до "очень эффективен"). Коэффициент эффективности — от 14% до 142%.

Итоги подведём.

Даже если закрыть глаза на методологические ошибки в организации эксперимента (описанные в пунктах 1-5), то все равно итоговый результат имеет такую неадекватную погрешность, что ценность исследования просто сводится к нулю.

Тем не менее, это исследование использовалось в качестве доказательства эффективности вакцины Инфлювак и, соответственно, способствовало массовому вакцинированию населения с неизвестными для него (населения) последствиями.

Прививки начали массово применяться в начале 19-го столетия. Спустя 200 лет учёные все ещё не научились (или не хотят?) проводить грамотные, качественные исследования эффективности вакцинации. Исследовательская группа старших научных сотрудников профильных научных заведений — под личным руководством профессора, академика, члена правления, лауреата премий и прочая, и прочая — не способны организовать исследование, руководствуясь научными методами (двойной слепой метод, рандомизация и т.д.). Более того: учёные медицинских наук демонстрируют полное неумение пользоваться статистическим аппаратом и отсутствие понимания математической базы, на которой строятся расчёты результатов исследований.

Выводы? Хотелось бы, чтобы выводы каждый делал сам. Мы же не пастухи из Конго, которые "честно признают, что колдуны в белых халатах лучше разбираются в своей магии чем они"?

Спасибо за внимание!

P.S. Уже при окончательном редактировании статьи обратил внимание на такой факт: количество заболевших гриппом и ОРЗ во всех группах кратно 10. Просто ещё одна странность...