Статистическая и фактическая значимость
Глубина эффекта важна не только для человека, который его испытывает. От того, какую глубину вы ожидаете увидеть в эксперименте, зависит число участников. Это позволяет оценить, с каким уровнем достоверности можно считать реальным результат. Иными словами, чем меньше различие между двумя состояниями (экспериментальной и контрольной группой или методами лечения A и B), тем больше участников нужно, чтобы показать, что различие настоящее, а не случайность. В случае ранексы, где приступы стенокардии снизились с 4,5 до 3,5 в неделю, понадобилось бы несколько сотен человек, чтобы доказать, что результат, скорее всего, не случаен, или, говоря научным языком, «статистически значим».
Возможно, вы подумали о значении исследования Эссельстина, экспериментальная группа в котором мала. Репрезентативна ли выборка в 18 человек? Чтобы ответить на этот вопрос, представим себе результат, отличный от рассмотренного в эксперименте. Пусть в контрольной группе B будет в среднем четыре-пять приступов в неделю. В группе А, получающей новый препарат, приступов нет вообще. Если эффект так велик, больше не нужно сотен экспериментальных точек. Вероятность, что такой устойчивый результат возник случайно, близка к нулю{18}.
Когда вы долго занимаетесь научными исследованиями, то сталкиваетесь с концепцией статистической значимости много раз. Она очень полезна, так как не позволяет делать выводы на основе недостаточных данных. Если вы подбросите монетку один раз и выпадет, например, орел, вы не сможете утверждать, что она фальшивая и всегда падает орлом вверх. Нельзя отличить зависимость от случайных помех, присущих броскам монеты, на основе одного и даже пяти-шести бросков. Увы, многие исследователи боготворят статистическую значимость и упускают нечто не менее важное – фактическую значимость («Кому это нужно? Почему этот результат важен?»). Действительно ли мы должны восторгаться снижением числа приступов стенокардии с 4,5 до 3,5 в неделю? Не лучше ли потратить время и деньги на поиск и оценку лечения, которое существенно улучшает качество жизни, а не просто поддерживает и обслуживает болезненное состояние?
