о возвращении к среднему

[avva]

Возвращение к среднему значению (по-английски regression to the mean) - феномен в статистике, который очень просто объяснить, но вместе с тем он часто ускользает от нашего внимания.

Представьте, что потоку из сотни студентов дают написать сложный экзамен по математике, и оцени за него выставляют по 100-бальной шкале. Давайте выпишем имена тех, кому выставили 10% худших оценок, и тех, кому достались 10% лучших. На следующий день всему потоку дают еще один экзамен, на ту же самую тему и той же сложности, но задачки другие. Теперь сравним оценки, которые получили студенты в первый день и во второй.

Мы увидим, что почти всегда в среднем наихудшие ученики в первый день повысили свои оценки на второй день, а наилучшие, наоборот, снизили. Не у каждого ученика так будет, но в среднем выйдет так. Почему? На оценку влияют два фактора: знания и случайность (примеры случайных факторов: студент выспался или нет; попалась в точности задача, которую он помнит; мысли заняты чем-то другим; итд. итд.). Когда мы по итогам первого экзамена выделили 10% худших оценок, в них попали студенты, у которых и знаний мало, и к тому же им (в среднем) сильно "не повезло". На следующий день знаний у них не прибавилось, а вот везение, случайные факторы будут примерно средними - они "вернулись к среднему значению". Так что эти студенты напишут второй экзамен несколько лучше. То же самое объяснение, но в другую сторону - для лучших 10% оценок.

(Если вы сомневаетесь в этом примере и хотите увидеть более "чистый" пример, просто удалите фактор знаний. Пусть каждый студент кидает 10 раз шестигранные кости, и оценкой будет сумма того, что он выкинул. В среднем каждый студент выкинет примерно 35, но будет немало оценок хуже и лучше. Возьмем 10% самых худших, и дадим еще один такой же "экзамен" только им. Что же мы увидим? - в среднем у них по второму экзамену опять выпадет 35, т.е. все эти "плохие" студенты улучшились! Конечно, в такой формулировке мы не видим тут ничего странного, потому что полная случайность налицо).

В возвращении к среднему нет ничего мистического или необычного. Проблема состоит в том, что нам свойственно не замечать его, когда есть более "логичные" объяснения того, что оценки изменились. Вернемся к экзамену по математике: представьте, что второй экзамен дают не на следующий день, а через неделю, и в эту неделю 10% худших студентов по результатам первого экзамена получают специальную помощь, с ними интенсивно занимаются
математикой. На втором экзамене "наихудшие" улучшают свои оценки, и все довольны: практика занятий с отстающими студентами доказала себя! Но на самом деле, возможно, весь эффект объясняется возвращением к среднему, о котором не подумали, и специальные занятия ничего не дали. Или дали, но насколько они помогли, трудно судить, потому что возвращение к среднему тоже дает мощный эффект. Надо использовать специальные методы, чтобы этот эффект учесть (у статистиков такие методы есть).

Или представьте, что мы хотим исследовать, насколько психотерапия помогает в лечении сильной депрессии. Мы дадим стандартный опросник клиентам психотерапевтов, когда они впервые приходят на прием, а потом еще раз через полгода - и сравним глубину депрессивного состояния согласно этому опроснику. Если в среднем все улучшается, то мы заключаем, что психотерапия отлично работает. Но, увы, дело в том, что людям свойственно решиться наконец пойти к психотерапевту или психологу, когда им особенно хреново, когда депрессия особенно сильная. А поскольку ее глубина изменяется не по точным законам, а в ней есть много случайности, через полгода согласно возвращению к среднему мы ожидаем увидеть улучшение, опять-таки в среднем, независимо от того, что сделали или не сделали психотерапевты.

Американский психолог Робин Доз пересказывает замечательный пример когнитивного искажения, основанного на непонимании возвращения к среднему. Инструктор летного курса в израильской армии спорил с психологами о том, как лучше мотивировать учеников: кнутом или пряником. "На основании своего личного опыта я знаю, что лучше всего мотивирует наказание, а похвала наоборот вредит", сказал он. "Неоднократно случалось так, что ученик очень хорошо выполнял какой-то маневр в воздухе, я его за это всячески хвалил, а в следующий раз он его делал намного хуже. С другой стороны, когда кто-то выполняет маневр очень плохо, а я за него на это ору и ругаю, в следующий раз у него почти всегда лучше получается!"

(пример взят из его книги House of Cards, о психологии и психотерапии, которую я сейчас читаю; очень интересной)

Comments

[barouh.livejournal.com]

А что за специальные методы для диагностики влияния эффекта "возвращения к среднему"?

[avva.livejournal.com]

Я сам в этом мало понимаю, но могу пересказать, что говорит по этому поводу Доз в своей книге. Он упоминает, что такие методы обычно предсказывают вторую оценку на основании какой-то модели, оценивающей случайные факторы, а потом сравнивают настоящую вторую оценку не с первой, а с этим предсказанием. Он ссылается на книгу D. T. Campbell and J. C. Stanley, Experimental and Quasi-Experimental Design for Research (1963) и статью R. W. Mee and T. C. Chau, “Regression Toward the Mean and the Paired Sample T Test,” American Statistician, 45 (1991).

Наглядная демонстрация

[sweer.livejournal.com]

Спасибо!
Я имел удовольствие недавно присутствовать на практической демонстрации этого принципа, называемой "The Read Bead Experiment". Можно даже посмотреть видеозапись: http://www.agilerigaday.lv/Sessions/the-red-bead-experiment

[dimrub.livejournal.com]

Канеман (который, собственно, и был психологом, с которым спорил инструктор) рассказывает далее, что он не мог пройти мимо такой возможности, и устроил летунам небольшую демонстрацию. На земле была начерчена цель, каждый инструктор по очереди становился к этой цели спиной, и кидал через плечо монету. Два раза. Расстояние до цели в оба броска для каждого инструктора были записаны на доске, затем переписаны от худшего результата в первый бросок к лучшему. Сразу стало очевидно, что за лучшими результатами в первый бросок как правило следовало ухудшение, а за худшими - улучшение.

[dimrub.livejournal.com]

(P.S.: в свою очередь, рекомендую книгу Канемана, которую сейчас читаю. Называется Thinking, Fast and Slow).

[el-heneral.livejournal.com]

Очень интересно, правда пример с психотерапией прихрамывает.
Помимо спонтанного улучшения может иметь место и спонтанное ухудшение, что при депрессии очень часто случается.

[progulki.livejournal.com]

обычно нет
в депрессии мы говорим об очень высоком уровне именно спонтанного улучшения

[onkel-hans.livejournal.com]

Да, забавное явление. Крайне простое, но о нем обычно не задумываешься и не имеешь в виду.

[shvarz.livejournal.com]

Этим же эффектом объясняют невоспроизводимость результатов из многих научных статей или то, что описываемый эффект действительно наблюдается, но не настолько сильно, как это показано в статье.

[progulki.livejournal.com]

где то я совсем недавно читала об этом- о том, что, когда результаты "вау", их фиг повторишь

[saccovanzetti.livejournal.com]

вот буквально сейчас гоняю эксперимент и наблюдаю эту фигню :( но если я начну объяснять на завтрашнем митинге про среднее, будет только хуже :( люди ждут физического, а не статистического объяснения - которого у меня для них нет.

[utnapishti.livejournal.com]

Связана ли эта запись с недавней записью о гомеопатии?

[avva.livejournal.com]

Нет.

[kruzo007.livejournal.com]

вот еще советую почитать

http://www.amazon.com/Fooled-Randomness-Hidden-Chance-Markets/dp/1587990717

Судя по всему наш мозг вообще не приспособлен к пониманию вероятности и статистики

[snyders.livejournal.com]

В группе 10% лучших эффект будет гораздо слабее, т.к. среди отличников элемент случайности на экзамене снижен или отсутствует.

[xenko.livejournal.com]

пока не прочитал остальных оценок

статистика задач на уровне студенческих "истребителей-бомбардировщиков"

нет никакого искажения, ни психологического, ни статистического
все знают, что второй раз тесты на айкью проходят в сто раз лучше

итак, кто хочет возможности мозга сравнить со статистикой?

[liveuser.livejournal.com]

Позаниматься с отстающими студентами, впрочем, лишним все равно не будет.

Традиционно процитирую "Социальную психологию" Майерса вдобавок.

"Чтобы имитировать последствия похвалы и наказания, Пол Шаффнер (Paul Schaffner, 1985) попросил студентов Боудонского колледжа приучить выдуманного четвероклассника Гарольда приходить в школу к 8.30. Каждый день в течение трех недель компьютер показывал время прихода «Гарольда», обычно это было между 8.20 и 8.40. Участники эксперимента должны были решить, как реагировать на приход мнимого ученика — изысканной похвалой или строгим выговором. Как вы могли предположить, они обычно хвалили «Гарольда», когда он приходил до 8.30, и делали замечание, если он приходил после 8.30. Так как Шаффнер запрограммировал компьютер на случайную последовательность времени прихода, после замечаний возникала тенденция к улучшению (время приближалось к 8.30). Например, если «Гарольд» приходил в 8.39, он был почти уверен, что его отругают, а вероятность того, что случайное время прихода на следующий день будет меньше 8.39, была очень высока. Таким образом, даже если замечания не имели никакого эффекта, большинство участников эксперимента закончили его, полагая, что их замечания сыграли свою роль.

[avva.livejournal.com]

Да, отличная цитата, спасибо.

[nakamura.livejournal.com]

Спасибо, Ваш постинг напомнил, что книга по математике - лучший подарок!

[avva.livejournal.com]

Правильное напоминание :)

[gnuzzz.livejournal.com]

в теории это все хорошо
на парактике же, если написать например вот такую программку:

int c = 0;
for (int i = 0; true; i++) {
  c += Math.random() <= 0.5 ? 1 : -1;
  if (i % 1000 == 0) {System.out.println(c);}
}            }

то можно увидеть, что значение переменной с (среднее значение которого равно 0) подавляющее количество времени находится очень далеко от среднего значения

[silugram.livejournal.com]

так Math.random он же поди не случаен

[ilia-yasny.livejournal.com]

Так не для того ли р-значение и существует, чтобы тестировать случайность таких отклонений?

[grihanm.livejournal.com]

Чота на всякий случай занесу в мемориз

ДА, верно со студентами

[nemirovd.livejournal.com]

На Физтехе (МФТИ) было правило, по которому первокуры по коллоквиуму и экзамену по матану на первой сессии получали в сумме 7. У меня лично это правило не сработало (я 6 получил), а у большинства в нашей группе так и получилось.

[botya.livejournal.com]

Не совсем понятно, почему вы в своих примерах за возвращение к среднему берёте ситуацию, когда плохие ученики во второй раз написали экзамен лучше.
А не ещё хуже...

[dimaniko.livejournal.com]

В этом и состоит феномен. Написать хуже - гораздо менее вероятное событие.

[tududo.livejournal.com]

Мне кажется, что такой результат получается потому, что направленное воздействие (дополнительные занятия с отстающими студентами) было незначительным, то есть сравнимым со случайными флуктуациями. Если бы с ними позанимались серьёзно, то, несмотря на неизбежный случайный разброс, они бы улучшили свои результаты.
Эта идея возвращения к среднему в некоторых случаях приводит к совершенно неверным выводам. Например, некоторые считают, что учи-не учи ребёнка, воспитывай-не воспитывай - всё равно толку не будет, поэтому не стоит этим и заниматься.
По этому поводу мне запомнилось такое наблюдение на празднике в детском саду. Зрители (родители) сидели в зале и ждали, под музыку аккуратным строем входили дети. Сначала вывели младшую группу, потом среднюю, старшую и подготовительную. И вот на что я обратила внимание. Все дети существенно разного роста, и в младшей группе есть высокие, и в подготовительной - совсем крохотули, как из младшей группы. Казалось бы, все группы в целом должны выглядеть примерно одинаково. Однако нет, прекрасно видно, где какая группа. То есть этот самый средний рост определяется даже на глаз и даже несмотря на большой разброс.
То есть получается, что маленький от природы ребёнок или крупный, быстро растёт или отстаёт в росте, его возраст всё равно даёт себя знать. Время идёт, и дети растут.
Так же, мне кажется, и с занятиями: умный студент или глупый, трудолюбивый или лентяй - если заниматься с ним интенсивно, то эти занятия неизбежно должны отразиться на результатах.

[kirenenko.livejournal.com]

Есть куча классических статистических головоломок с растущими детьми.

Например, цыплят держали на разных диетах, и они по-разному выросли. Но те, что были на одной диете, тоже по-разному выросли. Какие диеты эффективны?

Например, кормящие матери-подростки: замедляется ли их рост из-за нехватки кальция?

Дать ответы непросто, и этим как раз статистика занимается.

[white-lee.livejournal.com]

Но, увы, дело в том, что людям свойственно решиться наконец пойти к психотерапевту или психологу, когда им особенно хреново, когда депрессия особенно сильная.

Я извиняюсь, но афаик дело обстоит ровно наоборот. На пике депрессии у человека нет сил ни на что решиться. Предпринимание каких-либо шагов происходит, когда депрессия начинает немного спадать (в том числе таких, как самоубийство, как это ни парадоксально выглядит). Этот факт тоже подрывает доверие с успехам психотерапии, но по другим причинам (т.е. возможно, что да пациент и так шел на поправку). Другое дело, что окружающие могут заставить человека обратиться к психологу на пике депрессии, это да.

[progulki.livejournal.com]

я всегда студентам рассказываю, что одиз из побочных эффектов анти-депрессантов-попытки самоубийства. В депрессии человек хочет наложить на себя руки, но сил на это не хватает: ни на выйти из дома-купить яд-принять его и т.д. А вот когда человек начинает принимать таблетки, внезапно у него появляется энергия ощуществить свои суицидальные планы

off. частная иллюстрация

[(Anonymous)]

--> "На основании своего личного опыта я знаю, что лучше всего мотивирует наказание, а похвала наоборот вредит"

Система "Кнут + пряник" не может быть мотивирующим фактором для любого обучения. Только стимулирующим.
Мотивирующими могут быть другие предпосылки, например: "научиться управлять большим/маленьким/красивым самолётом", "научиться летать, как птицы" или
"освоить престижную профессию" и т.д.

В лётном обучении добиться стабильно высоких показатели качества пилотирования можно лишь путём многократного повторения элементов мнёвра, с подробным анализом действий обучаемого после каждого полёта. (в т.ч. правильное распределение внимания при мониторинге ПНП, соразмерная работа органами управления, своевременные исправление отклонений от заданной траектории и компенсация ошибок и др.). Результатом такой работы послужит приобретение учеником устойчивых навыков пилотирования (или вывод о профнепригодности). Возврат к средним показателям, а то и к утрате навыков возможен при длительном перерыве в практической работе пилота-профессионала. Летать с любителем - бросать монетку. Очевидно, пилот-любитель всегда нестабилен и редко выходит за пределы среднего в ожидании.

Эмоциональная оценка обучаемого инструктором не только бессмысленна, но и вредна, т.к. выводит обучаемого из состояния "с холодной головой" и делает его неспособным к критическому анализу своих действий. Имеет смысл только количественная оценка по таблице допустимых отклонений. Такой подход справедлив для обучения операторов любых сложных систем с "острой" обратной связью.
В лётном обучении эмоциональная система "хвалить-ругать", на мой взгляд, допустима лишь для оценки работы инструктора, как творца различных методик обучения. Или мастеров искусств, в т. ч. области выполнения показательных полётов.
В принципе, в авиации существуют печатные труды по авиационной психологии, ссылок привести, к сожалению, не могу. Некоторым спорящим с психологами инструкторам лётных курсов было бы полезно с ними ознакомиться.
Многословен, прошу прощения.

[rukenau.livejournal.com]

Regression to the mean - еще одно объяснение популярности гомеотерапии гомеопатии, кстати, в дополнение к эффекту плацебо. См. Bad Science, например.

[gruimed.livejournal.com]

Стандартная практика при обработке экспериментальных данных - первым делом выкинуть outliers, я помнится выкидывал 5%.

[mi-b.livejournal.com]

стандартная. но опасная ;)

[max-i-m.livejournal.com]

Daniel Khanemamn, Thinking Fast and Slow, chapter 17 Regression to the mean. Начинается с примера о летчике-инструкторе, приводит пример со студентами и еще много чего. Очень хорошая глава.

Как-то с этим инструктором уж очень странно. Кто у кого байку перенял?

[avva.livejournal.com]

Канеман и Доз работали вместе; очевидно, байка Канемана, просто его книгу я еще не прочитал.

[elcour.livejournal.com]

Ты уже несколько раз за последние несколько месяцев писал об экспериментах и примерах, обсуждаемых в последней книге Канемана "Thinking, fast and slow". Однако, если я не пропустил поста, кажется, ничего о самой этой книге не писал. Ты уже читал ее?

(Сам я взял ее с собой в Израиль и на Балканы в декабре. ИМХО, это одна из самых ценных книг, написанных за последние сколько-то лет.)

[avva.livejournal.com]

Нет, еще не читал.