о возвращении к среднему
Apr. 5th, 2012 11:14 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
avvaВозвращение к среднему значению (по-английски regression to the mean) - феномен в статистике, который очень просто объяснить, но вместе с тем он часто ускользает от нашего внимания.
Представьте, что потоку из сотни студентов дают написать сложный экзамен по математике, и оцени за него выставляют по 100-бальной шкале. Давайте выпишем имена тех, кому выставили 10% худших оценок, и тех, кому достались 10% лучших. На следующий день всему потоку дают еще один экзамен, на ту же самую тему и той же сложности, но задачки другие. Теперь сравним оценки, которые получили студенты в первый день и во второй.
Мы увидим, что почти всегда в среднем наихудшие ученики в первый день повысили свои оценки на второй день, а наилучшие, наоборот, снизили. Не у каждого ученика так будет, но в среднем выйдет так. Почему? На оценку влияют два фактора: знания и случайность (примеры случайных факторов: студент выспался или нет; попалась в точности задача, которую он помнит; мысли заняты чем-то другим; итд. итд.). Когда мы по итогам первого экзамена выделили 10% худших оценок, в них попали студенты, у которых и знаний мало, и к тому же им (в среднем) сильно "не повезло". На следующий день знаний у них не прибавилось, а вот везение, случайные факторы будут примерно средними - они "вернулись к среднему значению". Так что эти студенты напишут второй экзамен несколько лучше. То же самое объяснение, но в другую сторону - для лучших 10% оценок.
(Если вы сомневаетесь в этом примере и хотите увидеть более "чистый" пример, просто удалите фактор знаний. Пусть каждый студент кидает 10 раз шестигранные кости, и оценкой будет сумма того, что он выкинул. В среднем каждый студент выкинет примерно 35, но будет немало оценок хуже и лучше. Возьмем 10% самых худших, и дадим еще один такой же "экзамен" только им. Что же мы увидим? - в среднем у них по второму экзамену опять выпадет 35, т.е. все эти "плохие" студенты улучшились! Конечно, в такой формулировке мы не видим тут ничего странного, потому что полная случайность налицо).
В возвращении к среднему нет ничего мистического или необычного. Проблема состоит в том, что нам свойственно не замечать его, когда есть более "логичные" объяснения того, что оценки изменились. Вернемся к экзамену по математике: представьте, что второй экзамен дают не на следующий день, а через неделю, и в эту неделю 10% худших студентов по результатам первого экзамена получают специальную помощь, с ними интенсивно занимаются
математикой. На втором экзамене "наихудшие" улучшают свои оценки, и все довольны: практика занятий с отстающими студентами доказала себя! Но на самом деле, возможно, весь эффект объясняется возвращением к среднему, о котором не подумали, и специальные занятия ничего не дали. Или дали, но насколько они помогли, трудно судить, потому что возвращение к среднему тоже дает мощный эффект. Надо использовать специальные методы, чтобы этот эффект учесть (у статистиков такие методы есть).
Или представьте, что мы хотим исследовать, насколько психотерапия помогает в лечении сильной депрессии. Мы дадим стандартный опросник клиентам психотерапевтов, когда они впервые приходят на прием, а потом еще раз через полгода - и сравним глубину депрессивного состояния согласно этому опроснику. Если в среднем все улучшается, то мы заключаем, что психотерапия отлично работает. Но, увы, дело в том, что людям свойственно решиться наконец пойти к психотерапевту или психологу, когда им особенно хреново, когда депрессия особенно сильная. А поскольку ее глубина изменяется не по точным законам, а в ней есть много случайности, через полгода согласно возвращению к среднему мы ожидаем увидеть улучшение, опять-таки в среднем, независимо от того, что сделали или не сделали психотерапевты.
Американский психолог Робин Доз пересказывает замечательный пример когнитивного искажения, основанного на непонимании возвращения к среднему. Инструктор летного курса в израильской армии спорил с психологами о том, как лучше мотивировать учеников: кнутом или пряником. "На основании своего личного опыта я знаю, что лучше всего мотивирует наказание, а похвала наоборот вредит", сказал он. "Неоднократно случалось так, что ученик очень хорошо выполнял какой-то маневр в воздухе, я его за это всячески хвалил, а в следующий раз он его делал намного хуже. С другой стороны, когда кто-то выполняет маневр очень плохо, а я за него на это ору и ругаю, в следующий раз у него почти всегда лучше получается!"
(пример взят из его книги House of Cards, о психологии и психотерапии, которую я сейчас читаю; очень интересной)
Представьте, что потоку из сотни студентов дают написать сложный экзамен по математике, и оцени за него выставляют по 100-бальной шкале. Давайте выпишем имена тех, кому выставили 10% худших оценок, и тех, кому достались 10% лучших. На следующий день всему потоку дают еще один экзамен, на ту же самую тему и той же сложности, но задачки другие. Теперь сравним оценки, которые получили студенты в первый день и во второй.
Мы увидим, что почти всегда в среднем наихудшие ученики в первый день повысили свои оценки на второй день, а наилучшие, наоборот, снизили. Не у каждого ученика так будет, но в среднем выйдет так. Почему? На оценку влияют два фактора: знания и случайность (примеры случайных факторов: студент выспался или нет; попалась в точности задача, которую он помнит; мысли заняты чем-то другим; итд. итд.). Когда мы по итогам первого экзамена выделили 10% худших оценок, в них попали студенты, у которых и знаний мало, и к тому же им (в среднем) сильно "не повезло". На следующий день знаний у них не прибавилось, а вот везение, случайные факторы будут примерно средними - они "вернулись к среднему значению". Так что эти студенты напишут второй экзамен несколько лучше. То же самое объяснение, но в другую сторону - для лучших 10% оценок.
(Если вы сомневаетесь в этом примере и хотите увидеть более "чистый" пример, просто удалите фактор знаний. Пусть каждый студент кидает 10 раз шестигранные кости, и оценкой будет сумма того, что он выкинул. В среднем каждый студент выкинет примерно 35, но будет немало оценок хуже и лучше. Возьмем 10% самых худших, и дадим еще один такой же "экзамен" только им. Что же мы увидим? - в среднем у них по второму экзамену опять выпадет 35, т.е. все эти "плохие" студенты улучшились! Конечно, в такой формулировке мы не видим тут ничего странного, потому что полная случайность налицо).
В возвращении к среднему нет ничего мистического или необычного. Проблема состоит в том, что нам свойственно не замечать его, когда есть более "логичные" объяснения того, что оценки изменились. Вернемся к экзамену по математике: представьте, что второй экзамен дают не на следующий день, а через неделю, и в эту неделю 10% худших студентов по результатам первого экзамена получают специальную помощь, с ними интенсивно занимаются
математикой. На втором экзамене "наихудшие" улучшают свои оценки, и все довольны: практика занятий с отстающими студентами доказала себя! Но на самом деле, возможно, весь эффект объясняется возвращением к среднему, о котором не подумали, и специальные занятия ничего не дали. Или дали, но насколько они помогли, трудно судить, потому что возвращение к среднему тоже дает мощный эффект. Надо использовать специальные методы, чтобы этот эффект учесть (у статистиков такие методы есть).
Или представьте, что мы хотим исследовать, насколько психотерапия помогает в лечении сильной депрессии. Мы дадим стандартный опросник клиентам психотерапевтов, когда они впервые приходят на прием, а потом еще раз через полгода - и сравним глубину депрессивного состояния согласно этому опроснику. Если в среднем все улучшается, то мы заключаем, что психотерапия отлично работает. Но, увы, дело в том, что людям свойственно решиться наконец пойти к психотерапевту или психологу, когда им особенно хреново, когда депрессия особенно сильная. А поскольку ее глубина изменяется не по точным законам, а в ней есть много случайности, через полгода согласно возвращению к среднему мы ожидаем увидеть улучшение, опять-таки в среднем, независимо от того, что сделали или не сделали психотерапевты.
Американский психолог Робин Доз пересказывает замечательный пример когнитивного искажения, основанного на непонимании возвращения к среднему. Инструктор летного курса в израильской армии спорил с психологами о том, как лучше мотивировать учеников: кнутом или пряником. "На основании своего личного опыта я знаю, что лучше всего мотивирует наказание, а похвала наоборот вредит", сказал он. "Неоднократно случалось так, что ученик очень хорошо выполнял какой-то маневр в воздухе, я его за это всячески хвалил, а в следующий раз он его делал намного хуже. С другой стороны, когда кто-то выполняет маневр очень плохо, а я за него на это ору и ругаю, в следующий раз у него почти всегда лучше получается!"
(пример взят из его книги House of Cards, о психологии и психотерапии, которую я сейчас читаю; очень интересной)
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2012-04-05 08:21 pm (UTC)Наглядная демонстрация
Date: 2012-04-05 08:34 pm (UTC)Я имел удовольствие недавно присутствовать на практической демонстрации этого принципа, называемой "The Read Bead Experiment". Можно даже посмотреть видеозапись: http://www.agilerigaday.lv/Sessions/the-red-bead-experiment
no subject
Date: 2012-04-05 08:38 pm (UTC)no subject
Date: 2012-04-05 08:38 pm (UTC)Помимо спонтанного улучшения может иметь место и спонтанное ухудшение, что при депрессии очень часто случается.
no subject
Date: 2012-04-05 08:41 pm (UTC)no subject
Date: 2012-04-05 08:41 pm (UTC)обычно нет
в депрессии мы говорим об очень высоком уровне именно спонтанного улучшения
no subject
Date: 2012-04-05 08:42 pm (UTC)no subject
Date: 2012-04-05 08:42 pm (UTC)no subject
Date: 2012-04-05 08:43 pm (UTC)no subject
Date: 2012-04-05 08:48 pm (UTC)no subject
Date: 2012-04-05 08:52 pm (UTC)no subject
Date: 2012-04-05 09:01 pm (UTC)no subject
Date: 2012-04-05 09:02 pm (UTC)no subject
Date: 2012-04-05 09:04 pm (UTC)no subject
Date: 2012-04-05 09:06 pm (UTC)no subject
Date: 2012-04-05 09:08 pm (UTC)если они 0.049, о них обычно никто никогда не узнает. А вот когда печатают офигенные результаты (есссс! вспомнила, где я читала про регрессию к среднему), а потом они ни у кого не получаются-это засада
no subject
Date: 2012-04-05 09:10 pm (UTC)no subject
Date: 2012-04-05 09:17 pm (UTC)no subject
Date: 2012-04-05 09:23 pm (UTC)http://www.amazon.com/Fooled-Randomness-Hidden-Chance-Markets/dp/1587990717
Судя по всему наш мозг вообще не приспособлен к пониманию вероятности и статистики
no subject
Date: 2012-04-05 09:28 pm (UTC)статистика задач на уровне студенческих "истребителей-бомбардировщиков"
нет никакого искажения, ни психологического, ни статистического
все знают, что второй раз тесты на айкью проходят в сто раз лучше
итак, кто хочет возможности мозга сравнить со статистикой?
no subject
Date: 2012-04-05 09:28 pm (UTC)Традиционно процитирую "Социальную психологию" Майерса вдобавок.
"Чтобы имитировать последствия похвалы и наказания, Пол Шаффнер (Paul Schaffner, 1985) попросил студентов Боудонского колледжа приучить выдуманного четвероклассника Гарольда приходить в школу к 8.30. Каждый день в течение трех недель компьютер показывал время прихода «Гарольда», обычно это было между 8.20 и 8.40. Участники эксперимента должны были решить, как реагировать на приход мнимого ученика — изысканной похвалой или строгим выговором. Как вы могли предположить, они обычно хвалили «Гарольда», когда он приходил до 8.30, и делали замечание, если он приходил после 8.30. Так как Шаффнер запрограммировал компьютер на случайную последовательность времени прихода, после замечаний возникала тенденция к улучшению (время приближалось к 8.30). Например, если «Гарольд» приходил в 8.39, он был почти уверен, что его отругают, а вероятность того, что случайное время прихода на следующий день будет меньше 8.39, была очень высока. Таким образом, даже если замечания не имели никакого эффекта, большинство участников эксперимента закончили его, полагая, что их замечания сыграли свою роль.
no subject
Date: 2012-04-05 09:33 pm (UTC)no subject
Date: 2012-04-05 09:36 pm (UTC)Ну и как авва говорит: грубо говоря, представляем "а сколько у нас тут случайности?" --> высчитываем, что будет если эти случайности выпадут по другому, что в среднем получим --> сравниваем с полученными результатами.
no subject
Date: 2012-04-05 09:37 pm (UTC)no subject
Date: 2012-04-05 09:38 pm (UTC)