ложь, статистика и социальная психология

[avva]

ella_p рассказывает об интересном эксперименте.

Психологический эксперимент. Исследователи берут предложения израильских переговорщиков на происходящих в тот момент мирных переговорах, маркируют их как исходящие от палестинской стороны, и показывают рядовым израильтянам, спрашивая их мнение. Ну, ясен пень, те, кому показывали предложения в качестве палестинских оценивают их ниже, чем контрольная группа, которой презентовали их как израильские. Ничего удивительного, да?

Исследователи берут реальную позицию палестинской стороны на тех же переговорах, и проделывают тот же трюк. Так вот, реальные предложения палестинцев, будучи маркированы как "свои", оцениваются выше, чем реальные предложения Израиля, маркированные, как позиция противоположной стороны конфликта.

Действительно, очень интересно, правда? То, что одно и то же предложение будет оценено израильтянами по-разному, в зависимости от того, названо оно позицией Израиля или позицией палестинцев - это само по себе можно понять и не очень удивляет. Но то, что эта "поправка на своих" (или, если угодно, "поправка против чужих") настолько сильна, что перевешивает разницу между своим и чужим предложением - это действительно впечатляет и о многом говорит. Верно ведь?

В интересах пунктуальности можно отметить, что эффектность этого результата зависит от разницы между "своим" и "чужим" предложениями. Давайте возьмем одну абсурдную крайность и предположим, что израильское предложение было "выгнать с палестинских территорий всех палестинцев", а палестинское - "депортировать из Израиля всех евреев". Тогда обсуждаемый результат был бы такой: что израильтяне предпочли вариант "депортировать всех евреев", когда им сказали, что это официальная израильская позиция, варианту "выгнать всех палестинцев", когда им сказали, что это официальная палестинская позиция. Звучит абсурдно, и понятно, что такой результат был бы очень странным и неожиданным.

С другой стороны, давайте возьмем другую крайность и предположим, что "свое" и "чужое" предложение по сути дела идентичны. Например (нам же не сообщают подробности), может быть, эти два предложения выдвигались в ходе каких-то переговоров буквально за день до того, как они успешно завершились, и по сути дела обе стороны уже пришли к тому моменту к общей точке зрения. В таком случае обсуждаемый результат нас не удивит: он ничем не отличается от сравнения реакции на одно и то же предложение, представленное в качестве своего или чужого. Мы знаем, что есть "поправка на своих"; если реальной разницы между "своим" и "чужим" предложением нет, то обсуждаемый результат всего лишь еще раз демонстрирует эту поправку, и ничего нового интересного нам не говорит.

Но, хоть мы и не знаем подробностей этих переговоров, у нас нет оснований считать какую-то из этих крайностей верной. Раз в пересказе ella_p, или в книге Mistakes Were Made, в которой рассказывается эта история со ссылкой на психолога Ли Росса, ничего не сказано о конкретных позициях сторон, логично предположить, что израильское предложение заметно отличалось от палестинского (в конце концов ведь обе стороны уже много лет не могут договориться). И поэтому обсуждаемый результат можно считать значительным и эффектным. Верно?

Исходная статья, которая документирует это исследование (найти ее оказалось нетривиально, кстати), была опубликована в 2002-м году. Ли Росс - один из ее соавторов, но главный автор - израильский психолог Ифат Маоз:

Ifat Maoz, Andrew Ward, Michael Katz and Lee Ross. Reactive Devaluation of an "Israeli" vs. "Palestinian" Peace Proposal. Journal of Conflict Resolution 2002 46: 515.

Вот ее копия в PDF, кому интересно.

О чем идет речь в этой статье, и о каких предложениях израильской и палестинской сторон в ней говорится?

Хотя статья опубликована в 2002-м году, опросы, о которых она рассказывает (те два, которые нас интересуют), проводились во время израильско-палестинских переговоров весной 1993-го года, переговоров, которые завершились в сентябре того же года известными соглашениями в Осло. В обоих опросах участвовало около 70 израильских студентов (евреев) из двух университетов: Хайфского и Бар-Иланского. Участие в опросах было для них обязательной частью прохождения курса (по социальной психологии, наверное - в статье не сказано).

В первом опросе студентам выдали текст предложения, выдвинутого израильской стороной 6-го мая 1993 года, и попросили оценить, насколько это предложение хорошо для израильтян (по шкале от 1 до 7, где 1 - очень плохо, а 7 - очень хорошо) и для палестинцев (по той же шкале). При этом одной половине студентов сказали, что это официальное предложение израильской стороны, второй половине - что палестинской.

Во втором опросе таким же студентам (но не тем же самым) выдали текст предложения палестинской стороны от 10-го мая 1993 года, и тоже попросили оценить по 7-балльной шкале. Опять половине сказали, что это израильское предложение, половине - что палестинское. Все ответы свели вместе, вычислили средние значения, подвергли статистическому анализу итд. Все результаты есть в статье; я опускаю некоторые дополнительные несущественные подробности (типа того, что в статье есть еще разбивка израильских студентов по политическим взглядам, или того, что во втором опросе еще участвовали арабские студенты, и их ответы рассматриваются отдельно).

Главный результат - тот самый, поразительный - в статье представлен следующими словами:

This leads to the single most dramatic result from our two Israeli studies. Jewish participants ended up responding more negatively to their own side’s proposal when it was attributed to Palestinian authorship (M = 3.26) than they did to the actual Palestinian proposal when it was attributed to Israeli authorship (M = 4.05).

Числа тут - это средние оценки по 7-балльной шкале. И это верно! Действительно, если сверить результаты по этим двум опросам (таблицы 1 и 2 в тексте статьи) в графе "насколько это хорошо для израильтян", то израильское предложение, представленное как палестинское, получает 3.26, а палестинское, представленное как израильское - 4.05.

Что, однако, мы можем узнать из статьи о сути самих этих предложений?

К сожалению, их текста в статье нет (она ссылается на их формулировку в книге, которую я не нашел). Но они довольно подробно обсуждаются. Дело в том, что эти предложения написаны были - сознательно - в очень неясных и неопределенных терминах, и в статье обсуждается, какие были на то политичесие причины. Сами предложения довольно обширны (каждое из них отмечает точку зрения делегации по 10 важнейшим вопросам, так что речь идет, думаю, минимум о странице-двух текста), и, как подчеркивается в статье, хотя эти предложения обсуждают окончательное улаживание израильско-палестинского конфликта, из них невозможно даже понять, предлагают они, например, обширную автономию на палестинских территориях, или создание независимого государства.

Более того, авторы специально постарались оценить, насколько эти предложения туманны. Для этого других студентов попросили внимательно прочитать текст предложения и оценить по 5-балльной шкале, насколько оно клонится в сторону автономии для палестинцев, и насколько в сторону независимого государства для палестинцев. И вот какое дело: средние оценки для израильского и палестинского предложений практически совпали. В обоих случаях студенты сочли предложения настолько туманными, что они получили примерно одинаковые оценки, 3.5, в пользу автономии и в пользу государства. То есть каждое из предложений было одинаково туманным в обе стороны, и по отношению друг к другу они были одинаково "сбалансированы" в этом смысле.

(причина, по которой авторы делали эту проверку "туманности", заключается в том, что они еще кроме того предлагали студентам в первом опросе специальное "проясненное" предложение, которое они сами написали, и сравнивали реакцию на него. Но к обсуждаемому выше результату это "проясненное" предложение отношения не имеет, там речь совсем не о нем. Зато оценка "туманности" позволяет нам оценить разницу между двумя предложениями с точки зрения студентов.)

Но это еще не все и даже не самое главное. Кроме оценки "туманности" мы ведь можем просто сравнить оценку, которую дают разным предложениям студенты без "поправки на своих"! Ведь в статье есть оценки всех четырех возможных вариантов вопроса "насколько это хорошо для израильтян?":

1. израилькое предложение, представленное как израильское
2. израильское предложение, представленное как палестинское
3. палестинское предложение, представленное как израильское
4. палестинское предложение, представленное как палестинское

Нам говорят, что разница между пунктами 2 и 3 - 3.26 и 4.05 - существенна и эффектна, что в ней "поправка на своих" пересиливает разницу между двумя предложениями. Но эту разницу можно оценить напрямую, сравнив, например, пункты 1 и 3, когда эти предложения оба заявлены как израильские.

И оказывается... что в этих случаях оба предложения получают оценку 4.05. Совершенно одинаковую оценку.

(если сравнить пункты 2 и 4 с той же целью, оценки оказываются 3.26 и 3.09 - не одинаковые, но тоже очень близкие, несомненно в пределах погрешности)

Пора подвести черту. Что все это означает? Значит ли это, что израильское и палестинские предложения ничем не отличались друг от друга? Нет. Необязательно. Это длинные дипломатические документы, написанные языком международной политики, да еще специально туманно и неясно. Может быть, с точки зрения сторон между ними была огромная пропасть, а может и нет (к сентябрю, так или иначе, стороны пришли к соглашению). Но что да можно уверенно утверждать, это то, что с точки зрения студентов, которых опрашивали, реальной разницы между этими предложениями не было. Мы это видим и по тем оценкам, которые они им дают, и по независимой оценке "туманности" каждого из них. Может, это потому, что студентам было трудно их понять и оценить. Может, потому, что им просто не хотелось подробно их анализировать, и они ставили оценку более или менее автоматически в зависимости от того, чье, как им сказали, было предложение (ведь это в конечном итоге была контрольная работа, которую им надо было сдать в рамках курса, но оценку они за нее не получали и могли ставить от фонаря что хотели).

Так или иначе, для студентов разницы между предложениями не было, а это значит, что - как мы обсуждали в начале - кроме уже известного факта существования "поправки на своих", тут ничего интересного нет. Причем все это черным по белому читается в тексте статьи и в таблицах ее результатов. Но, увы, когда авторы обсуждают эти результаты, они не упоминают эти факты, а пишут об эффектном результате - "the single most dramatic result from our two Israeli studies". И потом это цитируется снова и снова. Google Scholar знает о 51 статье, которые ссылаются на эту: как вы думаете, на какой результат они ссылаются? Ли Росс повторяет этот эффектный результат в своих лекциях и статьях, и он попадает в популярные книги типа Mistakes Were Made, и его цитируют блоггеры, как например ella_p, и так далее и так далее. Но все это - пшик, чепуха, основанная на, скажем так, выборочном выпячивании определенных результатов (чтобы не сказать нечистоплотности) в исходной статье.

Comments

[barouh.livejournal.com]

ухх. спасибо за подробный разбор манипуляции

[progulki.livejournal.com]

Если тебе очень интересно, то я знаю Михаэля Каца, одного из соавторов. Я 3 года была его ассистенткой. Могу написать ему и попросить увидеть stimulus-я думаю, он не откажет.


Посмотри при случае статью Cohen "Party Over Policy: The Dominating Impact of Group Influence on Political Beliefs"
http://psycnet.apa.org/index.cfm?fa=buy.optionToBuy&id=2003-09138-003

Идея та же, результаты куда более впечатляющие

[dr-hyder.livejournal.com]

Мне это сразу сказало только о том что люди верят своим больше чем чужим и всё. Специально читал 5ть раз, думал может это они 1 и 3 сравнивали, и получилось что предложениям палестинцев под видом израильских, верят больше чем самим израильским, но эксперимент совершенно не об этом, поэтому честно говоря вообще не понятно какая тут "манипуляция" подразумевается. 2+2=4, сенсация!

[webface.livejournal.com]

Манипуляция в том, что автор не ограничивается тезисом о разницы восприятия между своими и чужими доводами (который наверняка был проанализирован в десятках статей за разные года), а еще и приписывает глупейший вывод о том, что израильтяне на самом деле воспринимают замаскированную чужую позицию лучше, чем свою.

[cema.livejournal.com]

Спасибо.

Честный разбор мало кому нужен, это правда. Но что скажет ella_p? Мне всегда казалось, она старается следовать научной методологии.

[avva.livejournal.com]

У меня нет никаких претензий к ella_p, она всего лишь рассказала о действительно интересном результате, который прочитала (если я правильно понял) в популярной книге. У меня лично есть патологическая дотошность, которая меня часто заставляет в таких случаях докапываться до первоисточника и сверять, но и я не всегда и не во всех случаях на это иду. Я точно также мог бы похожим образом что-то интересное пересказать.

нет слов

[mea-sententia.livejournal.com]

+1

[levrrr.livejournal.com]

Я лично (и по своей инициативе) в сентябре 1993 провёл опрос по отношению израильтян (только евреев) к соглашениям в Осло. Выборка - 50 телефонных номеров, случайным образом полученных из телефонных книг (50 - это число согласившихся в итоге ответить на вопросы).
В опросе было 2 вопроса:
1. Знакомы ли Вы с текстом “Декларации о принципах” между Израилем и ООП (она к тому времени была опубликована всеми израильскими газетами)
2. Поддерживаете ли Вы подписанное соглашение.
Ответ на второй вопрос примерно совпадал с результатами официальных опросов на эту тему: где-то 60% - поддерживающих, 30% - нет, остальные - не знаю.
На первый же вопрос ответили положительно только 2 человека из 70. Интересно (хотя вряд ли статистически значимо), что эти 2 человека были против договора.

Вывод - текст с формулировками мало кого интересует; люди более готовы поддержать или отвергрнуть сам факт договора

[bbb.livejournal.com]

Это более чем естественно. Почти все знание, которым мы обладаем, мы получаем через пересказ, а не через знакомство с непосредственными первоисточниками. Иного варианта просто не может быть - в противном случае жизнь остановилась бы. Соответственно, ключевым моментом является не знакомство с первоисточниками, а выбор такого промежуточного источника, которому мы готовы доверять (при этом цепочка промежуточных источников может быть очень длинной). Много ли людей в ежедневном режиме изучает длиннющие и нечитабельные дипломатические и юридические документы? А мнение о событиях имеется почти у всех. Просто если люди обнаруживают, что промежуточный источник систематически вводит их в заблуждение (точнее, если оценки промежуточного источника систематически не совпадают с теми оценками, которые они дали бы первоисточнику), они переходят к другому промежуточному источнику.

[grihanm.livejournal.com]

Вы случайно не из Британии? :)

[nec-p1us-u1tra.livejournal.com]

> Но все это - пшик, чепуха, основанная на, скажем так, выборочном выпячивании определенных результатов

Исследование дало Х результатов, на каком основании часть из них пшик и чепуха?

> (чтобы не сказать нечистоплотности) в исходной статье.

В _исходной_ статье? Т.е. само исследование нечистоплотно?

[avva.livejournal.com]

Не результаты - пшик и чепуха, а их пересказ в том виде, в каком например у ella_p, в книге, на которую она ссылается, в других статьях Росса итд.

В _исходной_ статье? Т.е. само исследование нечистоплотно?

На мой взгляд, процитированное предложение из статьи, про "the single most dramatic result", граничит с нечистоплотностью. Почему - объяснено подробно в моей записи. К самому эксперименту и сбору его результатов у меня особых претензий нет.

[vodianoj.livejournal.com]

Да, забавно, мне вот любопытно, способен ли ученый социолог признать свою ошибку?

[grihanm.livejournal.com]

Один признал - это правда из совсем другой оперы...
http://www.gazeta.ru/science/2011/11/02_a_3820686.shtml

[bbb.livejournal.com]

Ты совершенно прав - это абсолютно нормальная практика в тех случаях, когда "конкурирующие" тезисы уже достаточно сближены.

Думаю, найдется множество примеров того, как посетители музеев толпятся вокруг подделки под Леонардо или Рафаэля (или даже просто картины, ошибочно атрибутированной как принадлежащей кисти Леонардо или Рафаэля), равнодушно проходя мимо картины того же Леонардо, так же ошибочно атрибутированной как принадлежащей кисти какого-нибудь малоизвестного художника. Уверен, что и искусствоведы поведут себя чаще всего таким же образом.

[grihanm.livejournal.com]

Таже тема, что в опыте со скрипками Страдивари
http://flavorchemist.livejournal.com/62502.html

[kapla55.livejournal.com]

Мне кажется, что даже факт существования "поправки на своих" из данного исследования никак не следует. Из-за того что предолжения сформулированы туманно, их смысл может по разному интерпретироваться в зависимости от контекста. И то, кем сформулированы предложения, как раз и является таким контекстом. Утрированно: "мы обязуемся разоружить все свои вооруженные формирования". Одно дело если это предлагают палестинцы, и совсем другое если это предлагает израильская сторона.

[manpages.livejournal.com]

А скажите, как Вам такая тема как Эволюционная Психология?
Знакомы ли Вы с нашумевшей работой господина Маркова «Эволюция Человека в двух томах»?
И вопрос немного сторонний — пользуетесь ли Вы goodreads.com для составления to-read листов/ с целью поделиться своим мнением про книги в специально предназначенном для этого портале (я бы Вас там с удовольствием зафолловил)?

[ella-p.livejournal.com]

Ага, спасибо, будем знать.
Сейчас апдейт сделаю.

[levrrr.livejournal.com]

В аналогичной статье (http://faculty.kent.edu/updegraffj/gradsocial/readings/cohen.pdf), где вместо евреев и палестинцев - американские сторонники республиканцев и демократов, отмеченной Вами проблемы нет. Либеральные избиратели больше одобряют консервативную социальную программу, объявленную поддержанной демократами, чем либеральную программу, про которую заявляется, что она выдвинута республиканцами, а демократы - возражают. При этом республиканская программа, объявленная демократической, пользуется даже большей поддержкой у либералов чем оригинальная демократическая программа. Симметричная ситуация с консервативными избирателями

Но в этой статье постановка эксперимента вызывает у меня возражения. Социальные программы, представленные там, сформулированы в виде чётких сумм на социальные нужды, но совсем не ясно насколько хорошо люди, оценивающие программы, ориентируются в этих цифрах.

[dimrub.livejournal.com]

> Может, потому, что им просто не хотелось подробно их анализировать, и они ставили оценку более или менее автоматически в зависимости от того, чье, как им сказали, было предложение

Канеман разбирает этот феномен (когда человек отвечает не на тот вопрос, который ему задали, а на другой, более простой, которая ему его первая система услужливо подсовывает).

[elcour.livejournal.com]

Ага, я тоже все время его вспоминал, пока читал пост.

Толя очевидно прав, к посту я бы только добавил, что и выборка очень невелика: 70 студентов, обрабатывающих 4 разных инпута, дают средние баллы на группу из 17,5 человек.
(Тут вспомнился другой пример Канемана. Прочитайте статью о том, что некоторый опрос, проведенный среди 300 случайных пенсионеров, показал, что 60% из них довольны президентом. Теперь придумайте к ней подходящий заголовок из трех слов. Теперь скажите положа руку на сердце, что первый пришедший вам в голову вариант не был: "Пенсионеры поддерживают президента". :))

[cousin-it.livejournal.com]

Очень хороший анализ, спасибо!

[kashnikov.livejournal.com]

Вам возможно будет интересно. Frédéric Brochet провёл интересное исследование о дегустации вина CHEMICAL OBJECT REPRESENTATION IN THE FIELD OF
CONSCIOUSNESS (http://web.archive.org/web/20070928231853/http://www.academie-amorim.com/us/laureat_2001/brochet.pdf). Исследование интересно ещё и тем, что содержит анализ корпуса для описания вина.

[mopexod.livejournal.com]

Да, авторы решительно могли бы найти менее политизированный материал. Мне не так странно, что их результаты нестроги, как то, что их кто-то принимает всерьёз...