книги: how to lie with statistics

[avva]

Darrell Huff, How to Lie with Statistics

Классическая научно-популярная книга о статистике, впервые опубликована еще в 50-х. Оформлена в виде иронических "советов" о том, как обмануть или создать ложное впечатление с помощью статистической информации - замысел в том, что на самом деле читатель учится распознавать такие приемы. Совсем коротенькая, за день не проблема прочитать.

Надо отметить, что статистика вся на очень базовом уровне. В этой книге не упоминаются вообще, например, такие понятия, как p-значения или доверительные интервалы или как правильно проводить эксперимент. Максимум математики, которая в ней есть - это объяснение разницы между средним арифметическим и медианой. Это нормально; несмотря на эту тривиальность математического материала, я все равно рекомендую книгу Хаффа даже и тем, кто знает больше (и всем остальным тоже, понятно). Основная польза от книги - во множестве интересных хорошо подобранных примеров, которые вдалбывают в читателя необходимость читать внимательно, настаивать на ясной интерпретации данных, и сверять то, что на самом деле измерено, с тем, что утверждается.

Примеры тем, которые обсуждаются в книге (неполный список):

• Нерепрезентативная выборка.
  
• Многозначность слова "average" и то, как создавать ложное впечатление с помощью арифметического среднего там, где более уместна медиана.
  
• Польза дополнительных данных, таких, например, как разброс значений или количество результатов, на основании которых построили статистику.
  
• Абсурд и обманчивость излишней точности в оценках.
  
• Обманчивые графики и пиктограммы.
  

Оценка 8/10, всячески рекомендую.

Несколько цитат из книги:

• "For a sample of unenterprising journalism take this item from a list of “new industrial developments” in the news magazine Fortnight: “a new cold temper bath which triples the hardness of steel, from Westinghouse.”
  
  Now that sounds like quite a development…until you try to put your finger on what it means. And then it becomes as elusive as a ball of quicksilver. Does the new bath make just any kind of steel three times as hard as it was before treatment? Or does it produce a steel three times as hard as any previous steel? Or what does it do? It appears that the reporter has passed along some words without inquiring what they mean, and you are expected to read them just as uncritically for the happy illusion they give you of having learned something."
  
  
• "...consider the case of the juice extractor. It was widely advertised as a device that “extracts 26 percent more juice” as “proved by laboratory test” and “vouched for by Good Housekeeping Institute.”
  That sounds right good. If you can buy a juicer that is twenty-six percent more effective, why buy any other kind? Well now, without going into the fact that “laboratory tests” (especially “independent laboratory tests”) have proved some of the darndest things, just what does that figure mean? Twenty-six percent more than what? When it was finally pinned down it was found to mean only that this juicer got out that much more juice than an old-fashioned hand reamer could. It had absolutely nothing to do with the data you would want before purchasing; this juicer might be the poorest on the market. Besides being suspiciously precise, that twenty-six percent figure is totally irrelevant."
  
  
• "A psychiatrist reported once that practically everybody is neurotic. Aside from the fact that such use destroys any meaning in the word “neurotic,” take a look at the man’s sample. That is, whom has the psychiatrist been observing? It turns out that he has reached this edifying conclusion from studying his patients, who are a long, long way from being a sample of the population."
  
  
• "Sometimes it is percentages that are given and raw figures that are missing, and this can be deceptive too. Long ago, when Johns Hopkins University had just begun to admit women students, someone not particularly enamored of coeducation reported a real shocker: Thirty-three and one-third percent of the women at Hopkins had married faculty members! The raw figures gave a clearer picture. There were three women enrolled at the time, and one of them had married a faculty man."

Comments

[onkel-hans.livejournal.com]

Лежит на столе ...

[bbb.livejournal.com]

Поразительно! Смотрю комменты к этому постингу - у всех без исключения эта книга лежит на столе. Вот что значит настоящая популярность.

[grihanm.livejournal.com]

Недавно придумал афоризм: "Существуют три вида лжи: ложь, наглая ложь и ложь о лживости статистики"

[helvegr.livejournal.com]

Книга вроде хорошая, но автор помимо прочего на деньги табачных компаний занимался отрицанием связи между курением и заболеваниями:

http://andrewgelman.com/2012/04/27/how-to-mislead-with-how-to-lie-with-statistics/

[tidbit-stories.livejournal.com]

Советую базовый учебник по эконометрике. Все эти случаи рассматриваются, заодно можно понять как правильно собирать и обрабатывать данные. Например Verbeek или Green или Wooldridge(не видел, но модный). Например один достаточно тонких вопросов эконометрики, один из центральных в бакалаврских курсах: http://en.wikipedia.org/wiki/Omitted-variable_bias. Я так понимаю пункт "польза дополнительных данных" соответствует этому вопросу у вас в списке. Учитывая, что эконометрика не требует ничего кроме самой элементарной линейной алгебры и статистики, думаю, читать указанные учебники (кроме Грина) можно как худ. литературу.

[n-r-dreams.livejournal.com]

Кажется, на эту книжку Мартин Гарднер ссылался. По крайней мере, у него в книге о парадоксах "А ну-ка, догадайся!" ("Aha! Gotcha", 1982) в пятой главе в таком же ключе рассказывается про статистику. Помню, когда дочитал, час нарезал круги по комнате, взволнованный мыслями о людской наивности и доверчивости.

[rollon.livejournal.com]

это ведь тот самый Хафф, который написал (но не издал) How to Lie with Smoking Statistics, о которой писал Гельман в недавно упоминавшейся здесь статье.

[clement.livejournal.com]

Очень поддерживаю рекомендацию. Читается на едином дыхании.

[clement.livejournal.com]

Или это говорит о (не)репрезентативности выборки читателей дневника avva?

[vlad_suh]

Всё же логично - автор и сам использует статистику для лжи, и другим объясняет, как это делать.
Ну или вот конспирологический вариант - автор специально издал эту книжку, что бы все поняли, что статистика по курению ложная.

[gineer.livejournal.com]

Это еще что...
вот я было встретил образец советской лж... статистики.
Прием называется "а если устойчивый рост показателей не получается... приведем к количеству морских свинок на квадратный метр" :)))
Дается табличка "количество произведеных тракторов по годам"
Все вроде чин по чину, индустриализация во весь рост -- показатели растут каждый год, неуклонно, ага.
Только, в названии таблички звездочка,
а внизу сносочка... мелким шрифтом, да.
А в той сносочке значится "в приведении к 12-сильным".
То есть... если вдруг промышленность произвела чудо техники в 120 л.с.
то по этой табличке он будет значится как 10 тракторов.
Отлично, да. :))

[gineer.livejournal.com]

http://avva.livejournal.com/2583464.html?thread=93854376#t93854376

[webface.livejournal.com]

:)

[muh2.livejournal.com]

Oh no, not another book about availability (and other) biases!

Прочитав в обозримом прошлом Канинхама и Дюеса.

[igoretz.livejournal.com]

"У большинства людей число ног больше среднего."

[rukenau.livejournal.com]

Спасибо большое. Нашел эту книгу вот здесь и с удовольствием читаю.

[rukenau.livejournal.com]

Какая чудесная фраза.

К вопросу об ошибках восприятия

[rukenau.livejournal.com]

Авва, а Вы читали Канемана "Thinking, Fast and Slow"? Очень рекомендую.

[l-hat.livejournal.com]

The Most Dangerous Equation (De Moivre’s equation). Well worth reading.

[egorfine.livejournal.com]

Очень интересно. Купил немедленно.

[rusty-spur.livejournal.com]

Порадовали :)

[vasja-iz-aa.livejournal.com]

практически малоинтересно: фальсификаторы все это тоже читали, может и не в оригинале. ну и современные компьютерно-интернетные технологии привнесли свои собственные способы

[gineer.livejournal.com]

http://poteri-sssr.livejournal.com/17461.html?thread=213045#t213045

[sergei-lvov.livejournal.com]

Нууу, все-таки в каком-то смысле это имеет смысл - все же 120-сильный и 24-сильный трактор довольно разные трактора. Тут альтернатива разве что по весу сравнивать. Ну или по деньгам, но неизменные цены 1926/27 г. - это вообще творческий полет фантазии красного сокола на красной же звезде.

[gineer.livejournal.com]

Вот на таких "это имеет смысл" оно и рассчитано.
Равно как и вся остальная пропаганда "светлого будущего". :)
Конечно имеет, смысл показать "прогресс" там где его ноль целых ноль десятых,
да и с сотыми заминка.

[sergei-lvov.livejournal.com]

Ну что ж вы хотите от советской статистики - она же главным образом для пропаганды всегда и была нужна. Хотя все же какой-то прогресс быть мог, правда, с учетом советских реалий хрен поймешь какой