avva: (moose)
avva ([personal profile] avva) wrote2012-11-08 05:42 pm

нейт сильвер

Несомненно, победителем этой президентской кампании в США можно считать не только Обаму, но и Нейта Сильвера, журналиста-статистика, комментировавшего эти (и предыдущие) выборы с точки зрения статистических моделей, построенных на результатах опросов.

Сильвер убедительно показал, что СМИ обманчиво преувеличивали степень непредсказуемости этой кампании. Первые полосы газет, новостные выпуски, политические блоги - все они в последние недели перед выборами твердили снова и снова, насколько близки кандидаты друг к другу, и что невозможно предсказать, кто из них выигрывает в каких ключевых штатах, и кто победит.

Яростная борьба, интрига, неуверенность в результате до последнего момента - все это привлекает читателей, но все это было в данном случае по большей части выдуманным. Уже несколько недель назад было понятно, что Обама почти наверняка победит, и можно было предсказать довольно точно, в каких штатах. Именно это и сделал Сильвер, и его предксазания, основанные на статистике, а не высосанные из пальца комментаторами-политологами, оказались самыми точными. Он правильно предсказал результаты во всех 50 штатах.

А в Твиттере теперь придумывают "факты про Нейта Сильвера", подобные когда-то популярным, но вышедшим из моды фактам про Чака Норриса. Вот некоторые, что мне понравились:

  • Results ask Nate Silvers whether they're significant.
  • Nate Silver's great-great-great-great-great-great-grandson's name is going to be Hari Seldon.
  • Nate Silver knows which butterfly it was.
  • Nate Silver knows when GRR Martin will finish the Winds of Winter.
  • Nate Silver expected the Spanish Inquisition.
  • Nate Silver knows there’s no such thing as #natesilverfacts only #natesilverconfidencelevels
  • Nate Silver can measure the position and velocity of subatomic particles simultaneously
  • Nate Silver knows what you will do next summer
  • Nate Silver knows how many roads a man must walk down before you call him a man.
  • Wikipedia asked Nate Silver to stop adding Dates of Death to entries for people who haven't died yet.

[identity profile] renata.livejournal.com 2012-11-08 03:48 pm (UTC)(link)
про Wikipedia и butterfly особенно прекрасно!

[identity profile] tacente.livejournal.com 2012-11-08 03:52 pm (UTC)(link)
Ага; а мне больше всего понравились про inquisition и position & velocity. Ну и про next summer.

[identity profile] tacente.livejournal.com 2012-11-08 03:50 pm (UTC)(link)
Тут ближе к концу интервью с ним; да и вообще вся передача прекрасная.

http://www.thedailyshow.com/full-episodes/wed-november-7-2012-nate-silver

[identity profile] the-netwalker.livejournal.com 2012-11-08 03:50 pm (UTC)(link)
эммм... И это все, что можно сказать про "эталон демократических выборов"?

[identity profile] blainemono.livejournal.com 2012-11-08 04:11 pm (UTC)(link)
А что бы вы хотели услышать? Про волосатую лапу Госдепа, надеюсь?

[identity profile] vdinets.livejournal.com 2012-11-08 03:52 pm (UTC)(link)
За несколько недель - это, конечно, круто. Но в последнюю неделю нагнетание неопределенности было достаточно очевидно без всякой сложной статистики. Достаточно было на данные опросов посмотреть. Уже к концу октября Обама лидировал, а потом республиканцы в пролетарских штатах накосячили, да еще господь Обаме ураган послал в помощь, ибо мерзок был Ромни в глазах Его. Можно было, конечно, предположить наличие системной ошибки в опросах, но последний такой случай был довольно давно.

[identity profile] nec-p1us-u1tra.livejournal.com 2012-11-08 04:17 pm (UTC)(link)
> господь Обаме ураган послал в помощь, ибо мерзок был Ромни в глазах Его

слышал и обратную точку зрения

(no subject)

[identity profile] vdinets.livejournal.com - 2012-11-08 16:32 (UTC) - Expand

(no subject)

[identity profile] geish-a.livejournal.com - 2012-11-08 16:41 (UTC) - Expand

(no subject)

[identity profile] vdinets.livejournal.com - 2012-11-08 16:46 (UTC) - Expand

(no subject)

[identity profile] geish-a.livejournal.com - 2012-11-08 16:53 (UTC) - Expand

(no subject)

[identity profile] vdinets.livejournal.com - 2012-11-08 16:57 (UTC) - Expand

(no subject)

[identity profile] ddd-ddd.livejournal.com - 2012-11-17 19:31 (UTC) - Expand

(no subject)

[identity profile] vdinets.livejournal.com - 2012-11-17 19:42 (UTC) - Expand

(no subject)

[identity profile] ddd-ddd.livejournal.com - 2012-11-17 22:09 (UTC) - Expand

(no subject)

[identity profile] vdinets.livejournal.com - 2012-11-17 23:11 (UTC) - Expand

(no subject)

[identity profile] ddd-ddd.livejournal.com - 2012-11-17 23:29 (UTC) - Expand

(no subject)

[identity profile] starshoj.livejournal.com - 2012-11-08 18:05 (UTC) - Expand

(no subject)

[identity profile] vdinets.livejournal.com - 2012-11-08 21:10 (UTC) - Expand

[identity profile] plojhar.livejournal.com 2012-11-08 03:54 pm (UTC)(link)
Надо бы подключить его к анализу российских выборов, быстро гонору поубавится у буржуйчика.

[identity profile] ban-dana.livejournal.com 2012-11-08 03:58 pm (UTC)(link)
российские выборы к статистике никаким боком, статистика занимается _случайными_ процессами :)

(no subject)

[identity profile] gruftie.livejournal.com - 2012-11-08 16:11 (UTC) - Expand

(no subject)

[identity profile] tacente.livejournal.com - 2012-11-08 17:35 (UTC) - Expand

(no subject)

[identity profile] plojhar.livejournal.com - 2012-11-08 18:14 (UTC) - Expand

[identity profile] arronax.livejournal.com 2012-11-08 04:04 pm (UTC)(link)
http://swampland.time.com/2012/11/07/inside-the-secret-world-of-quants-and-data-crunchers-who-helped-obama-win/2/ вот ещё неплохая статья о том, как данные и их анализ помогли Обаме победить

[identity profile] kblcbka.livejournal.com 2012-11-08 04:07 pm (UTC)(link)
>> СМИ обманчиво преувеличивали степень непредсказуемости этой кампании
Плюсмного. Я следила за сайтом Эндрю Таненбаума (ага, того самого), который анализирует данные опросов с 2004 года. Вот так выглядела его карта в день перед выборами: http://www.electoral-vote.com/evp2012/Pres/Maps/Nov06.html. Т.е. он тоже угадал всё, кроме Флориды, как и другие аналитики, имевшие дело не с пропагандой, а с данными опросов. Так что к настоящие победителям можно ещё отнести разработчиков методик опросов.

[identity profile] anhinga-anhinga.livejournal.com 2012-11-08 07:10 pm (UTC)(link)
В день перед выборами я тоже угадал всё, кроме Флориды (просто посмотрел, какие были ставки на intrade.com по каждому штату :-) этот простой метод довольно хорошо работает).

Были интересные разногласия между Нейтом и Эндрю Гельманом, одним из самих сильных статистиков:

http://andrewgelman.com/2012/11/lets-try-this-instead-of-saying-the-probability-is-75-say-theres-a-25-chance-im-wrong/

http://campaignstops.blogs.nytimes.com/2012/10/30/what-too-close-to-call-really-means/

(no subject)

[identity profile] kblcbka.livejournal.com - 2012-11-08 21:54 (UTC) - Expand

[identity profile] chingachguk.livejournal.com 2012-11-08 04:07 pm (UTC)(link)
Сэлдон и Википедия - это прекрасно.

[identity profile] mainname.livejournal.com 2012-11-08 04:11 pm (UTC)(link)
Nate Silver expected the Spanish Inquisition!
это пять!

[identity profile] katren.livejournal.com 2012-11-09 02:49 pm (UTC)(link)
можете объяснить?

(no subject)

[identity profile] mainname.livejournal.com - 2012-11-09 15:03 (UTC) - Expand

[identity profile] whitelynx.livejournal.com 2012-11-08 04:18 pm (UTC)(link)
Журналисты-то что угодно могут написать, а вот букмекерские конторы давали на Обаму коэффициент в районе 1.3 то есть считали его явным фаворитом.

[identity profile] vityokr.livejournal.com 2012-11-08 04:40 pm (UTC)(link)
Только это не конторы его считали - а люди ставящие ставки. Контора своего мнения не имеет - только сводит "голосующих"

(no subject)

[identity profile] whitelynx.livejournal.com - 2012-11-08 16:45 (UTC) - Expand

(no subject)

[identity profile] vityokr.livejournal.com - 2012-11-08 16:56 (UTC) - Expand

(no subject)

[identity profile] vityokr.livejournal.com - 2012-11-09 22:18 (UTC) - Expand

[identity profile] evocator.livejournal.com 2012-11-08 04:23 pm (UTC)(link)
Последнее в особенности очаровательно.

[identity profile] malyj-gorgan.livejournal.com 2012-11-08 04:38 pm (UTC)(link)
Нейт только что звонил, просил передать, что про GRRM это все выдумки, как с подводной лодкой у бандеровца: чого нема, того нема.

[identity profile] ly0lik.livejournal.com 2012-11-08 06:37 pm (UTC)(link)
браво:)

[identity profile] aptsvet.livejournal.com 2012-11-08 04:40 pm (UTC)(link)
Ага, я вот тоже про последний твит - у меня особый интерес, поскольку однажды нашел в интернете заготовку некролога на себя (давал ссылку, но теперь потерял). Правда там заключительная дата проставлена не была.

[identity profile] aintlion.livejournal.com 2012-11-08 04:49 pm (UTC)(link)
"Nate Silver's great-great-great-great-great-great-grandson's name is going to be Hari Seldon."

О!

[identity profile] dennis.livejournal.com 2012-11-08 04:59 pm (UTC)(link)
Есть еще подобные факты про Брюса Шнаера (криптографа), тоже математический юмор. http://www.schneierfacts.com/

[identity profile] mikser.livejournal.com 2012-11-08 05:21 pm (UTC)(link)
Удивлен не увидев шутку про кота Шредингера.

[identity profile] boltatel.livejournal.com 2012-11-08 05:24 pm (UTC)(link)
Несколько недель назад Нэйт Силвер давал 20%-30% шансы Ромни. Это только в последние 2-3 дня шансы Ромни стали <10%.

Про Шнаера еще когда начали факты выдумывать

[identity profile] huzhepidarasa.livejournal.com 2012-11-08 05:35 pm (UTC)(link)
Шнаер при этом еще и похож на Чака Норриса (немного).
Edited 2012-11-08 17:39 (UTC)

[identity profile] dmitriy mandel (from livejournal.com) 2012-11-08 05:36 pm (UTC)(link)
Только что прочитал его книжку "The Signal and the Noise". Хорошо, вдумчиво написано. Рекомендую.

Я пристально следил за блогом Сильвера и в этом году, и в 2008. Мне очень нравится его подход и я очень уважаю его. Но я подозреваю, что его модель заметно СИЛЬНЕЕ, чем он сам утверждает. Т.е. Сильвер осторожничает и калибрует свой алгоритм так, что он систематически выдаёт слегка заниженную оценку вероятности победы для лидирующего кандидата (в данном случае - Обамы). Это моё подозрение базируется на нескольких наблюдениях. В частности:

- В последних двух циклах модель правильно "предсказала" победителя в 99 из 100 (49 штатов в 2008 и все 50 в 2012). У меня нет корреляционной матрицы для всех штатов, и поэтому я не могу точно сказать, какова вероятность предсказания такого уровня точности при условии, что вероятности победы в индивидуальных штатах соответствуют оценкам Сильвера. По моим прикидкам "на салфетке", вероятность такой точности очень невелика - порядка 10%, а может и ниже. А если добавить сюда точность его предсказаний по выборам в Сенат, вероятность совпадения упадёт ещё ниже.

- Экономическая мотивация Сильвера - та же, что и у политологов на ТВ - развлекать читателей и привлекать их на свой сайт в максимальных количествах.

Но мелкие технические претензии никак не умаляют его заслуг. К следующим выборам у Сильвера будет 10-20 конкурентов. ТВ и газеты вынуждены будут менять свой подход к предмету. Избиратели будут получать более качественную информацию. Бесперспективным политикам труднее будет дурить головы своим спонсорам. Long live transparency!

[identity profile] migmit.livejournal.com 2012-11-08 05:57 pm (UTC)(link)
Странно, почему никто ещё не вспомнил осьминога Пауля.

[identity profile] nevsky.livejournal.com 2012-11-08 07:01 pm (UTC)(link)
Предсказать 35-40 из 50 штатов можно было уже года 2 назад, так что заголовок "Нейт! Сильвер! Правильно! Предсказал! Все! 50!" так же некорректен, как и позиция СМИ в последние 2-3 недели.

И еще нюанс. Оба избирательных штаба пытались мобилизовать и привести "свой" электорат голосовать, поэтому подогревать неуверенность и до последнего твердить, что выборы очень близки, отвечало общим интересам.

[identity profile] levrrr.livejournal.com 2012-11-08 10:07 pm (UTC)(link)
Непонятно, почему только Нейт Сильвер упоминается в числе точно предсказавших результаты выборов. Элементарный поиск в Интернете сразу даёт следующий сайт, точно предсказавший результаты во всех 50 штатах (http://elections.huffingtonpost.com/pollster/2012-ohio-president-romney-vs-obama)

А этот сайт (http://www.realclearpolitics.com/epolls/2012/president/obama_vs_romney_create_your_own_electoral_college_map.html) сделал ошибку только по Флориде, применив элементарное усреднение всех имеющихся опросов.

Так что популярность Сильвера объясняется исключительно его связями с СМИ.

[identity profile] miky-m.livejournal.com 2012-11-09 12:39 am (UTC)(link)
В принципе после второй "телевизионной дуэли" было все ясно. Но предсказать по всем колеблющимся штатам - это да, высший пилотаж. К тому же один раз в истории США Флорида уже сделала президентом того, за кого проголосовало меньше американцев по стране, а в самом штате кажется перевес был всего в 500 голосов. Радует то, что опросы на этот раз были точными.

(no subject)

[identity profile] levrrr.livejournal.com - 2012-11-09 11:50 (UTC) - Expand

(no subject)

[identity profile] dmitriy mandel - 2012-11-09 00:50 (UTC) - Expand

[identity profile] anyalev.livejournal.com 2012-11-09 12:52 am (UTC)(link)
The first and last one are priceless!

[identity profile] ripperfrvr.livejournal.com 2012-11-09 01:23 pm (UTC)(link)
>Nate Silver knows which butterfly it was."
Что за бабочка?

Page 1 of 2