avva: (Default)
avva ([personal profile] avva) wrote2012-11-13 03:45 am

о частотниках и байесианцах (математическое)

Рэндалл Мунро, более известный под именем xkcd, написал выпуск своего комикса, посвященный спору между частотным и байесовским подходами (по-английски frequentist vs Bayesian) к статистике и теории вероятности.

Пожалуй, он все же слишком несправедливо наехал на частотника - но в конце концов это всего лишь шутка; и оказалось, что его комикс уже породил несколько интересных обсуждений в блогосфере. Отозвались корифей байесовской статистики Эндрю Гельман и корифей частотной статистики Ларри Вассерман. В комментариях у Гельмана есть немало интересного (замечательная цитата из самого Мунро оттуда: "The truth is, I genuinely didn’t realize Frequentists and Bayesians were actual camps of people — all of whom are now emailing me."). В обсуждении на HN есть несколько интересных замечаний, а также ссылка на наглядный разбор разницы между частотной и байесовской статистикой, который мне очень понравился. Отложу себе также на почитать-на-потом эссе Гельмана "Induction and Deduction in Bayesian data analysis", выглядит интересно.
spamsink: (Default)

[personal profile] spamsink 2012-11-13 02:30 am (UTC)(link)
Наглядный разбор хорош, но практика - критерий истины.

Предположим, что угадывание банки с печеньями - задача на программистском конкурсе, в котором последовательности типов банок, в т.ч. неслучайные - тестовые задания. У кого на модели нулевого порядка будет лучший процент угадываний (средний по всем заданиям, где в среднем гарантируется равномерное распределение; минимальный по "maliciously constructed" заданиям; максимальный по всем заданиям)? А то все эти споры выглядят как solutions battling for an ill-defined problem, что совершенно неконструктивно.

Edited 2012-11-13 02:53 (UTC)

[identity profile] muh2.livejournal.com 2012-11-13 09:28 am (UTC)(link)
+1

[identity profile] yenissey.livejournal.com 2012-11-13 03:48 am (UTC)(link)
вы не стали брать PGM? Там первые две-три недели дают наглядную иллюстрацию bayesian inference и позже немного bayesian learning. Правда сравнения с фреквентистами нет.

[identity profile] avva.livejournal.com 2012-11-13 06:59 pm (UTC)(link)
Нет, увы, времени нет на PGM категорически. Может, через полгода...
nechaman: (i)

[personal profile] nechaman 2012-11-13 05:38 am (UTC)(link)
Это надо же, какая я темная, вообще не знала байесовскую вероятность. Поэтому всегда смеялась над спорами - вероятно ли, что Бог существует!

[identity profile] niobium0.livejournal.com 2012-11-13 06:20 am (UTC)(link)
это самый остроумный стрип за последние полгода-год.

[identity profile] shmel39.livejournal.com 2012-11-13 06:36 am (UTC)(link)
А можете покапитанить? Я прочитал два раза, но так и не осознал, почему все так радуются. Хотя байесовские формулы помню еще =(

[identity profile] niobium0.livejournal.com 2012-11-13 06:46 am (UTC)(link)
хотел бы, но не могу. нравится, и все тут :) наверное непривычная мысль, что математики бывают и авантюристами тоже, доставляет.

я там еще углядел (возможно не существующий) намек на санкт петербургский парадокс.

[identity profile] vodianoj.livejournal.com 2012-11-13 08:14 pm (UTC)(link)
Блин, этим чувакам совсем делать нечего - взяли один неудачный комикс, подробно его разбирали и породили ещё более скучный комикс.

[identity profile] pingva.livejournal.com 2012-11-13 08:48 pm (UTC)(link)
а мы обуждали уже ML Hipster ("these skinny jeans are a perfect fit for my concentrated posterior") и Deep ML Hipster ("we're not convex any more, Toto")

Вот например:

Emo machine learners are the worst: "Blah blah blah, my life has provably unbounded regret, blah blah blah."

[identity profile] kobak.livejournal.com 2012-11-13 09:31 pm (UTC)(link)
Могу еще посоветовать на почитать потом:
http://arxiv.org/abs/quant-ph/0402015
http://arxiv.org/abs/quant-ph/0611261
http://arxiv.org/abs/quant-ph/0408058
это про-байесовские статьи одного автора (в контексте квантовой механики, но речь там про вероятности и статистику), они частично пересекаются, и я сейчас уже не помню, какая из них самая полная.

Я согласен с основным тезисом: "Probabilities are single-case, or nothing!". Но при этом в повседневной работе, когда, скажем, есть две выборки каких-то данных и нужно удостовериться, что у них разные медианы, всегда пользуюсь обычной фреквентистской статисткой и не вижу в этом никакой проблемы. Это интересный момент: есть масса аргументов о том, как плохи p-values (см., в частности, статьи по ссылкам выше), но в реальной жизни таких ситуаций не бывает.

[identity profile] helvegr.livejournal.com 2012-11-14 10:44 am (UTC)(link)
Наглядный разбор очень хороший.

[identity profile] illy-drinker.livejournal.com 2012-11-15 01:33 am (UTC)(link)
у Майкла Джордана (профессор из Беркли, а не баскетболист) есть очень хорошая лекция
http://videolectures.net/mlss09uk_jordan_bfway/