о машинном обучении
Jun. 12th, 2017 07:44 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
avva(для программистов в основном)
Райан Даль, известный в качестве создателя технологии Node.js, недавноушел в монастырь ушел на год заниматься глубинным обучением в Гугл, и по итогам этого стажерства написал довольно интересное резюме:
http://tinyclouds.org/residency/
Цитата: "I remain bullish that machine learning will transform essentially all industries and eventually improve the lives of every human. There are many industrial processes that can benefit from the smart guesses that ML provides. I believe my motivating demo will be achieved some day soon—you will watch Charlie Chaplin in 4K resolution and it will be indistinguishable from a modern movie.
That said, I've found it very difficult to build, train, and debug models. Certainly much of that difficulty is just my own inexperience, but that itself points to how much experience is needed to effectively train these beasts. My work has been focused on the easiest branch of ML: supervised learning. Even with perfect labels, developing models can be quite difficult. [...] If I use the word "working" in a subjective, gut-reaction way of describing software: Image classification seems to work robustly. Generative models barely work and are not well understood. GANs have great images, but are almost impossible to build—my experience has been that any small change to the architecture and it will just stop working. I've heard reinforcement learning is even more difficult. I can't speak to recurrent networks. [...]
The signal-to-noise ratio in papers is low. There's too much volume to keep up with. People are often not upfront about the failures of their models because conferences prefer accuracy over transparency. [...] It's an exciting time for ML. There is ample work to be done at all levels: from the theory end to the framework end, much can be improved. It's almost as exciting as the creation of the internet. Grab a shovel!"
Райан Даль, известный в качестве создателя технологии Node.js, недавно
http://tinyclouds.org/residency/
Цитата: "I remain bullish that machine learning will transform essentially all industries and eventually improve the lives of every human. There are many industrial processes that can benefit from the smart guesses that ML provides. I believe my motivating demo will be achieved some day soon—you will watch Charlie Chaplin in 4K resolution and it will be indistinguishable from a modern movie.
That said, I've found it very difficult to build, train, and debug models. Certainly much of that difficulty is just my own inexperience, but that itself points to how much experience is needed to effectively train these beasts. My work has been focused on the easiest branch of ML: supervised learning. Even with perfect labels, developing models can be quite difficult. [...] If I use the word "working" in a subjective, gut-reaction way of describing software: Image classification seems to work robustly. Generative models barely work and are not well understood. GANs have great images, but are almost impossible to build—my experience has been that any small change to the architecture and it will just stop working. I've heard reinforcement learning is even more difficult. I can't speak to recurrent networks. [...]
The signal-to-noise ratio in papers is low. There's too much volume to keep up with. People are often not upfront about the failures of their models because conferences prefer accuracy over transparency. [...] It's an exciting time for ML. There is ample work to be done at all levels: from the theory end to the framework end, much can be improved. It's almost as exciting as the creation of the internet. Grab a shovel!"
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
no subject
Date: 2017-06-12 04:54 pm (UTC)однако мне эта давка немножечко напоминает то что было уже с артифишиал интеллидженс, или в медицине с функциональным МРИ. все побежали и я побежал - стратегия иногда выигрышная, конечно.
ДМЛ впечатляет в распознавании визуальном и звуковом. пэттернс. но это там где3 можно тренировать. и на сигнале сравнительно с небольшим шумом. ирландский сеттер от бультеръера даже в приличном добавленном отличается. а не все медицинские например пэттернс тренируемы, они очень шумные, и пусть например ДМЛ начнут с простых - с рентгена легких, например. если получится, то я свой скептицизм съем с солью и перцем. а так - эти вопли про "новую революцию" только удручают. и бежать не хочется. хотя я побежал.
no subject
Date: 2017-06-12 05:20 pm (UTC)Слухи о скорой победе искусственного интеллекта над человеческим сильно преувеличены.
no subject
Date: 2017-06-12 05:22 pm (UTC)no subject
Date: 2017-06-12 05:23 pm (UTC)А вы не можете подсказать где можно толково почитать почему до сих пор не создали AI-терапевта? А то на самый поверхностный взгляд кажется что компьютер с доступом к справочным материалам и medical guidelines должен ставить диагнозы не хуже сельского врача, у которого к тому же сегодня похмелье.
no subject
Date: 2017-06-12 05:25 pm (UTC)no subject
Date: 2017-06-12 05:32 pm (UTC)все что я пока читала было настолько неубедительно что хотелось чем-то бросить в экран.
автоматическое чтение ЭКГ старее чем?? 30 лет, и введено в машинку клиническую, но все равно читает кардиолог после, а машинное чтение как бы вообще никуда не идет, хотя на мой некардиологический взгляд оно аккуратное. но дело в том что я не имею права суди не посмотрев какие-то исследования - какова аккурси машинки по сравнению с кардиологами, какой конкорданс и так далее. вроде простой вопрос, наверняка кто-то ответил уже. мне честно говоря лень смотреть. для лекции понадобится, посмотрю тогда.
зря вы так про сельского с похмельем.
диагнозы неплохо ставят даже неумные алгоритмы, не ДМЛ, причем дифференциал выдают "на ввод симптомов и тестов".
но он же очевидный. т.е. ну совсем просто. а неочевидные диагнозы машинка не ставит. ПОКА. а ставит сельский, с похмелем.
может это тоже до времени. но понимаете о чем я? для простого диагноза машинка не нужна, а сложный она не может. пока.
когда-нибудь будет как в стар треке робот диагност. тут я тоже буллиш. но пока - далеко до этого, очень. почему а ХЗ. т.е. я имею идеи кое-какие, но не уверенна что хочу подробно.
no subject
Date: 2017-06-12 05:37 pm (UTC)I'm a bot, bleep, bloop.
no subject
Date: 2017-06-12 05:53 pm (UTC)https://www.youtube.com/watch?v=Fbzk1bqAPjU
no subject
Date: 2017-06-12 06:07 pm (UTC)Но в любом случае, появление AI, равного по интеллекту человеческому -- не за горами.
Думаю, что около 2030 года будет.
Какое количество этических конфликтов это породит....
no subject
Date: 2017-06-12 06:15 pm (UTC)no subject
Date: 2017-06-12 06:32 pm (UTC)Лет 25 назад был почти такой же энтузиазм насчет neural networks. Они и сейчас никуда не делись, но так и осталось одним из направлений в ML.
Мы уже убедились, что компьютер можно научить решать общую достаточно узкую задачу лучше человека (играть в шахматы или го, например, - я помню время когда в это многие не верили), и круг таких проблем будет расширяться. И это очень круто, это во многом изменит нашу жизнь, в том числе к худшему. Тем не менее, это будет растущий набор инструментов, а не один искусственный интеллект, который будет конкурировать с нами.
Так же как и роботы сменившие ручной труд на многих производствах не полностью заменили и не заменят человека. Люди поставили роботов на конвейер потому что они там лучше справляются. Но гвозди в стену мы забиваем сами не в последнюю очередь потому, что мы знаем куда их надо забить и зачем.
no subject
Date: 2017-06-12 06:57 pm (UTC)no subject
Date: 2017-06-12 07:13 pm (UTC)Насколько я понимаю, энтузиазм там был в-общем-то по той простой причине, что это наконец-то заработало с нужной скоростью, т.к. произошло достаточное для качественного скачка количественное изменение производительности.
А так-то перцептрон был придуман ещё в 1940х годах.
> Тем не менее, это будет растущий набор инструментов, а не один искусственный интеллект, который будет конкурировать с нами.
Ну так сейчас пока нет компьютера, который может полностью проэмулировать человеческий мозг. Только малую его часть -- например, зрительную кору.
Но прогресс идёт и рано или поздно появится что-то, способное на всё более и более сложные действия.
no subject
Date: 2017-06-12 07:15 pm (UTC)no subject
Date: 2017-06-12 07:23 pm (UTC)Ну, судя по комментарию человека в самом посте -- как нейронные сети работают, мы тоже уже -- не очень =)
Но как-то строят и заставляют работать.
> В частности нейронные сети в организме сильно отличаются от "нейронным сетей" в МЛ по многим параметром (например, темпорально).
Ну так это ж эмуляция всё же....
no subject
Date: 2017-06-12 07:26 pm (UTC)LOL
https://twitter.com/Meaningness/status/846477427505164288
no subject
Date: 2017-06-12 07:31 pm (UTC)но это не будет большая проблема.
например, операционные роботы - стелф, роза примеры из десятков. их делают таки корпорации. иногда у них проблемы. иногда из-за их проблем проблемы с операцией и у больных - бывают немалые. но лайабилити лежит на больнице и враче. врач покупает свой малпрактис иншуранс через больницу, и таким образом врач соглашается использовать скажем робот Розу ( французская фирма, кстати). в каждой клинике есть комитет "аквизиций" - перед тем как начинает использоваться любой новый дивайс, он дивайс дожен быть одобрен комитетом - это 15-20 серьезных людей. если они одобрили но доктор Н. не любит Розу, не хочет на нее переучиваться, предпочитает другой робот ( робота?) - если его услуги ценят, ему купят его любимую машину. если не очень - его Чэйр ему скажет знаешь что вонюк, или переучивайся на Розу или пшел вон.
т.е. сама компания делающая розу ни в чем никогда не ответственна - если ее конечно не будут судить. в принципе могут.
т.е. разницы ососбой с роботом диагностом я не вижу, в легально-бизнес смысле.
no subject
Date: 2017-06-12 07:50 pm (UTC)no subject
Date: 2017-06-12 07:56 pm (UTC)Посмотрел. Интересно. Но там всё-таки как раз про то что "ух - скоро сделаем".
Но пока ещё нет.
no subject
Date: 2017-06-12 08:06 pm (UTC)вы искренне считаете что зрительную ахем кору эмулировали прям как в природе ?
no subject
Date: 2017-06-12 08:09 pm (UTC)Нет, разумеется. Всякое матмоделирование есть только апроксимация.
Только что это меняет, по сути? Функция выполняется? Да. В чём тогда загвоздка?
no subject
Date: 2017-06-12 08:10 pm (UTC)no subject
Date: 2017-06-12 08:12 pm (UTC)Функция выполняется? Да?????
Date: 2017-06-12 08:13 pm (UTC)Re: Функция выполняется? Да?????
Date: 2017-06-12 08:14 pm (UTC)