software 2.0

[avva]

Андрей Карпати, известный специалист в области глубокого обучения, написал небольшую заметку Software 2.0, заслуживающую прочтения, мне кажется.

Карпати пишет, что новое поколение нейронных сетей, которое совершило и продолжает совершать гигантский рывок по своим возможностям с 2012 года, можно считать не столько полезной техникой, сколько новым видом программирование. В отличие от обычного программирования, Software 1.0, в котором программист дает компьютеру точную и обычно весьма сложную по своей иерархии последовательность инструкций (алгоритм), в Software 2.0 мы начинаем с многочисленных примеров того, как наша программа должна себя вести, а потом находим "программу" (являющуюся по сути набором весов для всех узлов нейронной сети) в виде достаточно хорошего приближения к этой цели. Конечно, далеко не все задачи поддаются такому способу решения, по крайней мере сейчас, но, как пишет Карпати,

"It turns out that a large portion of real-world problems have the property that it is significantly easier to collect the data than to explicitly write the program."

(например, намного легче собрать несколько десятков тысяч фотографий кошек и собак, и обозначить для каждой правильно, кошка на ней или собака, чем написать алгоритм - иерархическую программу в смысле Software 1.0 - который "смотрит" на картинку, анализирует ее и решает, кошка там или собака)

Название "Software 2.0" это всего лишь лозунг, и я не испытываю к нему сильных чувств; но то, что Карпати смотрит на это, как на совершенно новый и отдельный способ программирования, позволяет ему кратко и убедительно рассказать как о его достоинствах по сравнению с "Software 1.0", так и о недостатках. Не буду пересказывать здесь целиком и так краткую заметку Карпати, но отмечу отдельно меткую характеристику одного из недостатов - того, что нейронные сети часто дают нам лучшее решение, чем другие методы, но намного менее "прозрачное" и поддающееся объяснению:

"Across many applications areas, we’ll be left with a choice of using a 90% accurate model we understand, or 99% accurate model we don’t."

Именно этот недостаток вызывает в последние годы опасения некоторых исследователей насчет опасности того, что более глубокие знания и понимания их конкретных областей сменяются на, иронически говоря, более поверхностное использование глубоких нейронных сетей, которое дает лучшие практические результаты, но тормозит теоретическое понимание темы.

Comments

[dmpogo.livejournal.com]

Именно этот недостаток вызывает в последние годы опасения некоторых исследователей насчет опасности того, что более глубокие знания и понимания их конкретных областей сменяются на, иронически говоря, более поверхностное использование глубоких нейронных сетей, которое дает лучшие практические результаты, но тормозит теоретическое понимание темы.

Этот вопрос уже поднимался и где аналитические методы сменялись компьютерным моделированием при помощи Software 1.0. И в этом смысле Software 2.0 менее опасна чем Software 1.0, поскольку в большей степени избегает вкладывания интерпретации в самом начале, и более похоже просто на сбор данных, чем собственно наш мозг на первой стадии познания и занимается

[muh2.livejournal.com]

Есть шанс, что разовьется компьютерная нейрология из которой будут черпать тематические знания.

Чтение предмета по потрохам нейронных сетей.

[vitus_wagner]

> "Across many applications areas, we’ll be left with a choice of using a 90% accurate model we understand, or 99% accurate model we don’t."


Что-то это мне напоминает конец XVI века, когда модель солнечной системы Коперника, более простая содержательно, давала худшие предсказания положения планет на небосводе чем модель Птолемея с хитровывернутыми эпициклами.

Или борьбу фиксистов с мобилистами в геологии, завершившуюся уже на моей памяти.

То есть ситуация когда эмпирическая модель, которая нас не приближает к пониманию устройства мира дает лучшее согласие с экспериментом, чем модель которая понятна - далеко не новость в истории науки.

[dims12.livejournal.com]

"Программирование", ИМХО, это выбор гиперпараметров и, в первую очередь, топологии сети. А подбор весов -- это уже исполнение программы.

[sunch.livejournal.com]

Делов-то - загрузить в машину примеры проблем, где у нас есть глубокое теоретическое понимание темы, и пусть выводит нам с 99% точностью новые понимания!

(шутка. По крайней мере пока у нас нет AGI - шутка)

[livelight]

Забавный был бы вираж эволюции.
Сначала возникают нейронные сети.
Потом они осваивают речь, линейный дискурс, аристотелеву логику, системы логического вывода и прочую теорему Гёделя.
Потом они пишут линейные, чёткие и логичные программы.
Потом делают (в том числе с помощью этих программ) нейронную сеть.
Которую потом долго и мучительно обучают линейному дискурсу, чтобы она логически выводила теории.

[999999.livejournal.com]

у нас может быть на 90% точная мифология (ну, о всяких приложениях где что-что что-то синтаксис дискурс семантика) (а что, у греков очень точная) или на 99% эффективная естественная наука, т.е. не Вы ли кидали ссыль где информатик говорит что теперь модель (или он говорил о сети; но модель тоже) объект научного исследования
(я каску нашел)

[spamsink]

Пока software 2.0 не станет устойчиво к adversarial examples, оно будет годно преимущественно (или только) для игрушек.

[(Anonymous)]

Ой ну прямо. Вот возьмите свой, прямо скажем, мозг. Он что, устойчив к adversarial examples? Хрена лысого он устойчив, любая оптическая иллюзия тому примером, тысячи их. Однако как-то справляется же (я надеюсь).

[ninazino.livejournal.com]

То есть? Какие игрушки, когда сейчас все распознавание образов на этом построено?

[avva.livejournal.com]

Software 1.0 неустойчиво к багам, дыркам в security и троянам, и ничего, почему-то вся цивилизация на нем висит.

[akor168.livejournal.com]

На эти самые примеры на самом деле не стоит обращать слишком много внимания. Во-первых, они получаются не случайной флуктуацией, а специальным хаком-анализом текущей структуры сети, то есть зависят даже от самой сети. То есть это очень-очень специфично. А во-вторых, это же поиск уже в том, что система делает неправильно. Понятно, что если что-то есть неправильно, то даже логически из этого можно вывести и кучу другого неправильного. Но что в этом удивительного-то?

Ну, а в третьих, насколько я понимаю, сети можно тренировать и с учетом устойчивости к подобным штукам. То есть сеть за счет дополнительного вклада ресурсов может быть сделана куда более робастной, если это действительно надо.

[ninazino.livejournal.com]

Распознавание речи, например, вообще невозможно более-менее адекватно запрограммировать, уже очень давно использовались Hidden Markov Models, которые тоже обучались, а не «программировались», и ничего. Сейчас, с нейронными сетями, распознавание переживает бум, и никого не волнует тот факт, что веса нейронам приписываются не вручную:))

[ninazino.livejournal.com]

ЗЫ: по поводу «знания» как основы эффективного программирования распознавания речи ходит апокрифическая байка, что Йелинек якобы говорил: аккуратность распознавания вырастает всякий раз, когда я уволю парочку лингвистов.:))

[mr-k-bx.livejournal.com]

Да.

[jmyshanya.livejournal.com]

Интересно, скоро ИИ натаскают на решение проблем Смейла?

[darth-mozg.livejournal.com]

Как метод решения этой проблемы - будем учить "Software 2.0" не решать проблему, а учить "Software 2.0" учить нас решать проблему.
Или как в новой книге Пелевина - писать романы о том как решить проблему.

[gul-kiev.livejournal.com]

Видимо, это будут два разных направления: строить модели и понимать их.

Физики, например, не удовлетворятся "идеальным предсказателем", им нужно понимание. Потому что понимание даёт возможность решать более широкий класс задач: не только "каким будет результат этого эксперимента?", но и "какую установку нужно построить для получения нужного результата?" и "возможно ли получение такого результата какой-либо установкой?".
Понимание принципов действия лекарств в медицине помогает не только вылечить больного (это можно и без понимания, и даже с большей эффективностью), но и сократить количество экспериментов и придумать новые лекарства.

Отсутствие понимания может привести к нежелательным последствиям в долгосрочной перспективе, ведь "software 2.0" не может это учитывать. Например, если ориентироваться исключительно на спрос на продукты питания без понимания причин этого спроса, то постепенно скатимся на наркотики. Если оценивать лишь привлекательность самолёта, то будут авиакатастрофы. Если оценивать популярность искусства, то оно перестанет быть искусством. Если оценивать коммерческую выгоду, будет исчерпание полезных ископаемых и загрязнение окружающей среды.
Собственно, некоторые их этих тенденций уже и так есть, но часто их пытаются предотвратить законодательно. Если не будет понимания механизмов, то будет невозможно и противодействовать нежелательным тенденциям.

[mfi.livejournal.com]

В вопросе - ответ. Именно медицина. Основная цель - лечить. Не понимаем, но лечит - используем. Что никак не отменяет теорий, позволяющих двигаться дальше. Софтостроительство - инжинерия. Работает - берем. Нашли нормальные алгоритмы - тоже в дело.

[yalexey.livejournal.com]

Человек намеренно игнорирует функциональное программирование?

[avva.livejournal.com]

Не очень понимаю, при чем тут оно, если честно.

[ivan (from livejournal.com)]

BET, или «bounded exhaustive testing» – это метод тестирования компьютерных систем. Через них прогоняют все возможные комбинации входных данных (понятно, меньше какой-то заданной размерности, иначе процедура не кончится никогда). Такой способ поиска багов глуповат, но надежен. Он требует избыточных мощностей и приучает не экономить ресурсы.
RCP («random code programming») – это близкое по идеологии, но совершенно иное по целям и результатам направление в программировании. Здесь мы генерируем не случайные комбинации входных данных, а случайные последовательности самого программного кода. А потом прикладываем к этому коду принципы «exhaustive testing».
Это как с обезьяной, способной за миллион лет настучать на машинке «Войну и мир» – только в случае с RCP мы отводим миллиард лет, делаем обезьяне серьезный оверклок воткнутым в задницу высоковольтным проводом – и ожидаем, что она напишет нам не «Войну и мир», а программу, способную написать «Войну и мир».
Качество задачи меняется – поэтому нужна очень высокая производительность и большие объемы памяти. Сегодня с этим проблем нет: мощности избыточны. Достаточно задать требования к выходным секвенциям, и мы рано или поздно получим программу, которая будет делать то, что нам угодно.
Мы, правда, не будем знать, как именно она работает – и в этом главная издержка метода.
Процесс можно разбить на любое требуемое количество уровней – и, главное, заставить его самоорганизовываться со все большей и большей сложностью. Это существенно, потому что после какого-то момента от человеческого вмешательства все равно будет мало толку.
Формирование случайного кода похоже на эволюцию первичной протоклетки в высших позвоночных – только ускоренную в миллиарды раз. Разница в том, что количество порождаемых случайным кодом тупиков и уродцев будет куда больше, чем может себе позволить природа.
Это как семечко волшебной фасоли – его достаточно посадить в землю в полнолуние, и оно начинает расти, бешено делясь на сотни и тысячи рвущихся к небу побегов. Скручиваясь, эти побеги образуют огромную спиральную колонну – и та в конце концов доходит до неба. RCP-фасоль растет во все стороны сразу, но мы отбираем из этой безмерности только нужный нам мост к облакам.
Сравнение с семенем, пожалуй, самое удачное – технология random code позволяет вырастить безобразное, избыточное, безумное, корявое, нелепое – но плодоносящее дерево. Достаточно знать, куда и как посадить семечко.

Пелевин, iPhuck 10

[urod.livejournal.com]

Я как-то пытался методом simulated annealing создать программу, которая выдаёт простые числа. Для тренировки они получали первые 10 простых чисел, но сколько они ни эволюционировали, 11-е простое число не находили. По крайней мере за те несколько минут, что у меня хватило терпения ждать.

[serezha.livejournal.com]

оверлорды, оверлорды, а я маленький такой...

[urod.livejournal.com]

Для шибко умных - статья на тему.

https://arxiv.org/abs/1602.04938

[kray-zemli.livejournal.com]

Дрочево на Software 2.0 -- вообще характерное проявление симптомов клинического наукодрочерства. Эти люди любят строить утопические прогнозы, ссылаясь на разные новые научные достижения. Главный аргумент у них -- прошлые успехи науки, позволившие сделать разные ништяки. Вот только они забывают, что низковисящие плоды в научном мире давно собраны, новые исследования требуют всё больше вложений и дают всё меньше выхлопа. Кроме того, ссылаясь на прошлые успешные достижения, они забывают о существовании многих неуспешных и потому забытых исследований. В то время как среди новых исследований далеко не всё ещё проверено временем, т.е. ещё неясно, получится ли перейти от лабораторной инсталляции к экономически оправданному промышленному масштабу.

[mercibo.livejournal.com]

В пору развивать новую дисциплину "изучение и интрепретация системы весов нейронных сетей" (https://mercibo.livejournal.com/96966.html). Чем не поле для исследований? Если вы имеете систему, решающую данную задачу намного лучше, чем все известные алгоритмы, почему бы не заняться изучением вопроса "как именно она это делает?" Неужели это не под силу человеческому разуму?