глубинное обучение

[avva]

Вопрос к специалистам в deep learning (это про программирование):

Я хотел бы на следующей неделе начать курс серьезного изучения DL, желательно какой-нибудь MOOC или другой курс, где есть четкое разделение на лекции, хорошие домашние задания итд. - чтобы структурировать процесс. Хотелось бы что-то, что не просто показывает, как пользоваться существующим фреймворком, а дает теоретическое понимание происходящего, но вместе с тем учит реально пользоваться тоже. Посмотрев на рекомендуемые сейчас материалы, я колеблюсь между следующими:

1. Новый курс Andrew Ng "Deep Learning" на Coursera в пяти частях (не путать с его же классическим курсом Machine Learning). Как раз 1 января начинается новый поток. Кажется, он существует с лета.

2. Станфордский курс Андрея Карпати cs231n. У него выложены видео всех лекций, слайды, задания итд. и можно попробовать самому проучиться сквозь него. Выглядит более фокусированным на распознавании образов и конволюционных сетях, но другие темы вроде бы тоже обсуждаются подробно.

Буду рад советам по поводу этих курсов и какой из них лучше выбрать, или ссылки на другие ресурсы, если вы их очень рекомендуете. У меня есть знакомство с ML и основными методами (из старого курса того же Andrew Ng), но реального опыта работы нет. Спасибо!

P.S. Для тех, кто ищет курс, дающий хорошее практическое введение: отмечу, что мнгоие хвалят, и наверное заслуженно, курс fast.ai ("Practical Deep Learning for Coders"). Мне бы хотелось понять теорию тоже, пусть и не на самом глубоком уровне, но серьезно, поэтому он мне не очень подходит).

Comments

[infl1ght.livejournal.com]

Перевод convolution neural net на русский уже устоялся и звучит как "свёрточная нейронная сеть"

[avva.livejournal.com]

спасибо.

[deep-econom.livejournal.com]

вы думаете про это знаете, может народу пригодится

http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение_(курс_лекций%2C_К.В.Воронцов)

хорошие лекции

Теория обучения машин (machine learning, машинное обучение) находится на стыке прикладной статистики, численных методов оптимизации, дискретного анализа, и за последние 50 лет оформилась в самостоятельную математическую дисциплину. Методы машинного обучения составляют основу ещё более молодой дисциплины — интеллектуального анализа данных (data mining).

В курсе рассматриваются основные задачи обучения по прецедентам: классификация, кластеризация, регрессия, понижение размерности. Изучаются методы их решения, как классические, так и новые, созданные за последние 10–15 лет. Упор делается на глубокое понимание математических основ, взаимосвязей, достоинств и ограничений рассматриваемых методов. Отдельные теоремы приводятся с доказательствами.

[avva.livejournal.com]

Нет, не знаю, я вообще про русскоязычные материалы в этой теме даже не задумывался, вся профессиональная деятельность всю жизнь по-английски. Спасибо, пусть будет ссылка, может пригодится людям.

[ushastyi.livejournal.com]

Мне понравился курс Хинтона: https://www.coursera.org/learn/neural-networks

Он дает хорошую теоретическую базу, без которой в deep learning, как мне кажется, делать нечего. Задания там учат "чувствовать" как работают сети, какие параметры на что влияют и т.д. Возможно курсы Нг и Карпати не хуже, не смотрел.

[avva.livejournal.com]

Я думал об этом, но проблема в том, что наиболее интересные темы последних лет у Хинтона не отражены, потому что курс старше их. Мне особенно хочется понять на хорошем уровне convnets (на уровне ключевых слов или обзора я их и так понимаю).

[kobak.livejournal.com]

Курс действительно несколько подустарел, но послушать Хинтона всегда приятно.

[tasmanj.livejournal.com]

Советую второй пункт вашего списка: Карпаты, cs231n. Но он не очень теоретический всё же. Задания делать стоит. Есть ещё cs224d, он про deep learning в NLP.

[avva.livejournal.com]

Спасибо! Вы его проходили вживую или тоже по записям (не отвечайте, если вопрос вдруг слишком личный)?

Из теоретических курсов по ML (не DL) вроде неплохой этот, кстати:
https://www.class-central.com/mooc/7231/edx-machine-learning

[tasmanj.livejournal.com]

Нет, вживую не проходил, смотрел в записи. И, к стыду, не все задания делал. Всё хочу доделать.

Если вам нравится проходить курсы «в компании» могу ещё посоветовать slack-канал open data science (русскоязычное сообщество по ds, форма на добавление goo.gl/abmjom)– там ребята сейчас совместно cs231n проходят (но не очень активно, правда. И они уже где-то в середине, наверное, но единомышленников найти можно и вопрос задать тоже)

[avva.livejournal.com]

Спасибо!

[tasmanj.livejournal.com]

Хочу ещё добавить, что это не только личная рекомендация. Практически все из тех, кого я знаю и кто потратил время/усилия на прохождения курса - все они хорошо о нём отзывались.

[avva.livejournal.com]

А вы смотрели лекции 2017 года или прошлого, 2016? Меня немного смущает, что в ФБ мне написали

"Карпати жжет, но лучше смотреть те видео которые он сам читает, в последний год его курс читают другие ребята, часть из них сильно слабей."

и в ответ на вопрос о подробностях

"я смотрел последний год, одну из лекций пришлось пересмотреть с карпати тк было непонятно, и девушка которая читала этот кусок лекции кажется сама чуть плавала в теме. С карпати стало все сильно понятней, плюс он все время приводит примеры из реальной жизни из своего опыта, а рассказать ему есть что.
Лекции самого карпати нужно поискать по cs231 просто на youtube там они есть...
Но чем хороши лекции последнего года так это тем что они очень современные, типа в марте вышел mask-rcnn, в лекции которая выложена в июле про него рассказывается"

[tasmanj.livejournal.com]

Я смотрел лекции с 2016 года, которые вёл сам Карпаты. Он действительно хорошо объясняет. Сравнить с новым выпуском не могу. Слышал, что там обновили курс и добавили новые темы

[lelia-br.livejournal.com]

я до deep lerning не дошла, т.к. еще борюсь с machine learning. можете порекомендовать практический курс? а то я сделала стэнфордский курс эндрю нг и не особо понимаю как и чем пользоваться для разных задач..

[e2pii1.livejournal.com]

> Выглядит более фокусированным на распознавании образов и конволюционных сетях, но другие темы вроде бы тоже обсуждаются подробно.


Так Deep Learning сети же вроде все конволюционныe ? Какие тогда "другие темы" ?

[avva.livejournal.com]

вовсе нет. Deep learning = есть больше одного hidden layers. Конволюционные в основном для распознавания изображений, а другие использования чаще нет.

[bigbaadabum.livejournal.com]

Я тоже искал курс, с фокусом на понимание основ и некой структурой.

MOOC y Dr. Yaser Abu-Mostafa, Caltech.
http://work.caltech.edu/telecourse.html

очень помогло для меня что фокус на тренировке физической интуиции методов,

видео лекции на ютубе, книжка,был на edx.

только это не deep learning, а основы машинного обучения и области.

Хороший. Советую.

[avva.livejournal.com]

Да, я знаю этот курс и солидарен с вашим мнением о нем. Присоединяюсь к рекомендации для тех, кто хочет хороший курс machine learning.

[kray-zemli.livejournal.com]

А мне бы наоборот -- дельную книжку. Не люблю видеолекции

[tasmanj.livejournal.com]

Попробуйте посмотреть на http://www.deeplearningbook.org/

[yakov-a-jerkov.livejournal.com]

Что касается MOOC. Я сейчас прохожу так называемое Machine Learning Nonodegree Program на Udacity.

Там последняя часть -- "Deep Learning", я как раз на этом этапе нахожусь. Мне, в принципе, именно эта часть нравится больше, чем другие, мне кажется, что она лучше сделана. Теория там тоже объясняется немного, но не глубоко, конечно. Частные производные и Chain Rule, как минимум упоминаются :)

На Udacity также есть отдельное nanodegree по deep learning -- https://www.udacity.com/course/deep-learning-nanodegree-foundation--nd101 Но я о нем ничего сказать не могу, не знаю.

[yakov-a-jerkov.livejournal.com]

P.S. Кстати, вот эта страничка -- http://neuralnetworksanddeeplearning.com/chap1.html -- мне очень помогла в самом начале понять, что вообще происходит. Там очень просто все описано, но со всей математикой.

[avva.livejournal.com]

Да, Нильсен вообще молодец, очень хорошо объясняет все, за что берется. У него где-то есть введение в блокчейн и биткоин, потрясающе ясное.

[0x001.livejournal.com]

Nando de Freitas, Deep Learning, курс в Оксфорде:

https://www.youtube.com/watch?v=PlhFWT7vAEw&index=16&list=PLE6Wd9FR--EfW8dtjAuPoTuPcqmOV53Fu

[avva.livejournal.com]

Ух ты, этого еще не видел. Спасибо, посмотрю!

[vieni.livejournal.com]

Присоединяюсь! Очень хороший курс. А еще, на ютубе можно в полтора раза убыстрить лектора.

[akor168.livejournal.com]

Тут надо сделать замечание, что очень важно отслеживать когда был создан\записан тот или иной курс. Потому что многие уже СТАНДАРТНЫЕ вещи могли еще не существовать два-три года назад. Но с другой стороны, многие же вещи как придуманы полвека назад, так и остаются без изменений.

[repliki.livejournal.com]

Теоретического понимания там ни у кого нет (намедни на NIPS, их главной конференции, паны дрались https://medium.com/@Synced/lecun-vs-rahimi-has-machine-learning-become-alchemy-21cb1557920d), а реально пользоваться без приличной видеокарты или хотя бы AWS невозможно. Если что, я за Карпати, но это потому что новый курс Нг я вообще не знаю.

[avva.livejournal.com]

Спасибо. В Станфорде, кстати, сейчас курс замутили как раз о том, что ничего не понимаем: https://stats385.github.io/

[misha-b.livejournal.com]

Я не рекомендовал бы этот курс для людей не знакомых хорошо с предметом.

[avva.livejournal.com]

Согласен, поэтому я его для себя не рассматриваю (кроме того, что они вроде и не выкладывают лекции).

[avva.livejournal.com]

Спасибо, выглядит интересно.

[(Anonymous)]

Тут какой-то намек на понимание (ищут фазовые переходы в нейронке) https://www.youtube.com/watch?v=bLqJHjXihK8

[kuzia-aka-zmey.livejournal.com]

Можно я отдельно поблагодарю всех предыдущих комментаторов за ссылки.
И вам тоже спасибо за тему. Если будет время можно будет попробовать понять хотя бы базу этого направления ИИ.

[(Anonymous)]

Я прохожу сейчас курс Andrew Ng и могу его порекомендовать. Меня вначале отпугнула манера Эндрю разжевывать и упрощать материал, но это можно скомпенсировать скоростью прохождения курса - я сейчас на четвёртой части, после примерно месяца обучения.

[chaource.livejournal.com]

Я изучаю курсъ Andrew Ng. Пока что прошел 6 недѣль лекцiй. Впечатленiе довольно смѣшанное - объясненiя неплохи, но иногда слишкомъ поверхностны, а упражненiя по собственно программированiю пока на 2/3 безполезныя. Курсъ сдѣланъ имъ слишкомъ легкимъ, подсказки на каждомъ шагу, такъ, чтобы даже слабые студенты не завалили. Но, какъ первое знакомство съ DL, это неплохо. Надѣюсь, что другiе курсы окажутся болѣе глубокими, а пока что я размышляю, слѣдуетъ ли продолжать выполнять всѣ упражненiя, или же просто прослушать быстро всѣ лекцiи и идти дальше. (Сертификатъ Курсэры мнѣ не нуженъ, я уже въ проектѣ, гдѣ могу начать работать по темѣ DL, если что-то полезное выучу изъ этихъ курсовъ.)

[avva.livejournal.com]

Спасибо!

[barmaglot0.livejournal.com]

На данный момент я сдал 3 курса Ng'a из 5, мне нравится.
Конечно, изложение могло бы идти быстрее (например, в первом курсе Ng раз десять повторяет "если вы не знаете, что такое производная, то ничего страшного"). Задания про программированию в курсе -- это дописывание к существующему коду нескольких строчек (насколько я знаю, в курсе Ng по ML задания такого же типа). Но, с другой стороны, абсолютно все вопросы, которые он затрагивает, важны. Судя по моему опыту работы с ML, в курсе Ng'а нет лишних тем.

[mikhaelo.livejournal.com]

что выбрал автор, если не секрет?

PS. я думаю присоединиться к курсу DL на коурсере

[photo-spoiler.livejournal.com]

А оно надо? Пока вы будете себе парить мозг этой ахинеей, бубль глядишь, и сдуется )