avva | о черных ящиках

Эта фотография сделана фундус-камерой (специальной камерой, фотографирующей глазное дно). Она из прошлогодней статьи, в которой исследователи из Гугла показали, что методами глубокого обучения можно предсказывать некоторые факторы риска сердечных заболеваний на основании таких вот снимков.

Но в процессе работы над данными они также попробовали предсказать другую информацию о больных, например, возраст и пол. И оказалось, например, что их нейронная сеть может с точностью 97% предсказать, это глазное яблоко мужчины или женщины, при том, что врач-офтальмолог не может этого сделать вообще (точность 50-50).

Это очень яркий пример того, как современные методы глубокого обучения дают нам добиться потрясающих результатов, но часто не дают нам возможности понять и объяснить их. На картинке выделены зеленым цветом те участки фотографии, которые нейронная сеть особенно активно использовала для установления пола - это мы можем сделать. Но что именно в этих участках указывает на мужчин или на женщин, исследователям установить не удалось, несмотря на довольно интенсивную работу в сотрудничестве с медиками-специалистами в данной области.

Так это и осталось на данный момент черным ящиком. Дай ему фотографию - он тебе скажет пол и возраст с большой точностью, а как - никто не знает.