о ии-риске
Jun. 9th, 2022 07:40 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
avvaЭлиезер Юдковский написал подробный отчет о том, как он на данный момент видит вопрос экзистенциального риска от сильного ИИ (AGI, Artificial General Intelligence, искусственный интеллект, сравнимый с человеческим): AGI Ruin: A List of Lethalities
Интересный и довольно депрессивный документ.
(Он, пожалуй, предполагает знакомство с основными аргументами Юдковского о том, как развитие сильного ИИ угрожает существованию человечества. Об этом можно почитать в вики-статьях https://en.wikipedia.org/wiki/Existential_risk_from_artificial_general_intelligence и https://en.wikipedia.org/wiki/AI_alignment.)
У меня нет твердого мнения ни о том, когда ожидать появление сильного ИИ, ни о том, насколько это опасно с точки зрения проблемы согласования (AI alignment). Я не думаю, что это надуманные проблемы; я думаю, что это потенциально очень опасные проблемы, степень риска от которых очень трудно оценить (и в этом заключается значительная часть риска).
Несколько контраргументов к пессимизму Юдковского можно прочитать в комментариях к его записи; я бы отдельно отметил также мнение Носталгебраиста (опять-таки, остаюсь без собственного твердого мнения).
Интересный и довольно депрессивный документ.
(Он, пожалуй, предполагает знакомство с основными аргументами Юдковского о том, как развитие сильного ИИ угрожает существованию человечества. Об этом можно почитать в вики-статьях https://en.wikipedia.org/wiki/Existential_risk_from_artificial_general_intelligence и https://en.wikipedia.org/wiki/AI_alignment.)
У меня нет твердого мнения ни о том, когда ожидать появление сильного ИИ, ни о том, насколько это опасно с точки зрения проблемы согласования (AI alignment). Я не думаю, что это надуманные проблемы; я думаю, что это потенциально очень опасные проблемы, степень риска от которых очень трудно оценить (и в этом заключается значительная часть риска).
Несколько контраргументов к пессимизму Юдковского можно прочитать в комментариях к его записи; я бы отдельно отметил также мнение Носталгебраиста (опять-таки, остаюсь без собственного твердого мнения).
Давайте надуем чудовище и станем его бояться
Date: 2022-06-09 07:57 pm (UTC)ИИ именно тем и хорош, что принципиально не сравним с человеческим. Риск сосуществования с ним не больше риска существования вообще, которое существование происходит в сложно устроенной вселенной и иногда прерывается по стечению различных факторов. Среди оценок устройства вселенной есть и такое: мы проживаем внутри сверхразумной сложной машины, сами являясь одной из ее частей. Понять и оценить же цели и задачи Вселенной мы можем не более чем муравей (с его нервной системой) в состоянии оценить цели и задачи проходящего мимо муравейника человека.
no subject
Date: 2022-06-10 01:19 am (UTC)