о ии-риске
Jun. 9th, 2022 07:40 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
avvaЭлиезер Юдковский написал подробный отчет о том, как он на данный момент видит вопрос экзистенциального риска от сильного ИИ (AGI, Artificial General Intelligence, искусственный интеллект, сравнимый с человеческим): AGI Ruin: A List of Lethalities
Интересный и довольно депрессивный документ.
(Он, пожалуй, предполагает знакомство с основными аргументами Юдковского о том, как развитие сильного ИИ угрожает существованию человечества. Об этом можно почитать в вики-статьях https://en.wikipedia.org/wiki/Existential_risk_from_artificial_general_intelligence и https://en.wikipedia.org/wiki/AI_alignment.)
У меня нет твердого мнения ни о том, когда ожидать появление сильного ИИ, ни о том, насколько это опасно с точки зрения проблемы согласования (AI alignment). Я не думаю, что это надуманные проблемы; я думаю, что это потенциально очень опасные проблемы, степень риска от которых очень трудно оценить (и в этом заключается значительная часть риска).
Несколько контраргументов к пессимизму Юдковского можно прочитать в комментариях к его записи; я бы отдельно отметил также мнение Носталгебраиста (опять-таки, остаюсь без собственного твердого мнения).
Интересный и довольно депрессивный документ.
(Он, пожалуй, предполагает знакомство с основными аргументами Юдковского о том, как развитие сильного ИИ угрожает существованию человечества. Об этом можно почитать в вики-статьях https://en.wikipedia.org/wiki/Existential_risk_from_artificial_general_intelligence и https://en.wikipedia.org/wiki/AI_alignment.)
У меня нет твердого мнения ни о том, когда ожидать появление сильного ИИ, ни о том, насколько это опасно с точки зрения проблемы согласования (AI alignment). Я не думаю, что это надуманные проблемы; я думаю, что это потенциально очень опасные проблемы, степень риска от которых очень трудно оценить (и в этом заключается значительная часть риска).
Несколько контраргументов к пессимизму Юдковского можно прочитать в комментариях к его записи; я бы отдельно отметил также мнение Носталгебраиста (опять-таки, остаюсь без собственного твердого мнения).
