нейронные сети имени козьмы пруткова

В компании OpenAI создали новую модель (нейронную сеть) для распознавания образов, очень крутую, которая в частности сама научилась сопоставлять визуальную и текстовую информацию. На определенных уровнях нейронной сети есть "нейроны", которые, похоже, абстрагируют понятие - например - "яблоко", неважно, это картинка яблока или слово 'яблоко' на бумаге.

Оказалось, что эту модель можно "атаковать" - т.е. подобрать такие изображения, на которых она заведомо неправильно отвечает, причем так, как мы хотим - особенно элегантным способом.

Очень смешно.



Если на клетке слона прочтешь надпись "буйвол", не верь глазам своим.