Ни о какой безапелляционности в моих высказываниях не может быть и речи!

Людям, которые не понаслышке знают про дырки в секьюрити и как они устроены (buffer overruns, exploits и все такое) будет очень интересно прочитать подробный отчет Anthropic о их новой модели Mythos, с помощью которой они нашли тысячи уязвимостей в опен-сорс проектах за последние пару месяцев (Антропик не собирается пока что предоставлять широкой публике доступ к Mythos).

В тексте отчета подробно разбирают несколько багов. Возьмите для примера zero-day уязвимость в OpenBSD, которая позволяла крашнуть любой сервер OpenBSD, подключенный к интернету. Баг находился в tcp-input.c, файле обработки TCP-пакетов, этот файл обсматривали и проверяли на предмет уязвимостей десятки или сотни глаз и автоматических программ-анализаторов за последние десятки лет; тем не менее за 27 лет этот баг не обнаружили. Он довольно хитроумно соединяет два разных недочета в разных местах в коде, позволяющие с одной стороны ввести отрицательный номер пакета (бессмысленно, но в том конкретном месте не опасно), а с другой сделать его отрицательным и таким большим по модулю, чтобы сработал 32-битный overflow, и код ядра запутался, одновременно удаляя единственную запись в связном списке и добавляя новую. Попытка писать по NULL-указателю - сервер капут.

Теперь смотрите какое дело. В файле tcp-input.c больше 4000 строк кода, и он занимается кучей других вещей, кроме менеджмента списка "SACK-дырок", в котором найден этот баг. Но предположим, кто-то посадил бы меня за исходники и сказал: "я подозреваю, что в этом файле есть уязвимость, связанная с SACK-информацией в приходящих пакетах, которой можно воспользоваться. Посмотри, можешь ли ты ее найти; не забывай проверить все обычные места, где прячутся такие баги - edge cases структур данных, отрицательные значения числовых типов, overflow, overrun буферов итд. итп." Нашел бы я тогда за день-два-три этот баг? Вполне возможно, что нашел бы.

Ни у кого нет бюджета и мотивации платить много денег мне или другим компетентным программистам, чтобы они проводили кучу времени за очень скрупулезным обследованием конкретных кусков кода - не просто OpenBSD, не просто ядро OpenBSD, не просто сетевой код ядра OpenBSD, не просто TCP-опции входящего пакета, а конкретно SACK-дырки TCP-потока - при том, что неизвестно, есть там уязвимость или нет.

Но нет никакой проблемы запустить один достаточно умный (может, не AGI, но для этих целей достаточно умный) ИИ-агент, чтобы он разобрал по частям файл tcp-input.c и построил программу проверки из 10-20 отдельных частей, одна из которых SACK-дырки. И чтобы он потом запустил 10-20 отдельных ИИ-агентов, каждому из которых сказал смотреть на свою часть и искать там уязвимость. И если они достаточно умные - а в Claude Mythos этот порог, очевидно, перейден - тот из них, кому поручили на SACK-дырки смотреть, найдет этот баг. А остальные 19 сожгут зря немного токенов, ничего страшного (и не думайте, что они нагаллюционируют несуществующие баги и займут зря ваше время - дополнительный агент-судья с этим неплохо справится).

Если у вас есть компетентный программист, который может компетентно разобрать один файл исходников, то у вас нет миллиона компетентных программистов, которые могут компетентно разобрать миллион файлов исходников. Но если у вас есть компетентный ИИ-агент, который может разобрать один файл, то у вас есть миллион компетентных ИИ-агентов, которые могут разобрать миллион файлов. Важность этого обстоятельства, мне кажется, люди до сих пор очень плохо понимают.

Дарио Амодей, CEO Антропик (компании, к-я выпускает ИИ Клод):

"Меня удивляет, что мы, на мой взгляд, так близки к тому, чтобы эти модели достигли уровня человеческого интеллекта, и при этом в обществе, похоже, нет широкого осознания того, что вот-вот произойдёт. Как будто на нас надвигается цунами — оно так близко, мы уже видим его на горизонте, — и тем не менее люди придумывают объяснения вроде: «Да нет, это не цунами на самом деле. Это просто обман зрения».

И я думаю, что вместе с этим не возникло и общественного осознания рисков. А значит, правительства не предприняли мер для их устранения. Существует даже идеология, согласно которой нужно просто ускоряться как можно быстрее. И я понимаю преимущества этой технологии — я написал «Машины любящей благодати», — но, на мой взгляд, не произошло должного осознания рисков этой технологии, и уж тем более не было предпринято никаких действий."

месяц назад на подкасте у Nikihl Kamath (21:00)

Ирина Розенблюм дала ссылки на две истории про сирены и убежища, обе написаны с неделю назад. Процитирую полный текст. Если еще есть понравившиеся в этом жанре, киньте ссылки, пожалуйста.

Варвара Турова:

"Один из соседей, Дан, попросил присмотреть за собачкой, а то вдруг сирена, а собачка одна. Оставил ключ в потайном месте. Забрала собачку, погуляла, покормила, поиграла, и случайно захлопнула дверь его квартиры. Внутри квартиры остался ключ от нее, собачка, и мой телефон. Попыталась открыть дверь своим ключом. Попыталась открыть дверь невидимкой. Попыталась открыть дверь банковской карточкой. Начались сирены одна за другой. Спустилась в бомбоубежище, встретила там соседей Алона с Катей, (а так же новорожденной Аней), соседа Цахи и соседку Бат-Ор. Ребята, говорю, капец. Погоди, говорит Цахи. Может у Омер (другая соседка) есть ключ от квартиры Дана, поскольку собачка Омер и собачка Дана - дружат. Но Омер нет дома, говорит Алон. Ничего, говорю - я на днях сидела с ее собачкой так что я знаю, где ключ. Не, говорит Алон. Сегодня ключ не там, потому что Идан и Гали (другие соседи) гуляли с собачкой Омер и забрали этот ключ. Погоди, говорит Цахи, - я ей напишу. Написал. Выяснилось, что ключ от квартиры Омер, в которой есть ключ от квартиры Дана, в которой заперты другой ключ от квартиры Дана, собачка и мой телефон, есть у человека по имени Идэн, который живет в доме через дорогу. Сейчас выйдем из бомбоубежища, я ему позвоню, - говорит Бат-Ор. Выходим, звоним. Да, говорит Идэн, у меня есть ключ, но я в бомбоубежище. Сейчас вернусь, сброшу вам с балкона. Так он и поступил. Открыла квартиру Омер, забрала ключ от квартиры Дана, забрала собачку, телефон и ключ, повесила ключ от квартиры Дана обратно в квартире Омер, привела собачку к себе. Сейчас опять сирена, теперь уже вместе пойдём. Спасибо за внимание."

Яна Горелик:

"Поехала за мамой. Совокупность факторов постоянных обстрелов и дождя привели меня к умозаключению, что коврик на этот раз взять всё-таки стоит. Обычно я забываю и, если тревога, похуистически валяюсь на голой земле. В общем, я правильно сделала, потому что тревога -таки была. Я благоразумно встала на остановке, гордо взяла коврик и потопала к кустам. Нас там уже была веселая разношёрстная компания, от мала до велика. И одна чудесная маленькая девочка в белом платье, с папой, братом и сестрой, но без коврика. Я его им отдала и обречённо легла в грязь рядом. Маленькая девочка была очень напугана. Лежала на коврике, затыкала пальцами уши и звала папу, который был рядом, утешая и успокаивая, но это не помогало. И я спросила ее, куда он едут. К бабушке, прошептала девочка. А вы кушать у бабушки будете? Спросила женщина, лежавшая рядом. Да, она очень вкусно готовит, ответила девочка. А что будете кушать, спросил кто-то, лежавший чуть дальше. От такого внимания к ее бабушке и обилия вопросов, девочка не успевала бояться, ведь надо было каждому ответить. Где-то побумкало, все с интересом переглянулись, но вернулись к обсуждению планов на вечер маленькой девочки в белом платьишке, задавая ей все больше вопросов.
А потом все закончилось, мы поднялись, скатали коврики, сложили одеяла и циновки, радостно пожелали всем хорошего праздника, поулыбались и разъехались по своим делам.
А я доехала до мамы, вся грязная и по дороге к нам сказала, мама, знаешь, тут люди циновки принесли, очень удобно. Но ее-же пока расстелишь, говорит мама. Зато потом лежишь, как король, ответила я.
Ам Исраэль Хай
חג שמח
עם ישראל חי"

Для израильтян, причем немного повернутых башкой на некоторых темах, как я: сегодня в 5 вечера в Тель-Авиве в Сароне встреча читателей блога Скотта Александра, любителей рационализма итд. итп. Приходите, поболтаем о любимых книгах, конце света, новой статье в Nature про воспроизводимость результатов в соц. науках, и обо всем таком хорошем и цветущем.

https://www.facebook.com/events/1607200663725838/

Еще из воспоминаний Лидии Лотман. Глава о Д.С.Лихачеве. Блокадный Ленинград:

"Д. С. Лихачев в своих «Воспоминаниях» пишет о сокращениях штатов, которые коснулись многих сотрудников и явились для многих приговором к голодной смерти, так как человек лишался продовольственных карточек. Роспуск аспирантуры был одним из первых таких сокращений. Это раннее сокращение было для меня спасительно. Еще не образовалось большое количество сокращенных людей, и я смогла устроиться на работу в госпиталь...

Через несколько месяцев после ухода из института я перешла из госпиталя на работу в детский дом. Началась работа по спасению детей, оставшихся без родителей. Мы в качестве педагогов принимали их в детские дома и стали воспитателями.

Помимо этой работы я еще стала донором. За сдачу 400 г крови нам выдавали небольшой продуктовый паек. Этот паек я делила со всей семьей, но себе оставляла одно яйцо, которое входило в паек. Однажды это сырое яйцо выскочило из моих рук и разбилось. Я заплакала. Этот эпизод открыл мне смысл сказки о курочке Рябе. Известный фольклорист К. В. Чистов однажды сказал в моем присутствии, что в этой сказке непонятно, почему дед и баба плакали, когда яйцо разбилось, ведь они сами били его, и я с неожиданной для меня самой горячностью выкрикнула: «Они хотели его съесть. Здесь дело не в том, что яйцо разбилось, а в том, что оно упало!»."

Подумал, что надо объяснить подробнее свою точку зрения про войну в Иране.

Ситуация с конфликтом в Иране является, безусловно, многогранной и нюансированной. Важно отметить, что существует множество точек зрения на данный вопрос, и я постараюсь осветить его максимально сбалансированно.

Но сначала давайте сделаем шаг назад.

Это не про геополитику. Это не про нефть. Это не про ядерное оружие. Это не про Трампа. Это *про людей*. Про тех, кто каждый день просыпается в зоне конфликта и не только в ней и задаёт себе тот же вопрос, что и вы: «что вообще происходит?» И знаете что? У них тоже нет ответа.

С одной стороны, ряд экспертов полагает, что военные действия представляют собой серьезный вызов для региональной стабильности. С другой стороны, другие эксперты утверждают, что для региональной стабильности военные действия представляют собой серьезный вызов. Как видите, консенсус здесь весьма неоднозначен.

Но тут важно вот что понять.

Данный конфликт имеет глубокие исторические корни, уходящие, по мнению некоторых исследователей, в эпоху шумерского царства, хотя другие учёные с этим категорически не согласны. Истина, как это часто бывает, лежит где-то посередине — вероятно, в районе Аккадской империи.

И это все меняет.

Если максимально трезво взглянуть на ситуацию, становится очевидно - поверьте мне, если уж это не очевидно вам - что война может закончиться буквально завтра. С другой стороны, не все понимают тот факт, что завтра она может также вообще не закончиться. Парадокс? Судите сами!

Если надо, могу добавить про риски для кораблей в Ормузском проливе и перспективы войны дронов.

Все, я хочу остановиться на этом заголовке и не читать больше сегодня новости.

"Женщина, которая вступила в половую связь с однояйцевыми близнецами по отдельности «с промежутком меньше, чем четыре дня», получила от коллегии судей заключение о том, что «не представляется возможным» установить, кто из близнецов отец ее ребёнка."

Анекдот, приведенный ниже, интересен тем, что самые продвинутые сегодня ИИ-модели не понимают, что в нем смешного - неправильно объясняют, если попросить их объяснить.

=====================
Муж с женой уже много лет как застряли на необитаемом острове. Наладили хозяйство, построили вышку, чтобы корабли высматривать. Однажды на берег выбрасывает ещё одного мужика. Он и жена сразу западают друг на друга, но понимают, что надо как-то исхитриться, чтобы муж не узнал. А муж, наоборот, очень рад новичку. «Ну наконец-то! Теперь можно дежурить на вышке по восемь часов каждый, а не по двенадцать.» Новенький с радостью соглашается и вызывается быть первым по новому графику. Залезает на вышку и осматривает окружности. Тем временем муж с женой внизу выкладывают камни в круг, готовят костер для ужина. Мужик сверху орёт: «Эй! А ну, не трахаться!» Они в ответ: «Мы не трахаемся!» Через пару минут они начинают складывать в круг ветки для костра. Мужик опять сверху: «Эй! Я сказал — не трахаться!» Они: «Да не трахаемся мы!» Потом они приступают к починке хижины - кладут на крышу новые пальмовые листья. Мужик снова орёт: «Эй! Кому говорю — не трахаться!» Они: «Да сказали же, не трахаемся!» Наконец смена заканчивается, мужик слезает с вышки, а муж лезет наверх. Не успел он даже до середины добраться, а жена с новеньким уже вовсю кувыркаются. Муж залезает на вершину вышки, смотрит вниз и говорит: "Вот ведь блин... сверху и правда выглядит так, будто трахаются!»
=====================

Год назад таких анекдотов - которые ИИ-модели не понимали - было много, сейчас осталось мало, модели сильно поумнели. Этот не выглядит особенно сложным, но что-то в нем есть особенное, что их затыкает, видимо, нетривиальное использование 'теории мышления' (theory of mind). Я дал его нескольким ведущим моделям - платным, "размышляющим" версиям - и ни одна не объяснила правильно. Когда я стал настаивать без подсказок - "есть что-то, что ты не понимаешь. Подумай как следует" - то Gemini единственная догадалась, а Grok и ChatGPT и Claude начали предлагать еще более абсурдные объяснения. Любопытно.

В любимой игре Clues By Sam, которую уже несколько месяцев прохожу каждый день, сегодня неожиданный сюрприз, персонаж с моим именем. Раньше такого не припомню (хотя Ava было несколько раз). Вопрос: это невероятное совпадение или кто-то за кулисами устроил мне потрясающий подарок на ДР? Не могу с уверенностью сказать, но если второе - СПАСИБО огромное!

Друзья, если есть желание поздравить меня с днем рождения, можно сделать это здесь, например.

Спасибо! Честно скажу, что не ощущаю супер праздничного настроения, но искренне приятно видеть поздравления.

Прорвемся.