Ни о какой безапелляционности в моих высказываниях не может быть и речи!

Проблема паттерн-матчинга далеко не решена в топ-моделях. Вот яркий пример (все скриншоты сделаны мной сегодня, версии моделей добавлены в скриншот, где нужно).

ChatGPT, Claude, Deepseek - все попадаются в ловушку. Grok 3 дает разумный ответ, но это не значит, что у него нет проблемы - просто конкретная формулировка для него оказалась слишком далека от паттерна. Если сформулировать по-английки и ближе к паттерну, он тоже выдает ерунду.

Андрей Карпати недавно опубликовал новое видео про то, как работают языковые модели, для широкой публики. Скорее всего, оно очень хорошее и стоит вашего внимания, если вы хотите разобраться, как устроен ChatGPT и другие такие модели - говорю "скорее всего", потому что целиком его не смотрел, там слишком мало для меня нового. Но Карпати всегда очень хорошо объясняет, по моему опыту.

Я хочу привлечь внимание к одному месту в его видео (1:47 в видео), где он сравнивает разные методики тренировки моделей на примерах "вопрос - ответ". Он дает такой пример: скажем, мы хотим, чтобы модель идеально отвечала на вопросы типа

Эмили купила 3 яблока и 2 апельсина. Каждый апельсин стоит $2, а всего она заплатила $13. Сколько стоит каждое яблоко?

Тогда мы можем сгенерировать много примеров вопросов такого вида и правильных ответов, и натренировать модель на них, вдонабок к тому, что она и так уже имеет; это назыается подкрутка, файн-тьюнинг.

(Это просто игрушечный пример: конкретно на этот вопрос любая ведущая модель сегодня и так ответит, но в реальности нам могут понадобиться более сложные вопросы и задачи).

Но вот вопрос, как сформулировать правильный ответ, к которому модель должна стремиться?

Два варианта:

Ответ: $3. Два апельсина по $2 каждый стоят вместе $4, значит, яблоки стоят $13-$4=$9, и каждое яблоко стоит $9/3 = $3.

Два апельсина по $2 каждый стоят вместе $4, значит, яблоки стоят $13-$4=$9, и всего есть три яблока, поэтому каждое яблоко стоит $9/3 = $3. Ответ: $3.

Карпати совершенно справедливо объясняет, что второй вариант ответа НАМНОГО ЛУЧШЕ, чем первый, в том смысле, что если мы будем использовать второй вариант при тренировки модели, она сможет решить больше задач, и более качественно.

Это верно вот почему, и это ключевой момент, который, наверное, многие недостаточно хорошо понимают про языковые модели: когда вы получаете ответ от модели, она выдает его буква за буквой (точнее токен за токеном, но разница в данном случае неважна), и каждый раз "думает" заново, какую букву выдать следующей, и при каждом таком размышлении ВИДИТ ВСЕ, ЧТО УЖЕ НАПИСАЛА.

Поэтому если модель натренировали отвечать по первому шаблону, то она начнет выдавать: "Ответ $", и в этот момент ей нужно будет сказать правильный ответ, основываясь только на условии задачи. А если по второму, она может выдавать промежуточные результаты: апельсины $4, осталось $9, всего 3 яблока, надо поделить - не "вписываясь" за какой-то определенный ответ до самого конца - и в конце выдавать этот ответ, используя в том числе свои же предыдущие промежуточные размышления.

То, что Карпати не говорит тут, а я добавлю: тот же самый трюк вы можете использовать не во время тренировки, а во время использования больших моделей типа ChatGPT. Когда вы задаете модели сложный вопрос - необязательно математический - для ответа на который надо учесть много факторов, всегда стоит попробовать сказать ей: "Не давай мне ответ сразу, сначала сделай все промежуточные вычисления и приведи их результаты, и только потом напиши окончательный ответ".

Или: "Я хочу попробовать сделать X таким-то способом. Не пиши мне сразу, хорошая это идея или нет, сначала приведи список доводов за и против, а также альтернатив, и в самом конце подытожь и дай свою рекомендацию".

Я почти всегда именно так прошу языковые модели на что-то сложное и неочидное мне ответить или порекомендовать, просто потому, что у меня в голове есть эта устоявшаяся картинка того, как модель отвечает буква за буквой, все время потребляя все окно контекста, включая уже сказанную часть ответа. Нередко это неважно, потому что модель и так "решила", какой ответ хочет дать, на основании вопроса, и ей не нужна помощь в виде своих же промежуточных шагов. Но именно на самых сложных и неочевидных для моделей вопросов это часто помогает. Как минимум стоит об этом помнить и попробовать так сформулировать, если обычный и самый простой вопрос ведет к неверному ответу или бреду.

Вчера китайская компания DeepSeek опубликовала новую языковую модель R1, по утверждениям не уступающую в разных бенчмарках ведущей модели ChatGPT-o1 от OpenAI. При этом в отличие от o1, новая модель R1 открытая и ее можно свободно скачать, запускать на своем железе, изучать итд. Это значительный прогресс в мире открытых моделей, хоть и не факт, что она действительно уровня o1.

Одно из значительных достижений - это что создатели o1 придумали новаторские способы поощрять "размышления" модели над сложными вопросами, и в процессе этих размышлений модель выдает интереснейший "поток сознания", нередко весьма полезный.

Но достижения достижениями, а мне показалось забавным и интересным, как R1 проваливает один из классических тестов для языковых моделей - вопрос "сколько букв r в слове strawberry?". Этот вопрос уже несколько лет забавляет технарей, проверяющих модели - почти всегда они считают, что есть две буквы r (последние версии ведущих моделей - та же o1 - вроде научились правильно отвечать). Почему именно этот и другие вопросы такого типа их сбивают с толку, нет абсолютно уверенного ответа, хотя почти наверняка это связано с тем, что модели "видят" входной текст не буква за буквой, а токен за токеном, где каждый токен - целое слово или его часть.

Из-за того, что R1 очень подробно описывает свой процесс "мышления", то, как она зацикливается на этом вопросе, наглядно показывает, как модель, допустив какую-то ошибку, упирается и настаивает на ней (такое часто бывает со всеми большими языковыми моделями, не только с R1). Вот транскрипт попытки R1 ответить на вопрос про клубнику (я перевел его с английского с помощью другой модели).

==========================
ПОЛЬЗОВАТЕЛЬ
Сколько букв "r" в слове strawberry?

АССИСТЕНТ
Хорошо, мне нужно посчитать, сколько раз буква "r" встречается в слове "strawberry". Давайте начну с того, что напишу слово и разберу его по буквам.
Слово пишется как S-T-R-A-W-B-E-R-R-Y. Хмм, давайте посмотрим на каждую букву по отдельности.
S – это 'S', здесь нет 'r'.
T – это 'T', не 'r'.
R – вот она, первая 'R'. Значит, одна 'r'.
A – просто 'A', не имеет отношения к 'r'.
W – ещё одна согласная, но не 'r'.
B – нет, тоже не 'r'.
E – гласная, идём дальше.
R – так, это вторая 'R'. Значит, теперь у нас две 'r'.
R – подождите, есть ещё одна? Давайте проверю снова. После первой R идёт A, W, B, E, потом снова R, и затем Y. Ой, значит после E идёт R, делая её второй 'R', а потом ещё одна R перед Y? Стоп, нет, давайте посчитаю правильно.

Возможно, я ошибся в подсчёте. ( Read more... )

Американский математик Роберт Грист написал учебник прикладной линейной алгебры (для инженеров), интенсивно используя помощь языковой модели - Claude 3.5 Sonnet. Весь процесс занял около двух месяцев. В серии твитов он подробно рассказывает о том, как это сделал:

"Клод ухватил мой стиль письма (я дал ему прочитать другие свои книги). Он следил за структурой, тематическими элементами и моими предпочтениями в оформлении в LaTEX. Я простил его написать по одному разделы в LaTEX; затем я собирал куски вместе, редактировал и переписывал их; Клод также помогал с редактированием - это был отдельный процесс.

Я не думаю, что смог бы сделать это так же хорошо (если вообще) с помощью другого ИИ, кроме Клода -- степень продуманности в выборе слов, темпе и тоне очень помогала мне двигаться вперёд. Он также оказался эффективным редактором, способным хорошо устанавливать глобальные связи."

Грист выложил в свободный доступ сам учебник. Я не пытался его внимательно читать и оценивать. В любом случае, количество учебников линейной алгебры такого типа идет на десятки, если не сотни - вполне возможно, что этот хороший и годный, но есть и много других не хуже. Описание процесса мне тут показалось более интересным, чем результат, хотя, возможно, я и не прав. Вот ссылки на учебник и твиты Гриста, судите сами.

На картинках: оглавние учебника и пример редакторской критики Клода в процессе сочинения.

Интересная и немного странная новость: обнаружилось, что ChatGPT отказывается по неизвестной причине печатать целиком имя и фамилию David M

Модель Whisper с феноменальным качеством транскрибирования голоса вышла два года назад, но мне все еще очень не хватает следующей простой штуки:

1. втыкаешь в нее URL на ютуб, или засылаешь аудио-файл.
2. получаешь текст: удобно отформатированный, разбитый на абзацы и реплики, со знаками препинания и РАЗБИТЫЙ НА СОБЕСЕДНИКОВ (техническое название "диаризация").
3. Это все. Третьего пункта не надо.

Кто-нибудь знает, есть ли такое? Если есть, я буду постоянно пользоваться, донатить, могу заплатить за сервис (если качество реально офигенное и допиливать руками ничего не надо).

Каждые несколько месяцев я пытаюсь найти такое, нахожу несколько разных Github-репозиторий в духе "соберите сами из Whisper, этой отдельной сетки для диаризации, говна и палок", но оно обычно сырое, или сомнительного качества диаризация, или вообще не работает для не-английского языка. Если есть такое "поднимите сами", но вылизанное, как конфекта, и реально работает, я тоже не против, дайте ссылку. Если есть сайт, дайте сайт. Спасибо!

Почти год прошел с попытки совета директоров OpenAI уволить Сэма Альтмана. Эту почти-годовщину мы отмечаем тремя новостями:

1. Из OpenAI ушел за это время сначала Илья Суцкевер, потом Грег Брокман, и наконец вчера - Мира Мурати. Из группы основателей компании в ней остался один Сэм Альтман, и ему принадлежит, насколько мы можем судить, полный контроль над компанией.

2. NYTimes сообщает, что OpenAI планирует перевести себя в полностью коммерческую компанию, которую нонпрофитный фонд не будет более контролировать - а только владеть небольшой частью акций. Когда именно это произойдет и как, пока неясно, разбираются адвокаты, но к этому идет.

3. Сэм Альтман опубликовал манифест про ИИ, называется "The Intelligence Age", в котором нет вообще ни одного упоминания о возможных экзистенциальных рисках от ИИ, только немного о рисках для некоторых профессий. Когда-то было по-другому:

Сэм Альтман (2015): "Развитие сверхчеловеческого искусственного интеллекта - видимо, главная угроза дальнейшему существованию человечества"
Сэм Альтман (2024): "Эта технология может значительно изменить рынки труда (к лучшему и к худшему) в ближайшие годы, но большинство профессий будут меняться медленнее, чем думает большинство людей"

=====

Короче говоря, самая продвинутая в смысле успеха в развитии ИИ компания теперь находится под единоличным контролем социопата.
Это не есть хорошо.

Самый простой джейлбрейк LLMов (т.е. способ обойти фильтры по содержимому) лежал на поверхности, оказывается.

Хелен Тонер, бывшая члена совета директоров OpenAI, рассказывает свою версию того, что случилось в октябре прошлого года в подкасте. Вот отрывок
https://x.com/liron/status/1795589042974949640

Он довольно точно подтверждает то, о чем я писал тогда по свежим следам (не вменяю себе в заслугу, раньше и полнее всех об этом написал тогда Гверн): Сэм Альтман социопат [1], скрывал от совета директоров почти все важное, что происходило в компании, когда говорил, то часто искажал действительность или напрямую лгал, разным людям говорил противоречащие друг другу вещи, чтобы манипулировать, итд. итд. Она также подтверждает, что это было не только мнением совета директоров (т.е. не могло быть их мнительностью), что несколько топ-менеджеров компании (не членов совета, т.е. не Илья) поделились своей озабоченностью и страхами с ними, включая скриншоты манипуляций Альтмана.

В общем, ситуация не супер. Хуже всего в ретроспективе выглядит - кроме самого Сэма Альтмана - поведение работников компании, которые по стадному инстинкту ломанулись протестовать и угрожать перейти в Майкрософт, если не вернут Сэма. Ну и самому совету следовало более открыто говорить об этом еще тогда, сейчас это неизбежно воспринимается как "что было, то было".

[1] в смысле, в большей степени, чем привычно ожидать от CEO технологической компании.

Профессор-исследователь ИИ пишет, что в каждой группе, перед которой он выступает, включая бизнесменов, ученых итд. меньше 20% вообще пробовали что-то спросить модель класса GPT-4.

А ведь это технология, которая потенциально может изменить до неузнаваемости наши жизни в течение 10-20 лет, даже если не брать в расчет возможность экзистенциального риска для человеческой цивилизации.

Я не пользуюсь ChatGPT для работы, не так уж часто задаю ему вопросы по собственной нужде, но я плачу $20 в месяц OpenAI, чтобы иметь доступ к GPT-4 вместо бесплатной GPT-3.5, потому что разница между ними огромна. Для того, чтобы иметь возможность разобраться самому, на что способна самая мощная технология, которую создало человечество - это довольно дешево, мне кажется. Да и ее платить не надо, через Майкрософт или poe.com вроде можно бесплатно получить доступ к GPT-4 с какими-то ограничениями.

Но вокруг себя, среди друзей, знакомых и онлайн, я наблюдаю, как большинство людей, имеющих вообще мнение о ИИ-моделях, составляют его на основе чтения каких-то популярных статей, или мемов в соц. сетях, или в лучшем случае попробовав 1-2 раза что-то спросить самостоятельно.

Мой друг К. спросил год назад ChatGPT об одной публичной персоне, ему что-то не очень понравилось в ответе, он решил, что это далеко от совершенства и потерял интерес. Я не знаю, как ему объяснить, что пять лет назад способность говорить с компьютером на обычном языке, давать ему указания или поправки и ожидать от него, что он все поймет и исполнит, казалось научной фантастикой, до которой нам еще 1-2 поколения как минимум. Я не знаю, как на это объяснение нагромодить то, что, научив компьютер понимать нашу речь до мельчайших нюансов, говорить с нами, генерировать видео по текстовому описанию итд. итп. - мы не имеем ни малейшего понятия, как именно внутри он все это делает. И что наилучший способ, который у нас есть, улучшить качество работы этого капризного демона - это словами пообещать ему чаевые в размере $200, или попросить притвориться гением. Не знаю, как объяснить крышесносность всего этого.