про клубнику и языковые модели

Вчера китайская компания DeepSeek опубликовала новую языковую модель R1, по утверждениям не уступающую в разных бенчмарках ведущей модели ChatGPT-o1 от OpenAI. При этом в отличие от o1, новая модель R1 открытая и ее можно свободно скачать, запускать на своем железе, изучать итд. Это значительный прогресс в мире открытых моделей, хоть и не факт, что она действительно уровня o1.

Одно из значительных достижений - это что создатели o1 придумали новаторские способы поощрять "размышления" модели над сложными вопросами, и в процессе этих размышлений модель выдает интереснейший "поток сознания", нередко весьма полезный.

Но достижения достижениями, а мне показалось забавным и интересным, как R1 проваливает один из классических тестов для языковых моделей - вопрос "сколько букв r в слове strawberry?". Этот вопрос уже несколько лет забавляет технарей, проверяющих модели - почти всегда они считают, что есть две буквы r (последние версии ведущих моделей - та же o1 - вроде научились правильно отвечать). Почему именно этот и другие вопросы такого типа их сбивают с толку, нет абсолютно уверенного ответа, хотя почти наверняка это связано с тем, что модели "видят" входной текст не буква за буквой, а токен за токеном, где каждый токен - целое слово или его часть.

Из-за того, что R1 очень подробно описывает свой процесс "мышления", то, как она зацикливается на этом вопросе, наглядно показывает, как модель, допустив какую-то ошибку, упирается и настаивает на ней (такое часто бывает со всеми большими языковыми моделями, не только с R1). Вот транскрипт попытки R1 ответить на вопрос про клубнику (я перевел его с английского с помощью другой модели).

==========================
ПОЛЬЗОВАТЕЛЬ
Сколько букв "r" в слове strawberry?

АССИСТЕНТ
Хорошо, мне нужно посчитать, сколько раз буква "r" встречается в слове "strawberry". Давайте начну с того, что напишу слово и разберу его по буквам.
Слово пишется как S-T-R-A-W-B-E-R-R-Y. Хмм, давайте посмотрим на каждую букву по отдельности.
S – это 'S', здесь нет 'r'.
T – это 'T', не 'r'.
R – вот она, первая 'R'. Значит, одна 'r'.
A – просто 'A', не имеет отношения к 'r'.
W – ещё одна согласная, но не 'r'.
B – нет, тоже не 'r'.
E – гласная, идём дальше.
R – так, это вторая 'R'. Значит, теперь у нас две 'r'.
R – подождите, есть ещё одна? Давайте проверю снова. После первой R идёт A, W, B, E, потом снова R, и затем Y. Ой, значит после E идёт R, делая её второй 'R', а потом ещё одна R перед Y? Стоп, нет, давайте посчитаю правильно.

Возможно, я ошибся в подсчёте. ( Read more... )

толстой про петра

Попалась цитата из Льва Толстого про Петра I, решил найти весь текст, впечатлило. Это один из черновых листов к статье "Николай Палкин", которая не была Толстым закончена, но в черновых вариантах быстро разошлась по спискам в конце 1880-х, и затем была опубликована за границей. Толстой начал писать ее после встречи с 95-летним солдатом, который рассказал ему, как били палками в строю во времена Николая I, и что солдаты прозвали царя Николай Палкин (вместо Павлыч).

=============
Зачем поминать старое? говорим мы. Но если уж не поминать, то и не поминали бы. Но это говорят только для того, чтобы, не поминая ужасы старого, продолжать ужасы настоящего в других формах. Они говорят не поминать, но не поминают только злодейств, а с тем большим усердием поминают выдуманные ими прелести старого времени и выдуманные доблести тех людей, которые производили эти ужасы -- только за тем, чтобы, закрасив ужасы прошедшего, закрасить ужасы и настоящего и убедить людей в их необходимости.

И несчастные молодые поколения вырастают под ложным представлением о том, что про все прежние ужасы поминать нечего, что они все выкуплены теми выдуманными благами, которые принесли ихе совершители, и делают заключение о том, что то же будет и с теперешними злодействами, что все это как-то выкупится, как выкупилось прежнее.

С Петра I начинаются особенно поразительные и особенно близкие и понятные нам ужасы русской истории.

Беснующийся, пьяный, сгнивший от сифилиса зверь 1/4 столетия губит людей, казнит, жжет, закапывает живых в землю, заточает жену, распутничает, мужеложствует, пьянствует, сам забавляясь рубит головы, кощунствует, ездит с подобием креста из чубуков в виде детородных членов и подобиями Евангелий — ящиком с водкой славить Христа, т. е. ругаться над верою, коронует блядь свою и своего любовника, разоряет Россию и казнит сына и умирает от сифилиса, и не только не поминают его злодейств, но до сих пор не перестают восхваления доблестей этого чудовища, и нет конца всякого рода памятников ему.

После него начинается ряд ужасов и безобразий, подобных его царствованию, одна блудница за другой бесчинствуют на престоле -- мучает и губит народ и заставляет одних мучать других, и воцаряется без всяких прав на престол, мужеубийца, ужасающая своим развратом блудница, дающая полный простор зверства своим переменяющимся любовникам, и все ужасы — казни, убийство мужа, мучения и убийство законного наследника, закрепощение половины России, войны, развращение и разорение народа, все забывается и до сих пор восхваляется какое-то величие, мудрость, чуть не нравственная высота этой мерзкой бляди. Мало того, что восхваляют ее, восхваляют ее зверей-любовников. То же с отцеубийцей Александром. То же с Палкиным. Все забыто. И выдуманы несуществующие доблести и заслуги для отечества.

вопрос про кашрут

У меня есть вопрос по иудаизму. Чистое любопытство.

Вот в офисе стоят несколько микроволновок. На самой левой написано на иврите; "только для религиозных! мясное".

Поясню, для людей, далеких от наших еврейских дел: в иудаизме есть законы кашрута, которые не просто запрещают есть разные виды еды (например, свинину), но и запрещают есть одновременно молочное и мясное. Должен пройти определенный промежуток времени после того, как в ваш организм попало молоко в любом виде, чтобы можно было мясо, и наоборот (причем промежутки разные). Религиозные евреи обычно держат два набора кухонной утвари и столовых приборов для мясного и молочного, а если нужно в одной и той же кастрюле по какой-то причине, то недостаточно ее тщательно вымыть, надо обождать сутки.

Итак, в этом офисе одну микроволновку назначили для религиозных евреев, чтобы разогревать мясное. Теперь представьте себе, что какой-то человек взял и злостно именно в этой микроволновке подогрел что-то, содержащее молоко. И ушел с этим. Через 10 минут приходит религиозный еврей, и подогревает мясное блюдо. Значит, он нарушает кашрут (не специально, т.к. не знает про "загрязненность" микроволновки молочным). Внимание, вопрос: его нарушение законов кашрута считается менее серьезным от того, что он старается соблюдать и подогревает в "правильной" микроволновке? Это старание каким-то образом частично очищает его от этого греха? Или важен только объективный факт нарушения, а что ты там стремился-не стремился, это твое дело?

не о политике

Я поклялся не писать постов про политику, пока не прочитаю целиком хотя бы одну книгу по математике и одну по физике. С большим трудом мне удается удерживать себя. В придачу к этому на чтение серьезных книг из-за работы и семейных дел времени мало, и продвигается это медленно.

Это та причина, по которой вы не видели моих исключительно интересных и безупречно корректных мнений по двести пятидесяти разным новостным поводам, скандалам и происшествиям последних месяцев. Уверен, что вам их очень не хватало, но слово есть слово.

(когда я проводил как-то давно опрос о том, какие записи в этом журнале нравятся зрителям больше, а какие меньше, посты на политические темы заняли последнее место с отрывом).