avva | о языковых моделях и предсказаниях

Мне кажется, что обычное описание того, что большие языковые модели (БЯМы, или LLM) - такие, как ChatGPT - "всего лишь предсказывают следующий токен на основании предыдущих" скорее сбивает с толку, чем помогает понять, как они работают. Особенно если при этом упоминается статистическое распределение в корпусе, на котором натренирована модель.

Проблема в том, что такое описание создает в голове впечатление, что БЯМ отвечает на вопрос "на основании корпуса текстов, на котором тебя тренировали, какое слово наиболее вероятно как продолжение текста [ввод]?". А это впечатление либо неверно, либо верно, но в тривиальном смысле.

Ведь ясно, что практически вся польза от БЯМ именно в случаях, когда им дают вводный текст для продолжения, который *не* встречается именно в таком виде в корпусе. Если вы дадите БЯМ текст "мой дядя самых честных", модель ответит "правил", и это можно описать как "самое частое продолжение в имеющемся корпусе". Но если вы дали модели какой-то нетривиальный текст и попросили перевести на французский, или попросили написать программу с определенными условиями, достаточно нетривиальными, чтобы не встречаться именно в этой форме, итд. итп. - короче, подавляющее большинство полезных вопросов не встречаются именно в этой точной форме в корпусе, на котором тренировали модель.

Можно сказать, что модель предсказывает следующий токен в другом смысле: представим некую идеализированную статистическую модель текста, который *мог быть* написан человеком. Какой следующий токен (следующее слово, если упростить) наиболее вероятно следует после данного вводного текста? В этом случае мы представляем себе некоторые вероятности, которые точно вычислить невозможно, они чисто умозрительные. Например, наиболее вероятным продолжением текста "235+18=" будет "253", и даже если заменю эти числа на 50-значные числа, которые ни разу не встречаются нигде в Интернете, все равно "наиболее вероятным продолжением" будет истинный результат сложения. Обучение БЯМ на корпусе известных текстов - лишь способ научить модель добраться как можно ближе до этой "идеальной" статистической модели.

Но это то, что я назвал "верно, но в тривиальном смысле". Такое описание больше сбивает с толку, чем проясняет, потому что все время возвращает нас в сторону "статистики текстов", хотя на самом деле ничего общего с этой статистикой текстов не имеет. И на основании этой метафоры люди уверенно выдают утверждения о том, что БЯМ может или не может делать - например, может ли модель "понимать" в каком-то смысле - конечно нет, говорят они, ведь она всего лишь вычисляет приближение к статистической модели.

Все время вижу эту путаницу в последнее время, но вот один яркий пример, статья Мюррея Шаханана (Murray Shahanan, "Talking About Large Language Models" https://arxiv.org/pdf/2212.03551.pdf). Шаханан, на минуту, профессор роботики и AI в лондонском UCL и senior scientist в DeepMind.

Сначала, объясняя, "что такое БЯМ и что они делают", он приводит примеры такого типа:

Similarly, we might give an LLM the prompt “Twinkle twinkle ”, to which it will most likely respond “little star”. On one level, for sure, we are asking the model to remind us of the lyrics of a well known nursery rhyme. But in an important sense what we are really doing is asking it the following question: Given the statistical distribution of words in the public corpus, what words are most likely to follow the sequence “Twinkle twinkle ”? To which an accurate answer is “little star”.

Тут он использует пример, аналогичный "мой дядя самых честных", т.е. встречающийся часто в корпусе. Это именно что очень плохой пример для описания сути того, что делают БЯМы.

Затем, говоря о фундаментальных ограничениях БЯМ, он пишет:

A bare-bones LLM doesn’t “really” know anything because all it does, at a fundamental level, is sequence prediction. Sometimes a predicted sequence takes the form of a proposition. But the special relationship propositional sequences have to truth is apparent only to the humans who are asking questions, or to those who provided the data the model was trained on. Sequences of words with a propositional form are not special to the model itself in the way they are to us. The model itself has no notion of truth or falsehood, properly speaking, because it lacks the means to exercise these concepts in anything like the way we do.

Если понятие "sequence prediction" представлять примерами, подобными "twinkle twinkle ...", то действительно то, что он написал, выглядит резонно. Но поскольку реальные способности БЯМ гораздо более обширны и впечатляющи, что понимает каждый, проведший за беседой с ChatGPT более получаса, весь этот абзац выглядит довольно наивным. Это как если бы я написал: "Человеческий мозг не "знает" ничего на самом деле, потому что все, что он делает - это посылает электрические сигналы от одного нейрона к другому".