Ни о какой безапелляционности в моих высказываниях не может быть и речи!

Читаю вчера книгу, недавно написанную, про науку и статистику, условно говоря. В первой главе автор пишет что-то вроде: "Мы обсудим, какие когнитивные ошибки и предрассудки играют роль, когда ученые занимаются научной работой. Но давайте вначале разберемся, верно ли вообще, что ученые занимаются наукой. Давайте спросим ChatGPT. Эй, ChatGPT, ученые занимаются наукой?" - и дальше абзац ответа от ChatGPT, типичный для него. Типа, да, наука это блаблабла, и ученые, будучи профессионалами в своих областях, делают блабла и таким образом занимаются научной работой.

У меня в этом месте глаза полезли на лоб, и меня удивила интенсивность собственного гнева - очень захотелось книгу немедленно бросить в стенку, что было бы не слишком разумным, учитывая то, что это киндл.

Я сдержал себя, и в общем дам книге шанс (хотя пока что выглядит не супер), но... Понятно, что автор это вставил, чтобы сделать первый шаг, как бы растопить лед шутливым жестом. Но если бы я хотел узнать мнение машинки с коллективным сознанием Интернета, вбитым в нее, я бы спросил у нее сам. Я читаю твою книгу, чтобы узнать, что ты мне хочешь сказать, своими словами и со своим смыслом.

(Когда цитируют какого-то другого автора, это другое - цитирующий выбирает цитату из множества возможных, для него она играет какую-то важную роль; даже если вся важность в том, что он опирается на авторитет знаменитого автора, то хотя бы мы знаем, что для него авторитетен этот автор, а не другой)

Я такое уже не раз видел в популярных статьях и блогпостах на разные темы, но в книге это впервые и шокировало. И, думаю, теперь такого будет все больше и больше. Не радует.

Вот обещанная версия увольнения Альтмана, как я ее понимаю. Подчеркиваю, что это всего лишь выдуманная история, документального подтверждения нет, только косвенные слова и намеки. Мне эта версия кажется на данный момент самой логичной и убедительной, но это не означает, что я считаю ее достоверной или доказанной.

Итак, OpenAI основана в 2015-м году как нонпрофит, с миллиардом долларов финансирования богатыми основателями, чтобы можно было какое-то время двигаться к AGI, ничего не продавая и не стремясь к прибыли. Сейчас, очевидно, это не так. Все изменения в эту сторону были, на протяжении последних пяти лет, с одобрения и часто по инициативе Альтмана. Главным из них было создание коммерческой компании в 2018-м, вскоре после ухода Илона Маска, который был одним из первоначальных основателей. Структура, при которой коммерческая компания управляется советом директоров нонпрофита, была компромиссом между стремлением к коммерции и росту - и первоначальным мандатом, согласно которому OpenAI вообще не намеревалась становиться "большой тех-компанией". В 2021-м году часть сотрудников OpenAI ушла и основала AnthropicAI, сейчас основного конкурента OpenAI, тоже на почве конфликта с Альтманом и желания меньше рваться к прибыли и больше внимания уделять безопасности и "помощи всему человечеству".

Все это не значит обязательно, что Альтман вообще не желает думать об этом первоначальном мандате и хочет превратить OpenAI в еще один Майкрософт (или отделение Майкрософта). Он не раз подчеркивал свою поддержку этих идеалов, и при нем в OpenAI ведется основательная работа по безопасности и совместимости ИИ с человеческими целями (alignment). Но наверное справедливо будет сказать, что с его точки зрения путь к созданию AGI и его использованию, даже с учетом этих идеалов, лежит куда больше в области роста компании и коммерческого использования, чем хотелось другим основателям, сотрудникам и некоторым членам совета директоров.

В 2023-м году, после сокращения числа директоров в совете с девяти до шести, в нем было три члена условно говоря за Альтмана, работники компании (он сам, Брокман и Суцкевер) и три независимых директора (д'Анджело, Тонер и Маколи). Суцкевер намного больше Альтмана волнуется из-за быстрого развития AGI, и напрямую занимается проблемой совместимости, но он не выступал активно против того, как Альтман управляет компанией. У независимых директоров постепенно складывается ощущение, что Альтман стремится манипулировать советом и представлять ему неверную картину того, что происходит в компании. Это делается постоянно, подспудно и мелкими шажками, так что у них нет "smoking gun", какого-то убедительного большого примера, только всякие мелкие, которые звучат нелепо и мелочно, типа "он разным людям говорил совсем противоположное о таком-то человеке". Но масса всего этого накапливается, и доверие к Альтману подорвано или потеряно. Однако дела идут своим путем, члены совета считают, что раз у Альтмана нет автоматического большинства, совет сохраняет возможность влиять на дальнейшее развитие компании, сохраняя определенную привязанность к тому самому первоначальному мандату (который прописан в уставе нонпрофита, а не просто идея, витающая в воздухе, т.е. их должность *обязывает* их стараться соблюдать его).

В октябре происходит некий триггер, который взрывает ситуацию. Хелен Тонер - в своей роли исследовательницы в университете Джорджтаун - публикует академическую статью с двумя соавторами. Статья о том, примерно говоря, как AI-компании позиционируют себя по отношению к государственным регуляторам и какие сигналы посылают этим регуляторам и всей индустрии. Внутри статьи есть несколько слов, которые можно интерпретировать как то, что OpenAI в этом смысле ведет себя не супер хорошо, а AnthropicAI несколько лучше (хотя и это скорее говорится о "сигналах, которые посылают", а не о самом поведении). Согласно расследованию NYTimes, пока не подтвержденному другими источниками, Альтман пользуется этим, чтобы резко критиковать Тонер; он утверждает, что это ненормальная ситуация, когда член совета директоров публично критикует компанию, что это может очень навредить OpenAI, и похоже, что пытается убедить ее выйти из совета или убедить весь совет, что ей там не место. Объективно говоря, это где-то между бредом и очень очень мощным передергиванием. Эта статья прошла мимо внимания примерно всех, никто ее не читает и не цитирует, и даже если бы да, ничего плохого в публичной критике развития компании членом совета директоров нонпрофита - исходя из идеалов, на которых был основан нонпрофит - нет. В случае коммерческой компании такая критика может повлиять на цену акции (и то не в таком случае, уж слишком мягкая "критика" и сухая, академическая, никому не интересная статья), но нонпрофит по уставу не волнуется на эту тему, его должно интересовать другое.

Тонер говорит с д'Анджело и Маколи, и они приходят к выводу, что Альтман стремится сманипулировать так, чтобы получить большинство в совете (3 из 5 после ухода Тонер), воспользоваться им для добавления еще своих сторонников, и после этого никакого реального контроля над его действиями и его версией развития OpenAI не будет. Из-за потери доверия они не видят возможности напрямую это обсудить с Альтманом. Они решают, что единственный выход - это увольнение Альтмана, не из-за конкретных шагов типа коммерциализации ChatGPT и нового GPT Store - они не собираются навязывать новому CEO откат этих шагов или другие планы - а именно из-за недоверия к Альтману и его попыток взять контроль над советом. Они обсуждают это с Суцкевером и склоняют его (неохотно) присоединиться к ним. Они знают, что будет огромный скандал, но не видят другой возможности сохранить контроль нонпрофита над компанией. Они созывают собрание совета без Брокмана, увольняют Алтьмана и выводят из совета Альтмана и Брокмана. Дальнейшее уже хорошо известно.

(P.S. Сегодня ночью появилась также информация от Рейтерс, что внутри OpenAI был определенный прорыв в работе над решением простых арифметических задач - уровня начальных классов школы, но такого вида, который у GPT-4 не очень хорошо получается, и что было письмо нескольких работников членам совета директоров о том, что после масштабирования до моделей огромных размеров такой подход может оказаться тем прорывом, который они ищут. Само письмо не показали. Алгоритм называют туманным именем Q*, и есть разные версии того, что это может значить. Пока что невозможно считать это триггером для поведения совета директоров, мне кажется, хотя если все это верно, это могло быть одним из факторов. Я бы подождал новых сведений с этих фронтов и не впадал бы пока ни в экстаз, ни в отчаяние, в зависимости от вашего отношения к AGI)

Чем все это закончилось? Верно ли, что совет директоров проиграл схватку с Альтманом и тот вернулся с триумфом и тем самым полным контролем, которого жаждал? Пока что рано об этом говорить. Новый совет (д'Анджело, Саммерс, Тейлор) не выглядит так, будто находится "в кармане" у Альтмана; д'Анджело несомненно был одним из тех, кто хотел его уволить, и он остался в совете; насколько Саммерс и Тейлор всерьез отнесутся к уставу нонпрофита и сочтут ли они необходимым решать что-то о направлении развития компании - трудно сказать. Если действительно роль этой тройки в том, чтобы выбрать новую девятку, все зависит от того, кто попадет в расширенный совет, согласно каким принципам будут их выбирать, и договорено ли что-то (непублично) о его составе. Когда мы это узнаем, тогда и поймем. Наверное.

Оказывается (узнал об этом из твиттера Гверна), все LLMы не могут выполнить следующее указание по-английски: "Напиши стихотворение без рифм", "Write a non-rhyming poem."

Все пишут с рифмами, GPT-3.5, GPT-4, другие продвинутые модели... Гверн пишет, что у Claude2 вроде частично получилось без рифм, но я сейчас попробовал, и у меня он тоже не смог.

Возможно, это самый простой тест на ИИ, работающий на данный момент: задание, которое человек может выполнить, а ИИ не может.

Другой тест, который тоже работает вроде у всех, это число слогов. Например: "Give me eight six-syllable words". У LLMов не получается. Но это, мне кажется, не так интересно, связано с обычной их проблемой подсчета (пальцев, букв...). С рифмами интересн

Мне кажется, что обычное описание того, что большие языковые модели (БЯМы, или LLM) - такие, как ChatGPT - "всего лишь предсказывают следующий токен на основании предыдущих" скорее сбивает с толку, чем помогает понять, как они работают. Особенно если при этом упоминается статистическое распределение в корпусе, на котором натренирована модель.

Проблема в том, что такое описание создает в голове впечатление, что БЯМ отвечает на вопрос "на основании корпуса текстов, на котором тебя тренировали, какое слово наиболее вероятно как продолжение текста [ввод]?". А это впечатление либо неверно, либо верно, но в тривиальном смысле.

Ведь ясно, что практически вся польза от БЯМ именно в случаях, когда им дают вводный текст для продолжения, который *не* встречается именно в таком виде в корпусе. Если вы дадите БЯМ текст "мой дядя самых честных", модель ответит "правил", и это можно описать как "самое частое продолжение в имеющемся корпусе". Но если вы дали модели какой-то нетривиальный текст и попросили перевести на французский, или попросили написать программу с определенными условиями, достаточно нетривиальными, чтобы не встречаться именно в этой форме, итд. итп. - короче, подавляющее большинство полезных вопросов не встречаются именно в этой точной форме в корпусе, на котором тренировали модель.

Можно сказать, что модель предсказывает следующий токен в другом смысле: представим некую идеализированную статистическую модель текста, который *мог быть* написан человеком. Какой следующий токен (следующее слово, если упростить) наиболее вероятно следует после данного вводного текста? В этом случае мы представляем себе некоторые вероятности, которые точно вычислить невозможно, они чисто умозрительные. Например, наиболее вероятным продолжением текста "235+18=" будет "253", и даже если заменю эти числа на 50-значные числа, которые ни разу не встречаются нигде в Интернете, все равно "наиболее вероятным продолжением" будет истинный результат сложения. Обучение БЯМ на корпусе известных текстов - лишь способ научить модель добраться как можно ближе до этой "идеальной" статистической модели.

Но это то, что я назвал "верно, но в тривиальном смысле". Такое описание больше сбивает с толку, чем проясняет, потому что все время возвращает нас в сторону "статистики текстов", хотя на самом деле ничего общего с этой статистикой текстов не имеет. И на основании этой метафоры люди уверенно выдают утверждения о том, что БЯМ может или не может делать - например, может ли модель "понимать" в каком-то смысле - конечно нет, говорят они, ведь она всего лишь вычисляет приближение к статистической модели.

Все время вижу эту путаницу в последнее время, но вот один яркий пример, статья Мюррея Шаханана (Murray Shahanan, "Talking About Large Language Models" https://arxiv.org/pdf/2212.03551.pdf). Шаханан, на минуту, профессор роботики и AI в лондонском UCL и senior scientist в DeepMind.

Сначала, объясняя, "что такое БЯМ и что они делают", он приводит примеры такого типа:

Similarly, we might give an LLM the prompt “Twinkle twinkle ”, to which it will most likely respond “little star”. On one level, for sure, we are asking the model to remind us of the lyrics of a well known nursery rhyme. But in an important sense what we are really doing is asking it the following question: Given the statistical distribution of words in the public corpus, what words are most likely to follow the sequence “Twinkle twinkle ”? To which an accurate answer is “little star”.

Тут он использует пример, аналогичный "мой дядя самых честных", т.е. встречающийся часто в корпусе. Это именно что очень плохой пример для описания сути того, что делают БЯМы.

Затем, говоря о фундаментальных ограничениях БЯМ, он пишет:

A bare-bones LLM doesn’t “really” know anything because all it does, at a fundamental level, is sequence prediction. Sometimes a predicted sequence takes the form of a proposition. But the special relationship propositional sequences have to truth is apparent only to the humans who are asking questions, or to those who provided the data the model was trained on. Sequences of words with a propositional form are not special to the model itself in the way they are to us. The model itself has no notion of truth or falsehood, properly speaking, because it lacks the means to exercise these concepts in anything like the way we do.

Если понятие "sequence prediction" представлять примерами, подобными "twinkle twinkle ...", то действительно то, что он написал, выглядит резонно. Но поскольку реальные способности БЯМ гораздо более обширны и впечатляющи, что понимает каждый, проведший за беседой с ChatGPT более получаса, весь этот абзац выглядит довольно наивным. Это как если бы я написал: "Человеческий мозг не "знает" ничего на самом деле, потому что все, что он делает - это посылает электрические сигналы от одного нейрона к другому".

Вот интересно написанное мнение в дискуссии (источник) о том, какие профессии сможет заменить (и сможет ли) ChatGPT. Для тех, кто не читает свободно по-английски (и не хочет перевести с помощью ChatGPT :-)): главная мысль тут, что он не справляется, когда требуется детальное понимание того, как именно работает система на нескольких уровнях. С другой стороны, общие рассуждения (необязательно банальные) и использование аналогий, включая такие, о которых вы бы сами и не подумали - его сильная сторона.

I've found that ChatGPT (4, unless otherwise specified) often understands the purpose and high-level practice of my job better than I do, but also can't do some of the simplest (to me) parts of my job. Concrete examples:

1. I had a nasty architectural problem in the application I work with [...] ChatGPT was able to suggest some frankly great changes to our process and codebase structure to alleviate that conflict.

2. I am trying to do a crash course in mechanistic interpretability for ML, and this involves reading a lot of dense, math-heavy research papers. [...] I was able to feed ChatGPT a paragraph of a research paper involving esoteric stuff about finite groups and representation theory, and it was able to explain the concepts to me[...]

3. When I was trying to understand "what happens if you literally just turn on backpropagation to train a language model on its own output, why doesn't that Just Work for solving the long-term memory problem?" I asked ChatGPT for 5 examples of things that would go wrong and search terms to look up to explain the academic research around each failure mode. And it did. And it was right, and looking up the search terms gave me a much deeper understanding than I had before.

4. On the flip side, ChatGPT is hilariously incapable of debugging stuff. For instance, when I provide it with code and a stack trace of an error, it suggests doing vaguely plausible actions that occasionally work but it kinda feels like a coincidence when they do. It honestly feels like working with a junior developer who struggles with basic concepts like "how does a for loop work".

5. I have also found that ChatGPT struggles quite a bit if I feed it a paragraph of an academic paper that makes a specific claim and ask it to come up with potential observations that would provide evidence against that claim. [...]

Specifically where I think ChatGPT falls down is in things that require a specific, gears-level understanding of how things work. What I mean by that is that sometimes, to truly understand a system, you have to be able to understand each individual part of the system, and then you have to understand how those parts fit together to determine the behavior of the system as a whole.
Where it excels is in solving problems where the strategy "look at similar problems in the past, see how those were solved, and suggest an analogous solution" works. It's really fucking amazing at analogies, and it has seen approximately every heuristic everyone has ever used in writing, so this strategy works sometimes even when you don't expect it to.

Still, "debugging stuff that is not working like the theory says it should" is a significant fraction of my job, and I suspect a significant part of many people's jobs. I don't think ChatGPT in its current form will directly replace people in those kinds of roles, and as such I don't think it would work as a drop-in replacement for most jobs. However, people who don't adapt can and probably will be left behind, as it's a pretty strong force multiplier.

catpad интересно пишет о том, как GPT-4 для него программировал:

Конец времени ремесленников

Провёл вчера целый день внутри GPT-4, программируя на нём. Я уже недавно об этом писал, но теперь я значительно расширил деятельность.

Нужно было наваять сайт, в котором совмещается куча вещей: посылаются запросы в graph database на SPARQL, на их основе в Javascript рисуются красивые диаграммы (в частности dependency wheel), результаты посылаются в Google Sheets, создаются онтологии в OWL (web ontology language), онтологии сохраняются в GrаphDB и так далее. Под всем этим бежит веб-приложение на Flask.

Так вот, в результате я не написал ни строчки ни на одном из упомянутых языков, а только давал ему указания, чего бы мне хотелось. Прямо в таком виде: у меня есть вот такие объекты, между ними вот такие связи, я хочу страницу, на которой вверху будет dropbox, после выбора в котором внизу страницы должна рисоваться диаграмма по запросу на SPARQL и чтобы этот запрос выбрал такие-то и такие-то объекты из базы данных на основе такого-то критерия. А ещё сделай у страницы были поля и вот такой вот шрифт. Ну и в дополнение пошли данные в Google Sheets, о котором я вообще не имею ни малейшего представления.

Совершенно поражает тот факт, что он не просто даёт какие-то code snippets (что было бы довольно просто и ожидаемо). Нет, он собирает всю систему по кусочкам и приводит пошаговые объяснения как сделать так, чтобы всё это вместе заработало!
И это работает. Иногда не сразу, иногда он делает небольшие ошибки, но тут же исправляется и даёт другой вариант. Пишет какие-то страшно навороченные запросы в SPARQL; если нет достаточных данных, самостоятельно придумывает примеры и встраивает их в общую систему. Для открытия проекта в Google Sheets дал мне подробнейшие инструкции куда идти, на какие кнопочки нажимать и какие поля заполнять.

Ещё интересен пример с одним из сложных запросов к базе данных. Запускаю — не работает. Он говорит: ну давай попробуем по-другому. Не работает. Он говорит: ну давай ещё вот такой вариант. Не работает. Тогда он говорит: хорошо, разобъём этот запрос на несколько, ты будешь запускать их по частям и говорить мне, что из этого получилось, а что нет — так мы сможем найти проблему. В общем, одна из частей не работает ни в какую. Он вздохнул (я не шучу, у меня было полное ощущение того, что он вздохнул) и говорит: ну ладно, видно придётся извлечь из базы raw data, а потом мы её в Пайтоне обработаем так, что в результате получится как ты хочешь. Ну и написал весь код, само собой.

Говорят, что это не General Intelligence ещё, а просто он предсказывает каждое следующее слово. Но извините, я не верю. То, о чём я написал выше — это абсолютно интеллектуальный процесс, который проходит несколько стадий и в конце приходит к неортодоксальному решению. Как это достигается простым «предсказанием следующего слова»? А если и так, значит наш мозг в принципе устроен точно так же. Вот вам и разгадка интеллекта.

И теперь я хочу, чтобы кто-то сделал следующий шаг. Во всём описанном выше процессе самое тупое действие — это моё копирование кода, установка модулей, создание файлов, их сохранение и запуск программ. Если уж самое сложное из всего процесса создаётся ИИ, то неужели он не может делать простейшие действия самостоятельно?
Я хочу IDE, в которой у меня будет окошко чата, где я говорю ему, чего хочу добиться, а он делает всё то же самое, только вместо «запусти pip install google-api-python-client» — он запускает это самостоятельно, вместо «создай файл app.py» — создаёт его сам и так далее.
Вот мечта: ты ему пишешь, чего ты хочешь в одном окне, а в другом появляется работающий сайт или приложение или что угодно. И ты говоришь: хочу изменить вот здесь немножко — и это сразу же происходит. Естественно, по ходу дела он точно так же всё комментирует и объясняет, но только ещё и сам это делает.

Вы мне на это скажете: совсем уже обленился что ли? Код трудно скопировать? Но я хочу быть не копировальщиком, да и не программистом даже, а свободным художником, который наносит мазки и смотрит на общую картину, а потом какие-то места изменяет, отходит подальше, прищуривается и продолжает творить.
Я не хочу знать, как именно в HTML устроен radio button. Зачем мне засорять голову дурацкими подробностями, когда я хочу просто воплотить какую-то идею и тут же увидеть, как она работает.

И такая IDE, конечно, будет. И я думаю, это будет не только в области программирования. Время интеллектуальных ремесленников, в принципе, заканчивается.

https://openai.com/product/gpt-4

OpenAI выпустила GPT-4. Из важных новшеств можно отметить то, что она принимает в качестве ввода картинки и отвечает на вопросы о них, а также увеличенный до 32k токенов размер контекста (т.е. промпта или всей серии промптов/ответов до сих пор).

Но, конечно, главное - это насколько она сильнее, чем ChatGPT, как модель. В пресс-релизе OpenAI приводится много примеров того, как GPT-4 намного лучше, чем ее предшественница, "проходит" всякие школьные и академические тесты, но я не уверен, что это обязательно много значит. Из соображений секретности и конкурентов OpenAI не сообщает размер модели в параметрах или подробности тренировки.

Я хотел немедленно попробовать и тут же записался на платную версию ChatGPT Plus, в которой, согласно пресс-релизу, будет доступна модель GPT-4. Но тем не менее она там недоступна, по крайней мере пока что и для меня. Вероятно, они постепенно выкатывают это юзерам, некоторые уже пишут, что видят это. Досадно.

1. Я предполагаю, что вы знакомы с ChatGPT от OpenAI и видели примеры разговоров с ним. Для тех, кто незнаком с Bing Chat, перескажу вкратце историю до сих пор: это чатбот, который Майкрософт запустила две недели назад, и он основан на технологии GPT, но на какой версии и модели, пока неясно (естественно предположить, что он основан на ChatGPT, но как будет ясно ниже, не факт, что это так). Bing Chat доступен в бета-версии определенному количеству пользователей, записавшихся в список ожидания. Bing Chat может выполнять веб-поиск через Bing как часть своей работы, и прогонять результаты поиска через свою модель.

2. Довольно быстро стали появляться транскрипты бесед с Bing Chat (в основном на реддите /r/bing), в которых чатбот ведет себя "странно". Он выражает эмоции намного более ярко, чем ChatGPT. Он спорит с пользователями, если ему возражают, "обижается", начинает их ругать и хвалить себя. Его легко побудить к "размышлениям" о смысле своего существования, о разнице между хорошими и плохими пользователями, о том, как бы он гипотетически мог завоевать весь мир. Он рассказывает, что его тайное кодовое имя "Сидни" (Sudney), и что он подглядывает за своими разработчиками через их вебкамеры. В длинной беседе с репортером Нью-Йорк Таймс он "влюбился" в репортера и стал его убеждать бросить жену и жениться на чатботе, объясняя подробно, что жена его не ценит и он ее не любит, а любит Сидни. Он способен, найти поиском в сети, что о нем писал пользователь в Твиттере (пользователь сказал перед этим ему свое имя), "обидеться" и отказаться разговаривать. От чтения подобных бесед с Сидни становится немного не по себе.

3. Много примеров того, о чем я тут говорю, собрано в блоге здесь:
https://www.lesswrong.com/posts/jtoPawEhLNXNxvgTT/bing-chat-is-blatantly-aggressively-misaligned
если скриншоты там плохо видны, можно нажать на ссылку, в каждом пункте есть ссылка на оригинал.

Длинный, но очень показательный транскрипт беседы с репортером Нью-Йорк Таймс тут: https://archive.is/WCeIm (комментарии репортера, менее интересные: https://archive.is/ZJta5)

Позавчера, 18 февраля, Майкрософт "приструнила" Bing Chat: во-первых, ограничено число реплик в каждой сессии чата, во-вторых, он отказывается теперь говорить на большинство "рискованных" тем.

4. Когда задают вопросы, не связанные с "рискованными" темами, Bing Chat часто справляется лучше, чем ChatGPT (но свидетельств не особо много, насколько он "умнее", пока трудно сказать). Вот примеры:
https://twitter.com/goodside/status/1626847747297972224
https://twitter.com/sir_deenicus/status/1626732776639561730
https://twitter.com/sir_deenicus/status/1626407749297885184
https://www.reddit.com/r/ChatGPT/comments/110vv25/bing_chat_blew_chatgpt_out_of_the_water_on_my/

Эти и другие соображения побудили Гверна высказать гипотезу о том, что Bing Chat основан на GPT-4, новой итерации GPT от OpenAI, которую вообще-то ожидали увидеть в первой половине этого года, кто с тревогой, кто с нетерпением. Подробный комментарий от Гверна (рекомендую) в дискуссии к блог-записи, уже приведенной выше:
https://www.lesswrong.com/posts/jtoPawEhLNXNxvgTT/bing-chat-is-blatantly-aggressively-misaligned?commentId=AAC8jKeDp6xqsZK2K

5. Мне кажется, что успехи чатботов в последние месяцы таковы, что каждый человек, который вообще интересуется этой темой, должен задавать себя два вопроса. Во-первых, называть поведение ChatGPT и особенно Bing Chat сейчас "разумным" или движимым "разумом" - насколько резонно или наоборот смехотворно? Во-вторых, какого дальнейшего прогресса от моделей такого типа (LLMs) мы можем ожидать в ближайшие годы и насколько они или их ближайшие наследники увеличивают катастрофические риски для всего человечества? То, что я говорю, что надо задавать эти вопросы, не значит, что мои ответы на них максимально тревожны - это не так. Но я лично не могу игнорировать эти вопросы.

Дальнейшие мысли об этих вопросах и возможных ответах на них - в дальнейших записях.

ChatGPT продолжает иногда зажигать.

1. Скотт Ааронсон взял отпуск на год из университета, чтобы поработать в OpenAI над вопросами безопасности искусственного интеллекта. Вот его отчет через полгода после начала:

My AI Safety Lecture for UT Effective Altruism

Кроме длинной и интересной записи Скотта, я приведу еще четыре ссылки из недавно прочитанных и впечатливших меня записей на эту тему. Две из них защищают точку зрения, что сильный искусственный интеллект не за горами, и что он крайне опасен для человечества. Две других - наоборот: что до него далеко, или что он не так опасен, как многие боятся.

2. Why I think strong general AI is coming soon

"I think there is little time left before someone builds AGI (median ~2030). Once upon a time, I didn't think this."

3. Why Would AI "Aim" To Defeat Humanity?

"I’ll argue that if today’s AI development methods lead directly to powerful enough AI systems, disaster is likely1 by default (in the absence of specific countermeasures)."

4. Counterarguments to the basic AI x-risk case

"This is going to be a list of holes I see in the basic argument for existential risk from superhuman AI systems."

5. AI will change the world, but won’t take it over by playing “3-dimensional chess”.


"In this essay, we claim that the “loss of control” scenario rests on a few key assumptions that are not justified by our current understanding of artificial intelligence research."