openai: возвращение альтмана

Итак, чем можно дополнить мою вчерашнюю запись про кризис в компании OpenAI?

За 24 часа случилось многое.

Совет директоров OpenAI объявил, что достигнуто предварительное соглашение о том, что Сэм Альтман возвращается в качестве CEO. Из текущего совета трое уходят и остается один Адам д'Анджело, к которому присоединяются Брет Тейлор (бывший CEO Salesforce) и Ларри Саммерс (вообще не человек хайтека, экономист и бывший президент Гарварда).

Далее, появилось немало свидетельств и намеков на то, что Альтман занимался и занимается ложью и манипуляциями, как в отношении совета директоров OpenAI, так и в других случаях на протяжении своей карьеры. Тут надо быть осторожным; во-первых, во время такого гигантского скандала неизбежно должны появиться обвинения такого рода; во-вторых, многие несомненно хотят возразить мне "ложь и манипуляции? От CEO компании в Кремниевой долине? Да это обязательное требование для такой должности!"

На первое я отвечу, что некоторые из обвинений действительно предлагаю игнорировать: например, длинное анонимное письмо "от бывших работников OpenAI", полное непроверенных и неподтвержденных на данный момент обвинений; или личные обвинения в адрес Альтмана в твиттере от его младшей сестры, где замешана сложная семейная история, проблемы с душевным здоровьем, и нет прямого отношения к его работе. На второе - что есть разные степени лживости и манипулятивности, и судя по некоторым намекам и косвенным описаниям, Альтман явно выделяется в этой среде.

Альтман появился в Кремниевой долине в 2005-м году в качестве сооснователя стартапа Loopt (продан в 2012-м, вернул деньги инвесторов, но не более того). В 2011-м Альтман начинает работать в акселераторе Пола Грэма Y Combinator, а в 2014-м Грэм предлагает ему уже стать президентом Y Combinator. В 2015-м Альтман входит в группу основателей OpenAI.

Пол Грэм не раз публично высказывался в том духе, что у Альтмана есть уникальная способность добиваться того, чего он хочет, но это в целом звучало как похвала. Однако сегодняшняя статья в Washington Post разъясняет, что в 2018-м году не сам Альтман ушел с должности президента YC, чтобы сосредоточиться на OpenAI (так было заявлено публично), а Грэм прилетел из Англии, чтобы его уволить, за череду несколько сомнительных поступков и проблем в отношениях с коллегами.

Вот эта цитата из Грэма весьма интересна:

"Graham said, “I asked Sam in our kitchen, ‘Do you want to take over YC?,’ and he smiled, like, *it worked*. I had never seen an uncontrolled smile from Sam. It was like when you throw a ball of paper into the wastebasket across the room—that smile.”

Это из статьи в Нью-Йоркере в 2016-м - до того, как Грэм вернулся в YC, чтобы сменить Альтмана. Грэм тут хвалит Сэма, и с его точки зрения описывает человека, сознательно стремящегося к власти, но вполне заслуженно, благодаря своей компетенции. Но теперь, семь лет спустя, это звучит почти как описание социопата.

Стоит также отметить твит Джеффри Ирвинга, исследователя ИИ из Deepmind. Он написал, что за два года работы в OpenAI Альтман всегда хорошо к нему лично относился, но неоднократно лгал по разным поводам, и лгал/манипулировал в отношении его близких друзей и коллег. Хоть это без конкретных примеров и написано работником фирмы-конкурента, о самом Ирвинге, похоже, все отзываются исключительно хорошо, так что этот твит, который два дня назад пошел совершенно вопреки царящему тогда тренду, сильно отозвался у многих, кто следит за этой историей.

Наконец, несколько слов о петиции, которую подписало что-то типа 740 из 770 работников OpenAI, и которая явилась одним из главных инструментов в борьбе Альтмана за возвращение. Как справедливо заметил кто-то, заставить 97% такой большой группы людей подписать что-то невозможно "органически", просто предложив. Кто-то звонил всем подряд и уговаривал, организовывал, отслеживал итд. И действительно, есть (удаленный впоследствии) твит VP по продажам, которая с гордостью пишет о том, как они всю ночь подряд звонили работникам, будили их и просили подписать.

Вся эта новая информация, плюс сведения от NYTimes о конфликте между Альтманом и членом совета директоров Хелен Тонер, позволяют наконец ответить на волнующий всех вопрос "почему совет директоров решил уволить Альтмана". Не факт, что эта версия целиком истинная и окончательная, но она как минимум логичная. Напишу ее завтра утром в отдельном посте.

нарратив увольнения альтмана

Вот обещанная версия увольнения Альтмана, как я ее понимаю. Подчеркиваю, что это всего лишь выдуманная история, документального подтверждения нет, только косвенные слова и намеки. Мне эта версия кажется на данный момент самой логичной и убедительной, но это не означает, что я считаю ее достоверной или доказанной.

Итак, OpenAI основана в 2015-м году как нонпрофит, с миллиардом долларов финансирования богатыми основателями, чтобы можно было какое-то время двигаться к AGI, ничего не продавая и не стремясь к прибыли. Сейчас, очевидно, это не так. Все изменения в эту сторону были, на протяжении последних пяти лет, с одобрения и часто по инициативе Альтмана. Главным из них было создание коммерческой компании в 2018-м, вскоре после ухода Илона Маска, который был одним из первоначальных основателей. Структура, при которой коммерческая компания управляется советом директоров нонпрофита, была компромиссом между стремлением к коммерции и росту - и первоначальным мандатом, согласно которому OpenAI вообще не намеревалась становиться "большой тех-компанией". В 2021-м году часть сотрудников OpenAI ушла и основала AnthropicAI, сейчас основного конкурента OpenAI, тоже на почве конфликта с Альтманом и желания меньше рваться к прибыли и больше внимания уделять безопасности и "помощи всему человечеству".

Все это не значит обязательно, что Альтман вообще не желает думать об этом первоначальном мандате и хочет превратить OpenAI в еще один Майкрософт (или отделение Майкрософта). Он не раз подчеркивал свою поддержку этих идеалов, и при нем в OpenAI ведется основательная работа по безопасности и совместимости ИИ с человеческими целями (alignment). Но наверное справедливо будет сказать, что с его точки зрения путь к созданию AGI и его использованию, даже с учетом этих идеалов, лежит куда больше в области роста компании и коммерческого использования, чем хотелось другим основателям, сотрудникам и некоторым членам совета директоров.

В 2023-м году, после сокращения числа директоров в совете с девяти до шести, в нем было три члена условно говоря за Альтмана, работники компании (он сам, Брокман и Суцкевер) и три независимых директора (д'Анджело, Тонер и Маколи). Суцкевер намного больше Альтмана волнуется из-за быстрого развития AGI, и напрямую занимается проблемой совместимости, но он не выступал активно против того, как Альтман управляет компанией. У независимых директоров постепенно складывается ощущение, что Альтман стремится манипулировать советом и представлять ему неверную картину того, что происходит в компании. Это делается постоянно, подспудно и мелкими шажками, так что у них нет "smoking gun", какого-то убедительного большого примера, только всякие мелкие, которые звучат нелепо и мелочно, типа "он разным людям говорил совсем противоположное о таком-то человеке". Но масса всего этого накапливается, и доверие к Альтману подорвано или потеряно. Однако дела идут своим путем, члены совета считают, что раз у Альтмана нет автоматического большинства, совет сохраняет возможность влиять на дальнейшее развитие компании, сохраняя определенную привязанность к тому самому первоначальному мандату (который прописан в уставе нонпрофита, а не просто идея, витающая в воздухе, т.е. их должность *обязывает* их стараться соблюдать его).

В октябре происходит некий триггер, который взрывает ситуацию. Хелен Тонер - в своей роли исследовательницы в университете Джорджтаун - публикует академическую статью с двумя соавторами. Статья о том, примерно говоря, как AI-компании позиционируют себя по отношению к государственным регуляторам и какие сигналы посылают этим регуляторам и всей индустрии. Внутри статьи есть несколько слов, которые можно интерпретировать как то, что OpenAI в этом смысле ведет себя не супер хорошо, а AnthropicAI несколько лучше (хотя и это скорее говорится о "сигналах, которые посылают", а не о самом поведении). Согласно расследованию NYTimes, пока не подтвержденному другими источниками, Альтман пользуется этим, чтобы резко критиковать Тонер; он утверждает, что это ненормальная ситуация, когда член совета директоров публично критикует компанию, что это может очень навредить OpenAI, и похоже, что пытается убедить ее выйти из совета или убедить весь совет, что ей там не место. Объективно говоря, это где-то между бредом и очень очень мощным передергиванием. Эта статья прошла мимо внимания примерно всех, никто ее не читает и не цитирует, и даже если бы да, ничего плохого в публичной критике развития компании членом совета директоров нонпрофита - исходя из идеалов, на которых был основан нонпрофит - нет. В случае коммерческой компании такая критика может повлиять на цену акции (и то не в таком случае, уж слишком мягкая "критика" и сухая, академическая, никому не интересная статья), но нонпрофит по уставу не волнуется на эту тему, его должно интересовать другое.

Тонер говорит с д'Анджело и Маколи, и они приходят к выводу, что Альтман стремится сманипулировать так, чтобы получить большинство в совете (3 из 5 после ухода Тонер), воспользоваться им для добавления еще своих сторонников, и после этого никакого реального контроля над его действиями и его версией развития OpenAI не будет. Из-за потери доверия они не видят возможности напрямую это обсудить с Альтманом. Они решают, что единственный выход - это увольнение Альтмана, не из-за конкретных шагов типа коммерциализации ChatGPT и нового GPT Store - они не собираются навязывать новому CEO откат этих шагов или другие планы - а именно из-за недоверия к Альтману и его попыток взять контроль над советом. Они обсуждают это с Суцкевером и склоняют его (неохотно) присоединиться к ним. Они знают, что будет огромный скандал, но не видят другой возможности сохранить контроль нонпрофита над компанией. Они созывают собрание совета без Брокмана, увольняют Алтьмана и выводят из совета Альтмана и Брокмана. Дальнейшее уже хорошо известно.

(P.S. Сегодня ночью появилась также информация от Рейтерс, что внутри OpenAI был определенный прорыв в работе над решением простых арифметических задач - уровня начальных классов школы, но такого вида, который у GPT-4 не очень хорошо получается, и что было письмо нескольких работников членам совета директоров о том, что после масштабирования до моделей огромных размеров такой подход может оказаться тем прорывом, который они ищут. Само письмо не показали. Алгоритм называют туманным именем Q*, и есть разные версии того, что это может значить. Пока что невозможно считать это триггером для поведения совета директоров, мне кажется, хотя если все это верно, это могло быть одним из факторов. Я бы подождал новых сведений с этих фронтов и не впадал бы пока ни в экстаз, ни в отчаяние, в зависимости от вашего отношения к AGI)

Чем все это закончилось? Верно ли, что совет директоров проиграл схватку с Альтманом и тот вернулся с триумфом и тем самым полным контролем, которого жаждал? Пока что рано об этом говорить. Новый совет (д'Анджело, Саммерс, Тейлор) не выглядит так, будто находится "в кармане" у Альтмана; д'Анджело несомненно был одним из тех, кто хотел его уволить, и он остался в совете; насколько Саммерс и Тейлор всерьез отнесутся к уставу нонпрофита и сочтут ли они необходимым решать что-то о направлении развития компании - трудно сказать. Если действительно роль этой тройки в том, чтобы выбрать новую девятку, все зависит от того, кто попадет в расширенный совет, согласно каким принципам будут их выбирать, и договорено ли что-то (непублично) о его составе. Когда мы это узнаем, тогда и поймем. Наверное.