последний из волшебников

Кейнс о Ньютоне:

"His peculiar gift was the power of holding continuously in his mind a purely mental problem until he had seen straight through it. I fancy his pre-eminence is due to his muscles of intuition being the strongest and most enduring with which a man has ever been gifted. Anyone who has ever attempted pure scientific or philosophical thought knows how one can hold a problem momentarily in one's mind and apply all one's powers of concentration to piercing through it, and how it will dissolve and escape and you find that what you are surveying is a blank. I believe that Newton could hold a problem in his mind for hours and days and weeks until it surrendered to him its secret. Then being a supreme mathematical technician he could dress it up, how you will, for purposes of exposition, but it was his intuition which was pre-eminently extraordinary - 'so happy in his conjectures', said De Morgan, 'as to seem to know more than he could possibly have any means of proving'. The proofs, for what they are worth, were, as I have said, dressed up afterwards - they were not the instrument of discovery.

There is the story of how he informed Halley of one of his most fundamental discoveries of planetary motion. 'Yes,' replied Halley, 'but how do you know that? Have you proved it?' Newton was taken aback - 'Why, I've known it for years', he replied. 'If you'll give me a few days, I'll certainly find you a proof of it' - as in due course he did."

Это из той знаменитой речи (https://mathshistory.st-andrews.ac.uk/Extras/Keynes_Newton/), где Кейнс назвал Ньютона "последним из волшебников, а не первым из рационалистов", и рассказал о масштабах его занятий теологией и алхимией. Вся речь очень интересна.

ChatGPT в работе

Вот интересно написанное мнение в дискуссии (источник) о том, какие профессии сможет заменить (и сможет ли) ChatGPT. Для тех, кто не читает свободно по-английски (и не хочет перевести с помощью ChatGPT :-)): главная мысль тут, что он не справляется, когда требуется детальное понимание того, как именно работает система на нескольких уровнях. С другой стороны, общие рассуждения (необязательно банальные) и использование аналогий, включая такие, о которых вы бы сами и не подумали - его сильная сторона.

I've found that ChatGPT (4, unless otherwise specified) often understands the purpose and high-level practice of my job better than I do, but also can't do some of the simplest (to me) parts of my job. Concrete examples:

1. I had a nasty architectural problem in the application I work with [...] ChatGPT was able to suggest some frankly great changes to our process and codebase structure to alleviate that conflict.

2. I am trying to do a crash course in mechanistic interpretability for ML, and this involves reading a lot of dense, math-heavy research papers. [...] I was able to feed ChatGPT a paragraph of a research paper involving esoteric stuff about finite groups and representation theory, and it was able to explain the concepts to me[...]

3. When I was trying to understand "what happens if you literally just turn on backpropagation to train a language model on its own output, why doesn't that Just Work for solving the long-term memory problem?" I asked ChatGPT for 5 examples of things that would go wrong and search terms to look up to explain the academic research around each failure mode. And it did. And it was right, and looking up the search terms gave me a much deeper understanding than I had before.

4. On the flip side, ChatGPT is hilariously incapable of debugging stuff. For instance, when I provide it with code and a stack trace of an error, it suggests doing vaguely plausible actions that occasionally work but it kinda feels like a coincidence when they do. It honestly feels like working with a junior developer who struggles with basic concepts like "how does a for loop work".

5. I have also found that ChatGPT struggles quite a bit if I feed it a paragraph of an academic paper that makes a specific claim and ask it to come up with potential observations that would provide evidence against that claim. [...]

Specifically where I think ChatGPT falls down is in things that require a specific, gears-level understanding of how things work. What I mean by that is that sometimes, to truly understand a system, you have to be able to understand each individual part of the system, and then you have to understand how those parts fit together to determine the behavior of the system as a whole.
Where it excels is in solving problems where the strategy "look at similar problems in the past, see how those were solved, and suggest an analogous solution" works. It's really fucking amazing at analogies, and it has seen approximately every heuristic everyone has ever used in writing, so this strategy works sometimes even when you don't expect it to.

Still, "debugging stuff that is not working like the theory says it should" is a significant fraction of my job, and I suspect a significant part of many people's jobs. I don't think ChatGPT in its current form will directly replace people in those kinds of roles, and as such I don't think it would work as a drop-in replacement for most jobs. However, people who don't adapt can and probably will be left behind, as it's a pretty strong force multiplier.

об алгоритмах и интеллекте

Невероятная популярность и определенная практическая польза от ChatGPT (GPT-3.5 и GPT-4) привела к тому, что очень много людей говорят и думают об этих языковых моделях, при том, что большинство из них не особо знакомы с тематикой искусственного интеллекта. В этом нет ничего ужасного, конечно; но мне кажется, что известная максима "те, кто не помнят историю, обречены повторять ее" преломляется и воплощается в этих дебатах в облегченной форме: те, кто не знакомы со спорами вокруг искусственного интеллекта, обречены повторять старые мысли и аргументы, не понимая этого.

Вот три примера; о каждом можно было бы написать отдельно и много, и возможно, я еще соберусь.

1. Люди, уверенные в том, что алгоритмы типа GPT-4 не могут содержать никакого "понимания" того, что они получают или выдают, как правило, незнакомы с аргументом китайской комнаты Серля или не думали о нем как следует.

2. Люди, уверенные в том, что модели типа GPT-4 всего лишь выбирают наиболее вероятное "по статистике" следующее слово, никогда не видели или не писали сами генератор текста на основе цепи Маркова - который именно это и делает - и не осознают гигантскую пропасть между лучшими частотными генераторами и новыми языковыми моделями.

3. Люди, которых не впечатляет, что языковая модель "понимает" сложные предложения на естественном языке - "понимает" в том прагматическом смысле, например, что выполняет именно те указания, что даны в таких предложениях - никогда не пробовали сами написать программу, эксплицитно пытающуюся вытащить "смысл" предложения, или даже хотя бы расставить маркеры частей речи. Они не понимают ни того, насколько такое "понимание" предложений казалось безнадежно трудным делом всего шесть лет назад, ни того, насколько теперь, когда языковые модели это делают, мы не имеем ни малейшего понятия, *как*.

Из всего этого не следует вычитывать, будто я считаю GPT-4 по-настоящему понимающей или истинно думающей. Это не так. Просто я вижу слишком много поверхностных пренебрежительных отзывов, авторы которых не очень понимают, о чем говорят. Я стараюсь напоминать себе, что люди не обязаны знать об аргументе китайской комнаты и дебатах вокруг него (например), что для них нигде не написано "для того, чтобы понять, насколько то, что ChatGPT делает, можно назвать мышлением, стоит подумать вот о чем..." Есть эта штука, о ней все говорят, ее каждый может попробовать, довольно естественно об этом что-то подумать и сказать, я понимаю.