взлет и падение stack overflow

[avva]

Эпический график "взлет и падение Stack Overflow".

(это известный всем профессионалам сервис вопросов-ответов для программистов).

Видно, если присмотреться, что число новых вопросов в месяц начало падать еще до выхода сильных ИИ-моделей (и тогда это приписывали излишне строгому модерированию), но с их выходом это число пошло в свободное падение. То же самое верно и для других сайтов сети StackExchannge: математика, физика, химия и десятки других специализированных форумов для вопросов-ответов - числа везде разные, но картина одинаковая.

Возможно, теперь всю сеть прикроют и будет очень жаль, если так, там весь все равно тусуется большое количество настоящих экспертов, дающих отличные ответы на нетривиальные вопросы. Просто LLM намного удобнее и проще спросить, это верно.

Вы можете сказать: ну прикроют и что? у нас есть LLM. Но модели хорошо отвечают на тысячи вопросов про разные подзаковырки в библиотеках JavaScript или интерфейсов Windows, потому что их тренировали на всем корпусе StackOverflow. Через 5 лет, когда будут новые версии ОС, компиляторов, интерфейсов, и миллионы новых багов, а вопросов на SO уже не будет, на чем будем тренировать?

Comments

[lemberger]

А можно посмотреть на аналогичный график для mathoverflow? А то ссылки что-то не вижу.

[alexanderr]

" ... that question was already asked before. see these 3 unrelated questions from 6 years ago. you have been banned for asking a redundant question ..." /s

[mr_numeraire]

Кстати, да. Придумать новую и хорошую задачу в стандартном мат. курсе не так уж и просто. Это тоже должно влиять на поток новых вопросов. Вместо самого анекдота -- просто номер.

[avva]

Есть у Daniel Litt в твиттере.https://x.com/littmath/status/2007918900155916633

[lemberger]

Ох, боюсь, что для меня эта ссылка недоступна:(

[avva]

[lemberger]

Ага, вот это выглядит еще более реалистично. И лучше согласуется с тем, что видно без подсчетов.

Спасибо.

[qse]

[lemberger]

Спасибо.

[tropicalizator]

По ссылке ХЭБа пишут, что это math.stackexchange
Количество вопросов в месяц на Mathoverflow тоже упало, но не так - где-то с 1000-1100 до 450. Но пооизводная отрицательная.

[qse]

Да, вы правы - выше сделал mathematics, просто не знал о mathoverflow. Вот по mathoverflow:

[lemberger]

Но тоже впечатляющее падение.

[lemberger]

Ага, спасибо. Про mathverflow все-таки странно было.

[oooooo]

теория пальцем в небо: «отрицательная производная» объясняется отвалом юзеров постящих туда вопросы по ошибке — из-за непонимания разницы между math (мусорный форум для двоечников) и собственно мат-оверфлоу

[oooooo]

походу тебе какую-то не ту картинку показали, но сам разбирайся когда к интернету подключишься

[spamsink]

Я надеюсь, что к тому времени модели сами будут способны проделывать эксперименты, запуская компиляции и анализируя результаты.

[exorthodox]

Это реально серьёзная проблема, не только для этой площадки.

[mr_numeraire]

Жалко, если math.stackexchange помрет. Это был классный ресурс.

Из интереса спросил Копайлот довольно простой вопрос, который тут у нас недавно с коллегой возник. Ответ Копайлота -- бред. Хорошо, если спрашивающий понимает, что ответ сакс, и наводящими ответами найдет таки правильный ответ. А если не понимает, и примет бред за чистую монету? На math.stackexchange люди бы решили не сильно напрягаясь. И объяснили бы, если б что-нибудь было непонятно.

Вопрос: A casino repeatedly flips a fair coin. A gambler earns $1 each time a specified pattern U of heads and tails appears in the sequence of flips. Overlapping occurrences count; for example, if U=HH, then the sequence HHH contains two occurrences of U, so the gambler gains $2. Similarly, the gambler loses $1 each time another pattern V appears (again counting overlapping occurrences).

Let T be the stopping time at which the gambler’s capital first reaches either А>1 or B<-1 dollars. For which choices of U and V does the stopping time satisfy P(T=∞)=1?

[dedekha]

Для полноты картины они должны считать сколько google queries привели к уже существующему ответу.

[vak]

Вот и свершилось. Разумность, то есть интеллектуальность, больше не привилегия человека.

[cali4nickation]

А кого то это скорее наведет на мысли о бренности всего сущего. Не доказано что заставшие весь этот график массово найдут себя в новом мире агентов и курсоров. Или что нажитый непосильным трудом опыт эпохи SO найдет себе применение. А вдруг период после 2008 и правда был золотым веком программистов и не вернется больше? В Калифорнии как все навернулось в 2023 так и продолжает снижение.

[livelight]

А что случилось в Калифорнии в 2023?

[cali4nickation]

Ведущие конспиративные теории:
* конец ZIRP
* за так называемую пандемию корпорации научились в аутсорсинг в промышленных масштабах
* LLM и прочие агенты
* народ оценил усилия местного правительства за время так называемой пандемии и свалил из SFBA

[livelight]

Я правильно понимаю, что рынок найма синьор-помидоров, привыкших получать 100500 баксов в наносекунду, превратился в говно, а это - гипотезы о причинах?

[cali4nickation]

За пределами FAANG и принимая во внимание стоимость жизни здесь никаких наносекунд отродясь не было. Интересные работы попадались намного чаще это да и климат/природа нечеловечески прекрасны.

И да, по ощущениям как отрезало. Ну если вы не 30ти летний Азиат с диаспорой конечно.

[freedom_of_sea]

будем надеяться что через 5 лет искины смогут в орисы, сейчас у многих искинов внутре есть терминал с компиляторами

[qse]

Закат SO легко искать в чатботах, но поскольку исход разработчиков на-чался еще в середине 2010х, то скорее всего дело не совсем в AI.

"Peak oil effect"... В таком формате сервис накопил информацию и достиг того предела, где издержки по содержанию в виде модерации, дедупликации, терпимость к новым пользователям не понимающих базовых основ работы сервиса - все это превысило ценность дальнейшего накопления.

Из смешного: если до какого-то времени была плашка "top answerers" per tag, то сначала ее отодвинули подальше, а потом и ещё подальше.

Так что... waiting for the next bing thing of a kind, if there will be any at all.

---

LLM - это уже гвоздь вбитый в гроб поскольку они базу знаний SO окончательно оторвали от тех, кто ее формировал. SO уже внес определенный разрыв: задающий вопрос уже не совсем общался с кем-то конкретным, а скорее спрашивал по имеющейся форме и также получал ответ, не предполагая диалога. Тем не менее какой-то разумный диалог или уточнения были возможны. Теперь уже все, после исхода доноров знаний приходится надеяться на болвана-робота, который более удобен, но пределы которого вполне осязаемы. Никакие эксперты поддерживать LLM на даже таком уровне не будут, так как не будет уже непосредственно вклада новых знаний, которые все уже увидели как будет присваиваться "интеллектом" и отделяться от источника. Собственно уже в конце 2010х разработчики перестали добавлять ответы уже и поэтому, дальше это приняло лавинообразную форму.

[66george]

На mathoverflow неоднократно что-то спрашивал, но со всё большим отвращением. Эти анонимные минусы, эти уроки вежливости от модератора "Если ты русский, говорящий с англоязычным, ты должен быть таким вежливым, чтобы твои русские друзья подумали, что ты над ним насмехаешься" (это давно было, задолго до войны). Я говорю, Андрюша, у меня был дедушка словенец, мы, словенцы, очень прямой народ (он сам из Любляны). А на stackoverflow у меня почему-то есть рейтинг (убей не помню, откуда).
Толя, неизвестно, сколько проживём, давайте математику обсуждать.

[avva]

Вы часто об интересной математике пишете (ну как, если быть честным, процентов 50 попадает очень хорошо в круг моих интересов, процентов 50 не очень). Я бы рад больше читать, думать и обсуждать, вон книгу про категории и эволюционную сложность, которую вы недавно порекомендовали, поставил в список для чтения. Но с временем так плохо сейчас, и такие сложные и более важные цели в семье/работе, что увы, не получается, и не знаю, будет ли получаться :(

[66george]

Вот Куклева тоже быт заел. Вспомнил, откуда у меня рейтинг на stackoverflow -- выучил OpenGL, пиша геометрическую программу и объяснял, как им пользоваться. Сейчас поддержка OpenGL прекращена, велено переходить на Vulkan. Решил поучить Vulkan, пришёл в ужас, бросил (надеюсь, что не понадобится). Я помню, чтобы нарисовать чёрный квадрат на белом фоне с помощью OpenGL, потребовалось 400 строк кода, Vulkan же многословнее в разы!

[thedeemon]

Недавно видел мнение, что новых языков, фреймворков и библиотек может и не будет теперь, т.к. во-первых их ЛЛМ не знают, и потому никто их использовать не будет, а во-вторых задачи упрощать жизнь программистам теперь как раньше не стоит, ЛЛМ всё сделает и так, а значит зачем новый фреймворк делать.

[nedosionist]

Эта проблема может быть гораздо катастрофичнее, чем нехватка тренировочных данных. И Снейк-ЖЖ прав, что может появиться версия советов за деньги. Но: Stack Overflow был культурным институтом. Вокруг него сложилась культура искать чужие решения, и спрашивать советы, а не придумывать с нуля в изоляции. Лучше ли так было, или нет, но это была ступень эволюции профессии и репозиторий человеческого знания.

Соответственно, его закат - это победа АИ над человеческим институтом, причем ANI/ЛЛМ, а не ASI. Это шаг к тому, как АСИ превзойдет не только отдельных людей, но и все человечество в целом. Вместо обучения от других людей, советы нынче получают от ЛЛМ вобравших их.

Эта потеря почти необратима. Потому что замена учителей на ЛЛМ, убирает ступеньку в профессиональном росте. Без возможности учиться от коллег, все профессиональное обучение будет идти от ЛЛМ. Если ЛЛМ чего-то не знают/умеют, то и люди это освоят медленнее, чем десятиление назад. Это особенно опасно для программирования как дисциплины, поскольку это те, кто должен бы контролировать эти же АИ. Контроль смещается.