так устроен жж

[avva]

Под лж-катом — красивая картинка внутренней сетки ЖЖ (как устроены все сервера и как они между собой общаются). Если что-то непонятно или интересно, можно спрашивать.

Comments

в целом интересно, но не понятно

[bobhott.livejournal.com]

Можно, пожалуйста, подробнее. Особенно интересно чем это особым отмечены Исус и Акамай.

[dimrub.livejournal.com]

1. Что за машина - MEMCACHE?
2. Почему часть кластеров - кластеры, а часть - одиночные машины?
3. Кто такой Jesus? (Jesus saved your life. Save? Abort? Ignore?)
4. Стрелочки даны без направлений, поэтому непонятно, например, что mail идет только наружу.

[maksimka.livejournal.com]

О. Нужно такую татуировку сделать :)))

[karmanova.livejournal.com]

у меня много идиотских вопросов!!!
1) что такое memcache?
2) cluster?
3) Jesus?
4) Akamai?

если можно, доступным языком объясните, я лично лох!

[object.livejournal.com]

Интересно было бы узнать количественные характеристики: например, количество Web-серверов, объем памяти, процессоры и т.д.

[avva.livejournal.com]

4. Майл идёт не только наружу (письма на username@livejournal.com для платных юзеров, а также с недавнего времени posting by email).

3. Jesus когда-то был самым главным DB-сервером, а сейчас он всего лишь отвечает за logging всех веб-риквестов.

2. Одиночные кластеры - те, на которых запланировано относительно мало юзеров. Один для всех RSS accounts, другой для всех inactive users (те юзеры, которые давно ничего не писали, в него автоматически переводятся. Это никак не влияет на их ЖЖ-возможности, просто так удобнее группировать данные).

1. Memcache - это не одна машина, а много машин, на которых бегут демоны memcached. На самом деле большинство из них не dedicated машины для memcached, а другие машины (обычно веб-серверы), на которых впридачу к их обычным обязанностям бегут демоны memcached (веб-серверы обычно CPU-intensive but relatively light on memory; memcached daemons are CPU-light but memory-hungry. It's a good match).

[sheb.livejournal.com]

а уж майки-то точно можно продавать за бешеные деньги )

[maksimka.livejournal.com]

Да-да. Думаю, этим может занятся Администрация :)

а для татуировки, подумал я, подойдет значок лже-юзера. на плече, например :)))

[maksimka.livejournal.com]

занятЬся, сорри.

[(Anonymous)]

Безобразие - где мой любимый "Inactive Cluster"?

[dinozavr.livejournal.com]

Круто. Спасибо!!!

Re: в целом интересно, но не понятно

[avva.livejournal.com]

На Иисусе нарисовано полено. Полено по-английски - лог. Иисус отвечает за логи всех обращений к веб-серверам.

Акамай - это компания, которая предоставляет быстрый, качественный и распределённый по всему миру (юзер автоматически попадает на ближайший к нему сервер) сервис доступа к файлам через веб. У нас с ними контракт, и через них юзеры получают все юзерпики. Если Вы заметили, все картинки юзерпиков сгружаются с сервера userpic.livejournal.com ; этот адрес ведёт на серверы Akamai. Когда юзер загружает новую картинку, она попадает первоначально в базу данных внутри ЖЖ; но как только её кто-то запрашивает для показа, серверы Akamai берут её у нас и загружают к себе, и после этого запросы на неё к нам больше не приходят. Это удобно (картинки составляют очень большую часть траффика ЖЖ, а выдача их наружу раньше занимала ещё и много серверных ресурсов).

Поэтому картинка Akamai - это не один сервер, а логическая абстракция этого сервиса, находящегося вне livejournal.com (обратите внимание, что юзер туда попадает через Internet, не заходя на нашу внутреннюю сетку). Если не ошибаюсь, на ней облако нарисовано, символизирующее большую распределённую сеть серверов.

[faeton.livejournal.com]

Akamai - мой никнейм )))

[paltus-lj.livejournal.com]

Да, вот Akamai особенно непонятен...

[avva.livejournal.com]

По-моему, это BigBoned. Хотя я не уверен на 100%, уточню у нашей сисадминши и напишу здесь, если это не так ;)

[bars.livejournal.com]

Занятно.
А картиночка руками рисовалась или это какое-то средство так штатно красиво диаграммы рисует?

[sheb.livejournal.com]

да. или козёл Фрэнк :)

[avva.livejournal.com]

См. мой ответ на первый коммент выше.

Akamai - это уже третья попытка решить проблему юзерпиков, надеюсь, последняя. Проблема юзерпиков в том, что они: а) жрут очень много траффика б) их нецелесообразно выдавать наружу тем же веб-сервером, который у нас обрабатывает обычные динамические запросы (apache+mod_perl), т.к. это всё равно, что палить из пушки по воробьям, слишком много уходит памяти и CPU power. Вначале мы перенесли юзерпики на другого провайдера, на восточном побережье США, который намного меньше денег берёт за траффик; там у нас бежал лёгкий веб-сервер thttpd (который мы ещё сами немного облегчили и видоизменили), который выдавал наружу юзерпики. Но провайдер оказался паршивеньким. Потом мы заключили контракт со Speedera - это конкурент Akamai (практически единственный большой его конкурент, Akamai контролирует большинство этого рынка); это оказалось решением получше, но, во-первых, служба поддержки у Speedera оказалась весьма бестолковой, и во-вторых, Akamai стала усердно переманивать нас к себе от Speedera, обещая большие скидки по сравнению со своей обычной ценой. В конце концов мы перешли к ним, и вот сейчас юзерпики раздают серверы Akamai.

[avva.livejournal.com]

Рисовал xevinx, наш штатный дизайнер. Не знаю, чем, хотя думаю, что не руками всё же ;)

[avva.livejournal.com]

Web-серверов сейчас 17 штук. DB-серверов - см. кластеры на картинке; каждый кластер, состоящий из одно прямоугольника - один сервер; из нескольких - два или три (раньше было три, один мастер и два слейва, но по мере всё более усиленного использования memcached нагрузка на чтение DB падает и мы переводим кластеры на схему один мастер, один слейв, а в будущем, возможно, вообще получится отказаться от MySQL-репликации, и будет всего один сервер на кластер).

NetApp - это свежекупленный storage server мощный с каким-то охренительным количеством дисков. Мы его будем использовать для хранения юзерпиков (вместо базы данных), новых аудио-записей, которые вот-вот начнут работать, и бэкапов.

Памяти у DB-серверов обычно 4Gb, у веб-серверов - 2, кажется (не уверен). У Иисуса 12Gb памяти, он монстр (когда-то он был главным DB-сервером, ещё до перехода большинства данных на кластеры, и на него была огромная нагрузка).

Процессоры - не знаю, выясню. Думаю, какие-нибудь стандартные Пентиумы.

[piggymouse.livejournal.com]

А чем занимается Global cluster?

[avva.livejournal.com]

Посмотрел немного насчёт процессоров/памяти - картинка неровная, т.к. Брэд часто менял компании, у которых покупал hardware, пока не нашёл ту, которая особенно нам нравится, относительно недавно. Серверы, купленные в последние полгода, выглядят примерно так. DB-серверы - Xeon 2Ghz, 4Gb памяти, SCSI-array диски. Веб-серверы - Pentium 4 2400Mhz, 512Mb или 1024Mb памяти, дешёвые IDE диски. Более старые серверы бывают самые разные, напр. много веб-серверов на P3 800Mhz и P3 1200Mhz.

[object.livejournal.com]

Спасибо большое!

[avva.livejournal.com]

Несколько упрощая, user clusters хранят данные, которые легко разбить per user. Global cluster хранит данные, которые трудно разбить per user (например, стили, интерфейс на всех языках, таблица отношений френдшипа, итп.), а также данные, к которым нужен быстрый централизованный доступ, и которые неэффективно было бы качать с per-user кластеров. К этим последним относится в первую очередь таблица user, в которой хранятся основные данные каждого юзера, включая номер его кластера (чтобы знать, какой user cluster хранит всю остальную его информацию).

[sheb.livejournal.com]

так и видишь этих бегущих в никуда демонов :)