немного о работе

[avva]

Пару слов о том, чем я сейчас занят в рамках работы в LiveJournal.

• Пару дней назад закончилась работа над возможностью модерировать коммьюнити, которая растянулась довольно надолго, т.к. в процессе работы над этим было переделано и добавлено немало других вещей, попадавшихся по дороге.
  
• Сейчас Брэд попросил меня заняться улучшением того, как мы собираем статистику работы серверов LJ, и мониторинга нормальной работы системы. Я этим (network management tools, SNMP итп.) никогда не занимался, однако, и совершенно ничего об этом не знаю. План такой: нужно как следует изучить Cricket и Nagios (LJ сейчас пользуется старой версией Nagios, с тех дней ещё, когда она называлась Netsaint), написать для них плагины (на Перле) для мониторинга и сбора статистики именно того, что нам нужно, установить их на серверах ЖЖ и протестировать всё. Особенно важно собрать и проанализировать с помощью Cricket'а различные виды статистики MySQL, и после того, как мы это поизучаем в течение недели-двух, можно будет заняться удалением bottlenecks и оптимизацией неэффективных мест в SQL и Перле внутри нашего кода.
  
• После того, как изучение, инсталляция и отладка Cricket & Nagios будет завершена, я планирую заняться каким-нибудь большим полезным проектом. Это будет, наверное, либо статистика посещений (платные юзеры ЖЖ смогут видеть точную статистику посещений своего журнала вообще и всех записей в отдельности), либо программа-клиент для умной архивации своего дневника и всех комментов, либо ещё что-нибудь, пока не решено.

Comments

[krylov.livejournal.com]

программа-клиент для умной архивации своего дневника и всех комментов

Вот это было бы сладостно...

Re:

[avva.livejournal.com]

Будет обязательно.

[silpol.livejournal.com]

так есть же (почти что вечность) скрипт перловый, кованный ati&kukutz, делающий все это... или нужны шашечки-в-тулбаре-мышевозильной-запускалки-сапера ???

Кстати уж.

[ge-m.livejournal.com]

Не знаете ли, случайно, ответа вот на этот вопрос?
Это оффтопик, так что отвечать лучше на сам исходный пост.

Re:

[avva.livejournal.com]

Этот скрипт плохой. Он качает всё подряд и не уважает протокол syncitems, к-й у нас есть специально для того, чтобы не надо было всё заново каждый раз качать. Единственная причина, по которой этот скрипт ещё не запрещён на серверной стороне - тот факт, что им пользуются относительно мало юзеров.

Аппликация нужна с шашечками, да, для средних юзеров без шашечек не обойтись, но главное - она не будет по десять раз одно и то же качать.

Re:

[silpol.livejournal.com]

гхм, а протокол syncitems описан где-то ?

Re:

[avva.livejournal.com]

Должен быть описан, в документации протокола клиентов. Проблема в том, что он не полон на самом деле, и не включает ещё поддержки выкачивания комментов, скажем. Проект клиента-архиватора будет включать в себя и расширение этого протокола.

Re:

[silpol.livejournal.com]

ок, понято.