немного о работе

[avva]

Пару слов о том, чем я сейчас занят в рамках работы в LiveJournal.

• Пару дней назад закончилась работа над возможностью модерировать коммьюнити, которая растянулась довольно надолго, т.к. в процессе работы над этим было переделано и добавлено немало других вещей, попадавшихся по дороге.
  
• Сейчас Брэд попросил меня заняться улучшением того, как мы собираем статистику работы серверов LJ, и мониторинга нормальной работы системы. Я этим (network management tools, SNMP итп.) никогда не занимался, однако, и совершенно ничего об этом не знаю. План такой: нужно как следует изучить Cricket и Nagios (LJ сейчас пользуется старой версией Nagios, с тех дней ещё, когда она называлась Netsaint), написать для них плагины (на Перле) для мониторинга и сбора статистики именно того, что нам нужно, установить их на серверах ЖЖ и протестировать всё. Особенно важно собрать и проанализировать с помощью Cricket'а различные виды статистики MySQL, и после того, как мы это поизучаем в течение недели-двух, можно будет заняться удалением bottlenecks и оптимизацией неэффективных мест в SQL и Перле внутри нашего кода.
  
• После того, как изучение, инсталляция и отладка Cricket & Nagios будет завершена, я планирую заняться каким-нибудь большим полезным проектом. Это будет, наверное, либо статистика посещений (платные юзеры ЖЖ смогут видеть точную статистику посещений своего журнала вообще и всех записей в отдельности), либо программа-клиент для умной архивации своего дневника и всех комментов, либо ещё что-нибудь, пока не решено.

Comments

[amigofriend.livejournal.com]

Статистика посещений - это заманчиво!

[piggymouse.livejournal.com]

Присоединяюсь!

любопытно.

[ex-makaroff405.livejournal.com]

ты как-то говорил, что лисп изучаешь. интерес к лиспу не был как-то связан с работой в lj?..

Re: любопытно.

[avva.livejournal.com]

Даже близко не связан никак. Просто захотелось закрыть эту очевидную лакуну.

Re: любопытно.

[ex-makaroff405.livejournal.com]

жаль ;)

[krylov.livejournal.com]

программа-клиент для умной архивации своего дневника и всех комментов

Вот это было бы сладостно...

Re:

[avva.livejournal.com]

Будет обязательно.

[silpol.livejournal.com]

так есть же (почти что вечность) скрипт перловый, кованный ati&kukutz, делающий все это... или нужны шашечки-в-тулбаре-мышевозильной-запускалки-сапера ???

Кстати уж.

[ge-m.livejournal.com]

Не знаете ли, случайно, ответа вот на этот вопрос?
Это оффтопик, так что отвечать лучше на сам исходный пост.

Re:

[avva.livejournal.com]

Этот скрипт плохой. Он качает всё подряд и не уважает протокол syncitems, к-й у нас есть специально для того, чтобы не надо было всё заново каждый раз качать. Единственная причина, по которой этот скрипт ещё не запрещён на серверной стороне - тот факт, что им пользуются относительно мало юзеров.

Аппликация нужна с шашечками, да, для средних юзеров без шашечек не обойтись, но главное - она не будет по десять раз одно и то же качать.

Re:

[silpol.livejournal.com]

гхм, а протокол syncitems описан где-то ?

Re:

[avva.livejournal.com]

Должен быть описан, в документации протокола клиентов. Проблема в том, что он не полон на самом деле, и не включает ещё поддержки выкачивания комментов, скажем. Проект клиента-архиватора будет включать в себя и расширение этого протокола.

Re:

[silpol.livejournal.com]

ок, понято.

[silpol.livejournal.com]

SNMP - не самое лучшее средство для ваших целей, вам нужна скорее разово написанная приблуда по сборке статистики гибко и эффективно... я могу попозже попробовать изложить это чуть более детально, если это интересно...

[silpol.livejournal.com]

пишу сам себе комментарий, дабы продолжить...

SNMP в силу ряда моментов несколько неадекватен (на мой взгляд) поставленной задаче "сбора статистики"

1) SNMP базируется на UDP - как следствие гарантированный геморрой на утере пакетов, ретрансмиссиях, етц
2) SNMP использует BER, как следствие обмен данными становится обьемным, как по траффику, так и по последующей интерпретации
3) SNMP по природе своей заточен как "статистика для рутеров и прочих коммуникационных коробок", и последние тенденции направлены на на уход с него даже в телекоме
4) чисто человеческий фактор - даже от опытного программиста требуется просто нечеловеческий уровень следования формальным спецификациям и процедурам, иначе слишком легко утратить контроль над ситуацией: один из наших отделов, занимающийся оркестровкой network management architecture внутри конторы, слывет как "стая бюрократических церберов".

мой совет прост - не тратьте драгоценное время на SNMP обвязку, она окупает себя только когда речь идет о промышленной эксплуатации сотен или тысяч коробок однородной направленности, географически разбросанных по большой территории. лучше собирайте raw data с timestaps и, опционально, привязкой к тем или иным events внутри кода...

наблюдать за траффиком на интерфейсах (и не только траффиком) можно банальным MRTG (http://people.ee.ethz.ch/~oetiker/webtools/mrtg/mrtg.html) - он вполне адекватен, т.к. дает быструю оценку использования почти любых ресурсов в виде временнЫх графиков, с возможностью детализирования по времени вплоть до минут...

к сожалению, я плохой советчик что касается SQL server performance - последние 4 года не касался SQL серверов и, откровенно говоря, счастлив от этого...

Re:

[avva.livejournal.com]

Дык MRTG и использует SNMP, чтобы с раутером говорить.
SNMP нам нужен только для того, чтобы получать информацию от BigIP, и ни для какой другой цели. Мы не собираемся всё остальное через него "обвязывать".

[denspb.livejournal.com]

А может еще одна добавка к модерированию коммьюнити -- возможность за'screen'ивать посты целиком?

Re:

[avva.livejournal.com]

А какой смысл? Лучше тогда удалять уже.

Проблема в том, что у нас нет понятия "заскринивать посты", только комменты, и расширения этого понятия на посты - слишком много работы только ради этой возможности.

Иногда предлагают ввести возможность смотрителю/модератору закрывать весь пост под элжекатом, но пока что нет согласия всё же по этому поводу, есть хорошие аргументы и против этого.

[denspb.livejournal.com]

Под "заскриниванием" я понимаю ситуацию, когда private-пост в community виден только его автору и всем модераторам, но не остальным подписчикам community.

Дело в том, что бывают посты абсолютно корректные по содержанию, но неподходящие по форме. Хотя бы те же длинные посты без LJ-cut'а -- удалять такие посты не хочется, а вот временно его закрыть на время редактирования его автором было бы полезно.

[krace.livejournal.com]

статистика посещений, на мой взгляд, -- шаг в сторону, "куриные жопки", "фенечки", bells'n'whistles.
хотелось бы увидеть развитие проекта не во всемирную ярмарку тщеславия, а в "умный" рабочий блокнот, каковым инструментом дневник по сути изначально и является.

уже писал однажды, очень полезно было бы добавить в интерфейс возможность использования шаблонов хотя бы в заглавиях записей, поиска и просмотра собственного архива по ключевым словам, группировки по заглавиям. мемориз -- недостаточно удобный способ, мне кажется.

[jinxli.livejournal.com]

"каждому своё"
мне вот умных рабочих блокнотов не надо
я как раз статистику посещений очень хочу :)

[krace.livejournal.com]

Вы правы, конечно, Jedem Das Seine.

Просто статистику умелый и сейчас имеет, а скрипты свои с наворотами писать -- трудозатрат много, да и единого стандарта нет, а значит непортабельно получится.

Но всё равно, в главном Вы правы.

Re:

[avva.livejournal.com]

В общем, Вам уже ответили. Шаблоны и ключевые слова - это для power user'ов, которых в ЖЖ довольно мало. Статистика - это будет нарасхват. Это не значит, конечно, что не будет шаблонов и ключевых слов.

Кстати говоря

[graph.livejournal.com]

Сильно не хватает одной фишки. реализацию которой я видел, например. в www.virtograd.ru: пункта меню "Мои отзывы", т.е. возможность посмотреть в одном месте все свои отзывы...

Re: Кстати говоря

[avva.livejournal.com]

Да, не хватает очень.
Это когда-то было очень давно, два года назад, но было неправильно сделано и потому очень неэффективно, и Брэд убрал эту опцию.
Надо её добавить обратно, и, несомненно, это случится.

Re: Кстати говоря

[graph.livejournal.com]

Ура :). Будем ждать, впрочем, как и клиента с продвинутой функцией архивации... Хотелось бы, конечно, иметь простую возможность создать у себя на CD точную копию своего (или любого) ЖЖ за определенный период...

Кстати, в www.virtograd.ru появилась еще одна очень полезная фишка - "Новые отзывы": лента комментариев на все мои заметки и отзывы. Такой вариант мне представляется более естественным и удобным, чем существующий в настоящее время в ЖЖ механизм рассылки отзывов по почте.

О!

[esycat.livejournal.com]

Последний пункт просто замечателен. :-)

[photon.livejournal.com]

(скандируя) Se-arch! Se-arch! Se-arch!

Прелесть дневников ведь в том, что их можно назад листать. А без интеллигентного поиска это не реально.

"Большой полезный проект" - suggestion

[greenadine.livejournal.com]

Не рассматривается ли возможность разработки полнотекстового поиска, хотя бы в избранных дневниках (хотя бы в своём собственном)? В самом деле, этого сильно не хватает, поскольку обычные поисковые системы ЖЖ практически не индексируют...
Или мощностей не хватает для индексации?

Re: "Большой полезный проект" - suggestion

[avva.livejournal.com]

Рассматривается; но скорее всего, только для собственного дневника и для платных юзеров.