попытка конструктива

[avva]

Что вы не знаете и хотели бы узнать?

Что вы не понимаете и хотели бы понять?

Напишите в комментариях, и может, другие люди, читающие этот журнал, смогут рассказать, объяснить или дать нужные ссылки.

(это пробный камень. Если запись оправдает себя, сделаю ее регулярной. Прошу не троллить и не паясничать, спасибо)

Comments

[katja-i.livejournal.com]

Хотела бы найти наиболее оптимальные алгоритмы для вырезания сгустков текста из такой вот примерно каши:

xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
xxxxxxxxxxxxxxx ерунда ерунда xx ерунда ерунда xx x
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
текст нормальный  текст  который  текст  нормальный 
текст текст нормальный текст который текст  который  
текст  нормальный нормальный xxxxxxxxx снова ерунда  
и  ещё ерунда xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx 
текст нормальный текст который текст  текст  текст 
текст нормальный текст  который текст который текст  
текст нормальный текст  который текст который текст  
текст нормальный текст  который текст который текст  
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
xx снова ерунда  снова ерунда xxxxxxxxxxxxxxxxxxxxx
xxxxxxxxx снова ерунда снова ерундаxxxxxxxxxxxxxxxx
xxxxxxxxxxxxxx снова ерунда снова ерундаxxxxxxxxxxx
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

но пока ничего хорошего не попадалось. Может кто-то пальцем покажет, в какую сторону смотреть.

[ichthuss]

Я бы смотрел в сторону цепей Маркова - создал бы модель нормального текста и сравнивал бы вероятность получить данный фрагмент текста с соответствующим порогом.

[katja-i.livejournal.com]

О, спасибо за идею!

[ichthuss]

Хотя, пожалуй, с цепями Маркова я немного маху дал, но в любом случае посоветую статистическую модель текста. Неплохое описание различных моделей есть здесь: http://algolist.manual.ru/download.php?path=/compress/standard/tcmodel.zip

[shuriksprivetom.livejournal.com]

а что подходит под определение ерунда? случайный набор символов, или это все же случайный набор слов, только без контекста (не связаных логически)?

[katja-i.livejournal.com]

"ерунда" тут - это какие-то фразы, может быть даже целые предложения, не связанные с основным текстом (слишком далеко отстоят от "ядра", повторяются в различных образцах и т.д.). Сложность как раз и состоит в определении ядра как такового, точнее в определении того, где именно находятся его края.

[shuriksprivetom.livejournal.com]

извините за хитрый вопрос, конкретная задача состоит в том, чтобы с генерной интеренет-страницы вычленить рекламу и флуд и забрать только статью-пост?

[katja-i.livejournal.com]

Да, подходит, это один из частных случаев.

[shuriksprivetom.livejournal.com]

ну, в таком случае, делаете запрос на страницу с разницей определенный промежуток времени (час, день и тд.), и смотрите какая часть текста неизменилась. в большинстве случаев это и будет статья. вычислить комменты можно по ростущему номеру строки, да и по размеру коммент обычно меньше чем статья. извините, что ушел от ответа по глубинному анализу текста на ядро, но думаю это может помочь.

[katja-i.livejournal.com]

Спасибо, интересная идея (отслеживать страничку в исторической перспективе). Но как раз трюков подобного рода и хотелось бы избежать, вооружившись правильной математикой.

[katja-i.livejournal.com]

Отдельное спасибо за Paris Combo! Никогда не слышала прежде, очень понравилось.

[shuriksprivetom.livejournal.com]

приходите еще.