Вопрос про мониторинг ЖЖ

lexa - 06/Окт/2007 23:48
А вот есть ли какой-то способ быстро (секунды) узнавать, что в ЖЖ-юзер написал новый пост? Мониторить надо, допустим, несколько тысяч журналов.

Вижу такое решение: зафрендить и мониторить френдленту, но ведь забанят, если раз в 10-15 секунд ее дергать ?

P.S. Задавать вопросы в блоге понравилось. Работает, ответы хорошие. Попробую еще.

Comments

c0der (not verified) - 07/Окт/2007 01:38

чтобы узнать,что конкретный юзер написал пост можно через определенное время парсить его юзеринфо(либо в html-формате, либо в foaf) http://xc0der.livejournal.com/profile?mode=full (http://xc0der.livejournal.com/data/foaf),в них есть поле "последняя запись", содержащая дату и время последней записи. но есть способ лучше - мониторить общую ленту всего ЖЖ в html - http://www.livejournal.com/stats/latest.bml или xml - http://www.livejournal.com/stats/latest-rss.bml . Первый способ хорош тем, что возможно узнать об обновлении жунала даже если это friends-only или private запись. в общую ленту, понятное дело, попадают только public записи.
еще может пригодится bot policy - http://www.livejournal.com/bots/

lexa - 07/Окт/2007 09:20

Проблема в том, что мне не надо весь ЖЖ. Наоборот, мне надо конкретных пользователей, но максимально быстро.

c0der (not verified) - 07/Окт/2007 19:19

а предлагаемый мною первый вариант чем не подходит?можно ведь не скачивать каждый раз юзеринфо, а проверять и если файл изменился, скачиват и если надо, записывать время обновления и по необходимости забирать запись по RSS(если она публичная)

lexa - 07/Окт/2007 19:25

Он нормальный, но это pull. А pull-ом можно и просто френдленту перечитывать (с теми же ограничениями).

Хорошее решение (в том смысле, что оно push) подсказали в комментах в ЖЖ: подписаться на нотифаи о новых записях через IM и ловить их Jabber-ом.
http://alextutubalin.livejournal.com/43428.html?thread=50340#t50340

Денис Болтиков (not verified) - 07/Окт/2007 03:01

А раз в минуту уже не пойдет?

lexa - 07/Окт/2007 09:21

Для того сервиса, который я обдумываю, первые пропущенные секунды могут быть критичными.

Андрей Серебряков (not verified) - 07/Окт/2007 03:19

Да, что-то уж слишком маленький интервал. :)
Я, конечно, не так часто ленту проверяю, но решение такое нашёл: создал группу друзей в ЖЖ RSS , затем эту ленту по RSS читаю.

Вообще, Яндекс ведь мониторит ЖЖ. И делает запросы к нему, по всей видимости, гораздо чаще, чем 10-15 секунд. Значит можно попробовать.

c0der (not verified) - 07/Окт/2007 19:24

в случае с Яндесом, я думаю он узнает о новых запсях с помощью пинга.(livejournal вроде такое умеет)

Upo (not verified) - 07/Окт/2007 10:40

Ну теперь даже не надо спрашивать что за сервис планируется, он называется: "первый нах" :-)

lexa - 07/Окт/2007 14:20

Тоже идея хорошая.

Michael Monashev (not verified) - 07/Окт/2007 14:44

В ЖЖ есть фид, куда пишутся все новые записи потоком. Можно читать этот фид. Сколько он мегабит выдаёт, я не знаю, но если задача того стоит, то можно и покачать.

Ссылку на него не вспомню.

c0der (not verified) - 07/Окт/2007 19:21

я уже выше ссылки привел

upo (not verified) - 08/Окт/2007 11:42

А мегабиты тут причем? Читать надо только голову потока до того места где в прошлый раз было начало. Ндеюсь как это сделать об'яснять ненадо?

lexa - 08/Окт/2007 11:46

А неважно.

Мне нужно, грубо говоря, 0.1% от ЖЖ. А все предлагают 100%

Alex (not verified) - 08/Окт/2007 10:51

Идеально подходит вот это, если трафика не жалко:
http://updates.sixapart.com/

Goodvin (not verified) - 08/Окт/2007 11:31

Я однажды пробовал написать скрипт friends2email и обнаружил, что можно проверять наличие обновлений ЖЖ конкретного пользователя по дате обновления его страницы, выдаваемой по запросу HEAD. Для RSS тоже работает. Думаю, смело можно тягать HEAD'ы раз в несколько секунд.

Goodvin (not verified) - 08/Окт/2007 11:57

Для rss, кстати, работает добавление к заголовку запроса поля "If-modified-since":

$ GET -i '2007-10-08 00:00:00' http://goodvin.livejournal.com/rss
(ничего нету)
$ GET -i '2007-10-01 00:00:00' http://goodvin.livejournal.com/rss
(много букв UTF-8)

Сергей Михайлов (not verified) - 10/Окт/2007 08:58

Может быть RSS анализировать?

Можно задействовать Pipe от Яхо.

Поищите в Сети форум "Тормоза" на этот счет.

lexa - 10/Окт/2007 09:04

Yahoo pipes попользовался три дня и отказался
1) ничего, кроме примитивной фильтрации по кейвордам там для задачи сделать не получится
2) при этом, информация об источнике теряется.

webushka (not verified) - 06/Окт/2007 19:27

http://updates.sixapart.com

lexa - 07/Окт/2007 02:00

А там можно наложить фильтр по тем юзерам, которые меня интересуют ?

webushka (not verified) - 07/Окт/2007 06:06

Их средствами - нет. Фильтровать придётся самому. Это ж фид для поисковых машин.

lexa - 07/Окт/2007 07:19

В тех масштабах, что мне нужны, - это из пушки по воробьям. Даже в самых смелых мечтах мне больше нескольких тысяч записей в день не нужно, это процент от русскоязычного ЖЖ и о-малое от ЖЖ вообще.

webushka (not verified) - 07/Окт/2007 07:46

Тогда только создавать отдельные аккаунты, вписывать в друзья (а на их число есть лимит, как есть и лимит на количество добавленных за день) и ставить в настройках крыжик "уведомлять на IM, если кто-то из друзей напишет пост". Ну, и держать запущенный джаббер для приёма этих самых уведомлений...

lexa - 07/Окт/2007 07:59

О. IM - хорошая идея.

А лимиты пока не волнуют, хочется оттестироваться, поток тестеров я смогу
сам регулировать, не проблема. А если пойдет, то и целиком выкачать не такая проблема.

webushka (not verified) - 07/Окт/2007 08:14

Уведомления о новой записи юзера включаются через кнопку в его профиле. Или так - http://www.livejournal.com/manage/subscriptions/user.bml?journal=someuser

xc0der (not verified) - 07/Окт/2007 16:51

только у этой штуки есть один несущественный недостаток - уведомления довольно не стабильно работают.вспомните как "оперативно" приходят комменты на е-мейл :)

lexa - 07/Окт/2007 16:54

На e-mail - нормально приходят. Мгновенно.
Я, конечно, не очень активный жж-юзер, но не помню, чтобы что-то упустил.

xc0der (not verified) - 07/Окт/2007 17:08

не, бывают перебои, особенно с е-мейл уведомлениями..

motto (not verified) - 07/Окт/2007 17:37

лаки бастард.

99: уведомлений приходят нормально.

1% может не свести. Трое суток тотальной заедржки были на моем памяти, Приход комментариев недельной и двухнедельной давности -- тоже.

я не буду тебе говорить, что почтовый кластер такого размера -- штука сложная :)

motto (not verified) - 07/Окт/2007 13:31

тогда тебе все правильно сказали

френдлена совсем не годится
возожно, прямой пинг по http будет несильно быстрее, чем подписка. И ТОЧНО надежнее: все жжшные алерты надежно глючат. Почтовый кластер у них вообще любит чудить.

Дергать, очевидно, лучше RSS с заголовками

motto (not verified) - 07/Окт/2007 13:34

я тупой
тебя забанят за слишком частые рнеквесты, так что тебе еще и потребуется сеть распределенных прокси (которая впрочем, есть легальная (я забыл название)), а делать-то тебе достаточно HEAD они в этом месте могли облажаться, но проверить-то две копейки.

xc0der (not verified) - 07/Окт/2007 17:13

Re: я тупой
я как-то час забирал агрессивно юзеринфо разных юзверей на 100Мбитке и меня не банили :)( в отличии от Яндекса, который каждых полчаса вроде банит по IP )
здесь прописано что можно, а что нет - http://www.livejournal.com/bots/

motto (not verified) - 07/Окт/2007 17:28

Re: я тупой
еврисинг кен би брокен

я достаточно хорошо помню, как пи... отключали ППБ на разных этапах его существования, поэтому честно предупредил

да, яндекс банит очень жестко. Но Алексей в курсе, я полагаю.

lexa - 07/Окт/2007 16:56

Как-то не хочется для 100 юзеров делать 100 запросов в 15 секунд.

Блин, получается что сервис для узкого круга жж-шников и не сделать ?

Ну и ладно, может оно и к лучшему.

xc0der (not verified) - 07/Окт/2007 17:15

ну если хочется только public записи использовать, то проще простого раз в 10 секунд скачивать общий фид всего ЖЖ

motto (not verified) - 07/Окт/2007 17:25

если я тебе скажу, что из каждых 5000 юзеров можно сформировать френдленты, которые можно дергать, но при этом необходимо учитывать все внутрикластерные глюки жж, то тебе не станет легче, да?

motto (not verified) - 07/Окт/2007 17:32

кстати, "кто хуже: (100 head или 1 get)/15 sec. " , безусловно, один из моих самых любимых вопросов/
Поскольку жж -- вполне себе опенсорс, то этот вопрос можно выяснить читая код :)

lair (not verified) - 07/Окт/2007 14:53

Подписаться на обновления френд-ленты через почту или джаббер.

ivan_gerh (not verified) - 12/Дек/2007 17:53

А как это? Где-то в настройках?

lair (not verified) - 12/Дек/2007 17:56

Устойчивое ощущение, что было здесь.

http://www.livejournal.com/manage/subscriptions/

Но не могу найти почему-то. То ли убрали, то ли у меня галлюцинации.

ivan_gerh (not verified) - 12/Дек/2007 18:35

Мдя... Я в подписках тож смотрел... (((
Есть такая фича для платников, но это ж маразм...