Свежие комментарии

Title Comment
Скаты, Мало того что в ups х.. дозвонишься, так и хотят еще

Скаты,
Мало того что в ups х.. дозвонишься, так и хотят еще, чтобы я им заплатил 2700 за брокерские услуги. главное про самостоятельную растаможку рассказывают так с усмешкой, что хочется слать их на.

Амазон разозлил. UPS = Сцуки грязные. Ненавижу их.

Да я все это знаю. Вопрос о том, чтобы сделат еще лучше мас

Да я все это знаю.

Вопрос о том, чтобы сделат еще лучше массовый сервер не стоит - есть апач, данный нам свыше и куча модулей к нему. Если речь шла об улучшении массового продукта, тогда ой.

Но для проектов, разрабатываемых с нуля, мой подход отлично подходит. Не обязательно больших. По моим наблюдениям на среднем проекте отказ от требующего доработки опенсорса и переписывание сервера приложений (или чего-то еще) с нуля обходится дешевле, чем постоянное латание опенсорса. И бонус тут не в том, чтобы сэкономить килобак, поставив 1 сервер вместо двух :) в проекте, стоящем $50K, а в том, чтобы иметь максимально стабильное решение, дешевое в поддержке и развитии.

Да, кстати, нормальная архитектура - это не "выигрыш 5%", это выигрыш в разы на разработке и поддержке, а иногда - и выигрыш в разы на производительности.

У меня префорки аля apache 1.3, но процессы делятся на три г

У меня префорки аля apache 1.3, но процессы делятся на три группы - приоритетные (гр.1), обычные (гр.2) и типа сборщика мусора что бы отшивать клиентов если в первых двух нет места. Процесс может переводить себя из группы в группу, скажем при открытии/закрытии соединения с БД или удаленным Web сервером. Также из группы 1 процесс автоматом переходит в группу 2 при отсутствии активности.
С одной стороны 24/7 молотят cgi`ники с бешеной частотой (постоянные реконнекты), с другой имеем щадящие кипэлайвы - все счастливы.

Первый вариант был на потоках (топо в лоб), но кривой STL и оракловый клиент с сюрпризами, заставил писать сторожевого пса который передергивал демона если падал (случалось примерно раз в неделю).

Потом были префорки с управляющим процессом, но система распределения запросов была сложна и дорога, поэтому родил тоже, но на 4-х семафорах в наборе... все круто, работает само, но есть побочный эффект - процессы в группе разблокируются по семафору последовательно и это не поддается контролю, поэтому после перехода в активное состояние, процесс обратно скорее всего не вернется т.к. периодически будет получать свой запрос. Пул растет, ресурсы расходуются впустую.
На себе прочувствовал что бывает с пулом процессов когда начинает тупить фронтэнд.

Еще до конфы начал думать о мультиплексинге, очередях и ограниченного набора процессов в пуле (воркеров).. теперь на 100% склоняюсь к этому... буду ваять.
Очень вкусно выглядят очереди с приоритетами и специализация воркеров.

В качестве server side script активно юзаю lua :) отлично вяжется с сями, только синтаксис немного убогий... в остальном очень доволен.
Замутил свой lua home pages с компиляцией, но коллеги-перловики смеются.. говорят что видимо все сишники в какой-то момент изобретают свой lhp (похожий проект уже есть - lsp) :)
Встраиваю везде где только можно, есть модули для 2-х апачей.

Написал длинное письмо, потом стер, сейчас его же напишу. A

Написал длинное письмо, потом стер, сейчас его же напишу.

Apache 2.0 выпускали лет 5 или 7 и довольно большой толпой. mod_perl2 начали в 2002м, релиз выпустили в 2005-м.
Это все не такая маленькая задача, если мы делаем именно массовую вещь (на nginx посмотри :).

А тредовый сервер "общего применения" вещь вообще опасная т.к. в тамошнем сервере приложений будут работать приложения от разных криворуких программистов и ничего хорошего из этого не получится. Там реально много проблем, в числе прочего связанных с тем, что нужен не свой server-side скрипт, а PHP/perl/pyhon/Ruby далее везде. И основной рынок, который за 5% может и удавиться - хостеры - на отсутствие изоляции никогда не смогут пойти.

Остаются всякие крупные порталы, у которых сотни машин под однотипной задачей. Вычеркнем из них тех, у кого задача уперта в диск и 5% экономии на zero copy не вылечат. Останется очень очень мало. И у них, конечно, 5% экономии - это заметная величина - на каждой тысяче серверов можно поэкономить, скажем, 100 килобаксов т.е. вроде бы разработка окупается (для внутреннего применения то-се, казалось бы пара человеко-месяцев и все работает).
Но про альтернативные издержки тоже надо помнить, пул сотрудников, которые могут писать такое - очень маленький, брать новых негде, а значит лучше занять чем-то более полезным, что даст не 5% прироста, а 50.

(в сторону) Яндексовское Not invented here периодически потрясает.

Встретились как-то 2 анонимуса ... :)

Встретились как-то 2 анонимуса ... :)

Это был я :)

Это был я :)

Почему-то логин не подставился. Anonymous, который "мы пообс

Почему-то логин не подставился. Anonymous, который "мы пообсуждали" - это я.

Если "никогда не будет", значит это никому нахрен не надо. Б

Если "никогда не будет", значит это никому нахрен не надо. Благо программировать там не так уж много - вполне по зубам одиночке за разумное время.

Мне надо, так у меня есть собственный сервер приложений. Почти как описано - с пулом тредов под разные задачи (там не только HTTP), но с небольшой поправкой - все задачи реализованы в виде state machine (благо server side script тоже свой). Не state machine - только обращение к SQL (руки не дошли расковырять, как его сделать асинхронно).

Мы это все пообсуждали в кулуарах с Анатоликсом и с Антоном

Мы это все пообсуждали в кулуарах с Анатоликсом и с Антоном тоже.
На мой взгляд, Антон сравнивал два таких случая
- "базовый поиск", который сам по себе http-сервер, многопоточный и т.п.
- его же (возможно в однопоточном варианте) плюс frontend

Понятно, что никакого zero copy в такой ситуации нет, оверхед в 5 процентов (если мы, скажем, гигабит насыщаем) - вполне вероятен (на пальцах, примерно столько и должно получиться).

Другой вопрос, что "базовый поиск" - это общение по быстрой локальной сети с фронтендом (метапоисковиком), плюс одновременно (параллельно) выполняемых запросов мало, как я понимаю - десятки.

В случае веб-сервера общего назначения, жизнь гораздо хуже - каналы медленные, плюс хочется держать keepalive. Пропагандируемый Антоном Apache2 (с сервером приложений, ну хоть mod_perl) в этом месте крякнет (т.к. будет держать под парами интерпретатор перла даже для keep-alive threads).
Я в кулуарах пофантазировал про идеальный тредовый сервер. Получилось как-то так
- пул threads для приема запросов (включая uploads)
- пул (с жестко регулируемым количеством) threads для сервера приложений
- пул для отдачи (сюда же отдача статики)
- пул threads для keep-alive (хватит и одной, там можно стейт-машину сделать :)

Но такого идеального http-сервера нет. И, я думаю, никогда не будет т.к. упаришься программировать. Ну если только Антон напишет. Ну а вообще - и смысла нет, ради избавления от лишнего копирования backend-frontend городить такой огород просто нет смысла.

Здравствуйте, Алексей. Тоже был на Хайлоаде. Первый день, н

Здравствуйте, Алексей.

Тоже был на Хайлоаде. Первый день, на докладе Антона Самохвалова сидел от Вас через проход... много смеялся :)

По поводу 10000 потоков (жесть, особенно UDP пакеты с зелеными потоками)... склоняюсь в сторону стейтмашины.. успел наступить на много грабель и постепенно подхожу к реализации схемы, с мультиплексингом на входе (потокам уже давно не доверяю, сейчас активно использую вариации на тему префорков). Вообще странно, перед этим докладом старшие озвучили идеальную, на их взгляд, архитектуру, в которой ввод/вывод осуществляется за счет мультиплексинга, а Антон гнул свое с кучей потоков. В общем позиция Яндекса не ясна, скорее всего смешали в кучу параллельные сервера и задачи связанные с вычислениями, из-за этого и непонятки. Игорь С. произвел положительное впечатление как человек и как специалист, старая школа, полностью поддерживаю :)

Первые 3 доклада очень порадовали, остальное полная лажа или смех сквозь слезы. Mail.ru отжег :)

Второй день совсем отстой (хотя про Сфинкс было очень даже ничего), зажег даже Яндекс с ассинхронной обработкой :) Надо было идти на DDOS, но кто же знал.

В целом получил массу удовольствия, приятно встретить единомышленников, очень порадовал тезис - если в базе появились тригеры или куча хранимых процедур - у вас что-то не так, база должна быть простой :)

Да, на movable type (блог) такое можно сделать "из коро

Да, на movable type (блог) такое можно сделать "из коробки", хотя комментаторов уже реально много (с учетом импорта из ЖЖ) и я утомлюсь.

На остальных трех сайтах - это мучительно. Когда прет поток с dpreview по ссылкам - я обычно сплю, там крайне нежелательно тормозить процесс.

Не, ты не понял. Делаем двухступенчатую систему: запостить м

Не, ты не понял. Делаем двухступенчатую систему: запостить может любой зарегистрировавшийся, но пока ты руками не подтвердишь "этот зарегистрировавшийся - живой", от него не пройдет ни один пост со ссылкой (точнее, они попадут в очередь модерации).

Таким образом и комментариев будет достаточно (потому что львиная доля - без ссылок), и спам проходить не будет.

так регистрируются и спамят. немного, но не ноль

так регистрируются и спамят. немного, но не ноль

А смешанная система с модерацией только незарегистрированных

А смешанная система с модерацией только незарегистрированных? Или, тем паче, только незарегистрированных, которые вставляют ссылки?

комментариев будет на порядок меньше. А на это я пойтить не

комментариев будет на порядок меньше. А на это я пойтить не могу

слушайте, переименуйте хайлоад в коллайдер! а то слово непри

слушайте, переименуйте хайлоад в коллайдер! а то слово непривычно читать как-то...

А чем тебе не угодило ручное заведение эккаунтов пользовател

А чем тебе не угодило ручное заведение эккаунтов пользователей? Или полуавтоматическое?

Посередине - именно RPP. Слева - ACR defaults, справа - ACR

Посередине - именно RPP. Слева - ACR defaults, справа - ACR c шумодавом.

Тот, что посередине ИМХО лучше всех. Это чем сделано?

Тот, что посередине ИМХО лучше всех. Это чем сделано?

Это же все плата за свободное немодерированное комментирова

Это же все плата за свободное немодерированное комментирование. Я спама дохренища вычищаю, достало уже.

...а еще не работают, например, мышиные жесты в FF. Адски не

...а еще не работают, например, мышиные жесты в FF. Адски неудобно.

Да, по хорошему надо дальше доделывать 1) Javascript onclic

Да, по хорошему надо дальше доделывать
1) Javascript onclick (и менять форму курсора)
2) обрабатывать внутренние ссылки.

А на размер кода наплевать, это как раз жмется отлично.

И ещё, пятый пункт: увеличивается размер кода страницы. По б

И ещё, пятый пункт: увеличивается размер кода страницы. По большому счёту, это не критично, но при значительном количестве комментариев это уже будет заметно.

Алексей, интересный ход =) У меня есть несколько мыслей по э

Алексей, интересный ход =)
У меня есть несколько мыслей по этому поводу:

1. Иконка у каждого комментария, обозначающая, что ссылка внешняя нормально. Но когда комментариев много, от иконок рябит в глазах.

2. Ссылки на собственный блог из трекбэков и комментариев будут отображаться с той же иконкой, т.е. принцип внешности теряется.

3. Ссылки теряются. Например, ссылка читать дальше из трекбэка уже не ссылка, а просто подчёркнутая фраза.

4. Подчёркнутые фразы, которые раньше были ссылками, а также имена комментаторов, которые тоже раньше были ссылками, не очень хорошо смотрятся, потому что по ним нельзя кликнуть. Это привычка, что на имени комментатора есть ссылка, тем более, что это имя подчёркнуто как ссылка. То же самое и с явными ссылками, начинающихся с http, подчёркнутых, но не залинкованных хочется кликнуть сразу, но приходится к иконке тянуться.

standalone конвертор - нескоро. А всякая standalone-мелочь

standalone конвертор - нескоро.

А всякая standalone-мелочь - пораньше :)

О, выложили уже, спасибо. Я не тормоз, я хочу стать космонав

О, выложили уже, спасибо. Я не тормоз, я хочу стать космонавтом.

равчики от А900 я вот тут брал: http://www.imaging-resource

равчики от А900 я вот тут брал:

http://www.imaging-resource.com/PRODS/AA900/AA900THMB.HTM

Тэг незакрыт, горизонт завален. Круто вы нарезаете, поздрав

Тэг незакрыт, горизонт завален.

Круто вы нарезаете, поздравляю. Пришли плиз равчик от А900, если у тебя они есть какие-нибудь содержательные.

поздравления передаются когда выйдет standalone продукт?

поздравления передаются
когда выйдет standalone продукт?

Поздравляю. Быстро проползли :)

Поздравляю. Быстро проползли :)

Pages

Subscribe to comments_recent_new