Linux vs FreeBSD

Не могу не попиарить мегатред про Linux vs FreeBSD (зачин: Рамблер-почта переезжает с FreeBSD на Linux, там же в каментах про аналогичный переезд Яндексовского кластера).

От себя хочу заметить что хотя часть аргументов лично мне кажется неубедительной (на мой взгляд "монолитная система" - это преимущество, а репозиторий бинарных пакетов для больших кластеров все едино надо иметь локальным), остальные аргументы верные:

  • виртуализация;
  • средства разработки (и не только поминаемый valgrind, но и VTune, например);
  • вообще поддержка новых технологий: OpenCL, CUDA (это если брать мои интересы), Java опять же.
  • да и вообще ВСЕ: Linux стал mainstream, а FreeBSD - увы.
То есть, натурально, единственный настоящий плюс, который я вижу у FBSD на сегодня - это ZFS (ну и разные мои личные тараканы: от iptables меня тошнит, а от ipf - нет). Ну и монолитность, да, выбрать "Linux-дистрибутив", где все было бы достаточно свежим, но при этом не долбанутым на всю голову - лично мне достаточно трудно, ну так у меня и опыта такого мало, впрочем.

Пора, короче, домашний сервер на Linux переводить. Да и виртуальную рабочую станцию разработчика - тоже.

Comments

То что Рамблер с Я переезжают на Линукс - это не такой убедительный показатель что Фря плоха - те же полугодовые бенчмарки от того же порнослоника в домене показали что разница несущественна. Вероятно Рамблер имеет в своем штате низкоквалифицированных Unix (Linux+other) и имеет теперь Linux-only одминов - каждый использует то, что лучше знает, это факт. К тому же это все бизнес - а из-за бизнеса и людей с легкостью убивают. CUDA, кстати сказать в FreeBSD-CURRENT поддерживается (отдельным патчем). Я и сам, будь только 1 дистрибутив Linux, переехал бы и серверами и рабочей станцией на Linux. Но сейчас Linux раскалывается также как когда-то пошли порознь пути Linux-BSD - у всех разные порт-менеджеры, у многих сейчас разные X-серверы (Ubuntu привет), у многих разные системы запуска (systemd, openrc..) и что самое страшное - начали появляться дистрибутивы которым не нравяться глибцы, есть дистры с dietlibc или uClibc или Newlib. Теперь холивары между дистрибутивами Линукс а также в скором времени будут новости типа "Рамблер переехал с Debian на RedHAT". "Яндекс переезжает с CentOS на TurboLinux". Хорошо еще ядро пока у всех одно - но оно стало невероятно огромным - корпорации в своих интересах тащат туда все что не поподя, не ровен час когда эта громозека сама себя начнет переваривать.

Не, FreeBSD вовсе не плоха (в частности, в смысле бенчмарок).

Я написал то что написал (и то что другие написали):
- с valgrind долгое время был геморой. Сейчас в 8.x его нет, но вот прямо в Makefile:
.if ${OSVERSION} < 700104 || ${OSVERSION} >= 900000
IGNORE= your FreeBSD version is not supported
.endif
То есть с 9-CURRENT геморой остался (с 6.x - хрен с ней, хотя она у меня до сих пор в бою).
- VTune, CUDA, OpenCL, интеловский компилятор
- свежие gdb + gcc
- грядет, предвижу, геморой с llvm (хотя Эппл вроде переехал с успехом)
- все "высокопроизводительные вычисления" - чистый Linux.

То что в Linux - был, есть и будет бардак (как минимум, зоопарк ядер и glibc, а теперь еще и другие libc) - это и 7-8 лет назад было так (КАК мы этого наелись со Спамтестом! Это что-то!) и не должно было стать лучше.

И отсутствие этого бардака - это ровно то, что лично меня держало на FreeBSD, но я уже потихоньку сдаюсь.

Хорошо еще ядро пока у всех одно

http://ru.wikipedia.org/wiki/GNU_Hurd ,
http://en.wikipedia.org/wiki/Debian_GNU/Hurd

вот правда хз, является ли это линуксом, скорей всего нет

а что с виртуализацией (уж больно кратко)?
что не так с java?

А что там ТАК?
Ну вот к примеру: FreeBSD supports only hardware virtualized (HVM) kernels on amd64 (http://wiki.freebsd.org/FreeBSD/Xen). Прощай live migration, не говоря об эффективности.

linux-sun-jre-1.6.0.24 You must manually fetch the JRE self-extracting file for the Linux platform (jre-6u24-linux-i586.bin) from http://www.oracle.com/technetwork/java/javase/downloads/index.html, place it in /usr/ports/distfiles and then run make again.
Ну и разные гадости пишут по треду по ссылке, врут что на Linux оно реже падает.

linux-sun-jre-1.6.0.24 You must manually fetch the JRE self-extracting file for the Linux platform (jre-6u24-linux-i586.bin) from http://www.oracle.com/technetwork/java/javase/downloads/index.html, place it in /usr/ports/distfiles and then run make again.
это лицензионные заморочки, ты типа там с лицензией согласится должен, что б тебе дали скачать.

Ну и разные гадости пишут по треду по ссылке, врут что на Linux оно реже падает.
я думаю врут.
у них типа ядро падало

Верно ли я понимаю, кстати, что если я хочу java в браузере, то мне нужен линуксовый браузер и эмулятор?

не верно.

Э, да, нашел OpenJDK.

Надо будет попробовать клиент-банк под ним завести, со всеми приколами вроде шифрования по ГОСТ и USB-брелка с ключами, бля.

Нет, Линуксовый ненужен:

portinstall java/icedtea-web

ну и симлинк из ~/.mozilla/plugins

Мне java нужна, извиняюсь, для банк-клиента. Т.е. еще должно получиться весело с драйверами USB-ключика и ГОСТ-шифрованием. На винде оно как-то само все происходит, а тут - буду пробовать, да.

fix: похоже симлинк уже не нужен - IcedTeaPlugin.so ставится в /usr/local/lib и FF его видит.

Незнаю как насчет банк-клиентов, а в Elite и Myth на http://zxspectrum.net играть можно

По опыту работы в *ix, всё равно в больших конторах или солярка (ну и ещё немного хпукса, аикса, т.п.)., или свой переработанный дистрибутив линуха. А этот свой преработанный — всё равно, что там в начале было. Эти стенания на предмет пакедж манагеров, т.п. — кого это волнует, всё равно при разворачивании «сотни серверов» надо своё.

За Родинуфрибзду обидно, конечно, но выделенные пункты — да, никуда не пройти мимо.

И пара ссылок, рядом с этой темой: http://www.c0t0d0s0.org/archives/7386-Implications.html и (не нашёл ссылку) в последней vSphere можно делать виртуалку в виртуалке.

Кто бы линуксу еще ZFS приделал, цены бы не было машинке...

И работает?

Или как в FreeBSD первые года два-три?

https://github.com/zfsonlinux/zfs/issues?labels=Bug&sort=created&directi...

Пока не фонтан, т.к. ZPL не столь сильно нужен, как ZVOL(потому что поверх гоняют люстру)

Ну вот у меня несколько сотен в бою (за год купили где-то под 200 и еще до этого было, так что сотни три есть, наверное). И ничего, обычный центос, со своим репозитарием, но там все что штатное - штатное. Делать мне нефиг, дистр пересобирать.

Когда я прошлой осенью поднимал машинку на амазоне для некоего тестирования, центос меня безумно удивил своей старостью. Чем-то на FreeBSD 5.x было похоже, чуть не третий gcc там ставился (а принести нужный 4.5 запросто - не удалось, проще оказалось VM с какой-то убунтой или чем-то в этом духе поднять).

Я к тому клоню, что не могут твои претензии быть связаны именно с CentOS, застрявшем в 19-м примерно веке?

Может быть, но как можно гоняться за распоследним варезом в продакшене на три сотни серверов?

в больших конторах я в основном RedHAT встречал. Удивительно, что Rambler, ища стабильность и уверенность + иметь возможность своих админов отпускать вечерами домой к семье выбрали опять черти что, а не коммерческий RedHAT, где они получат любую консультацию почему у них что-то не работает. А ведь для такой конторы как Рамблер стабильность должна быть на первом плане, а они ищут халявки. позор.

Смысла в той же поддержке RedHat очень мало.
http://www.vdel.ru/redhat/support/soc

Поддержка не распространяется на:
модифицированные пакеты и пакеты полученные не от Red Hat;
планирование инфраструктуры;
разработку политик безопасности;
каналы Extras/Supplementary;
компоненты, имеющие статус Technology Preview;

Нуууу, на FreeBSD есть полностью живой Valgrind и есть DTrace, которого не Линухе нет, а это ОЧЕНЬ мощная штука. VTune нет, да.
Виртуализация -- VirtualBox вполне поддерживается. kvm нет, факт.

Ну да, я о том же. VTune нет, но есть DTtace (но это про другое). XEN PV есть, но только 32 бита. Vmware нету, но есть virtual box (что там с видеодрайверами, кстати?).
Драйверов под AMD-видеокарты нет (родных нормальных драйверов, не опенсорса), но под NVidia - есть. OpenCL нет, но есть CUDA, если с патчем (сам не пробовал, там выше пишут).

Зато есть DTrace и ZFS. И есть tunables ядра, которые я за 15 лет выучил. И kevent/kqueue.

>Виртуализация -- VirtualBox вполне поддерживается.

VBox - это для десктопа. И у него фиговая производительность в случае SMP-гостя.
(измерял время сборки мира 8.0 amd64 гостем в VBox/Xen/KVM. VBox оказался диким тормозом).

VirtIO драйверов для FreeBSD нет, так что прощай нормальный I/O.

>kvm нет, факт.

Так ведь портировали его на фряху в рамках GSoC. Забросили?

А это только у мну ярко выраженная попоручесть, при которой попытки установить линух на приличные паккардовые платформы проваливаются, по причине не нахождения аппаратного рейда?
Фряха встаёт туда сама, без всяких глупых танцев с бубнами.

Ну "не может быть", чтобы драйвера не было. HP же их вагонами продает, половина корпусов всяко предназначена под Linux.

Но я не пробовал.

Давича попробовал поставить хвалёную Убунту на совершенно бытовую домашнюю машину, с селероном и IDE. Второй системой. Животное не смогло определить размеры динамических томов XP например.
В общем, пока имеем всё то за что так поливали винду и кривые шрифты и глюки в определении устройств и органическое неприятие всех других систем, кроме себя. Только винда к семёрке зело похорошела, а линух как-то не попустит всё.
Далеко ему ещё до мейнстрима, пока любители аутсорса не поймут, что они программируют не для себя и для души, а таки для пользователя. Ну а как это доходит до мозга, так сразу изделие перестаёт быть бесплатным. Например можно попробовать найти сборку линуха с надписью "сервер" бесплатную и удивиться.

А я вот, после стольких уже можно сказать десятилетий на линуксе, все сильнее подумываю начать переводить датацентр на солярис или фрю. Ибо заебал этот пингвин, причем почти в каждой точке. До смерти заебал.

А тут и ZFS, и нетграф или тисипиайпи многопоточное, говорят.

А вот как юникс-десктоп или АРМ разработчика - линух запросто. Лишь бы не в продакшен.

Я за 10 лет работы и с Linux и FreeBSD (нет-нет да и проинсталлю один сервер на фре, а другой на Linux, причем каждый раз беру другой дистр - держу себя в форме) + на рабочей станции одним полужопием (на работе) на фре, дома - на Линукс. Так вот - меня обе очень сильно все достали и я хочу перейти на MACOSX ;)) Линукс кстати меня воротит больше всех - если не фря то поставлю на сервера Solaris а домой MACOSX

Макос тоже долбанутый на всю голову. Ну то есть зависит для чего его использовать, если нужна просто Unix WS с фотошопом и офисом - то жить можно

Ну я (наверное, по счастью) в продакшене линукса не имею. Когда он начал у нас появляться - я аккурат сбежал.

На десктопе, кстати, у меня от него тоже изжога изрядная, но я списываю это на свою неопытность, ибо извел линукс в собственном хозяйстве в 95-м, все что с тех пор возникало - было для тестирования. Собирается, ставится - и зашибись.

Но, блин. OpenCL, CUDA, виртуализация - это я же не выдумал.

Ну да, куда и опенцл. А виртуализация - либо ESXi (который глубоко в душе конечно линукс, но кого это ебет-то?) либо XenServer. А КВМ этот ваш - уебанство какое-то.

Но в основном у меня к пингвинам претензии за сетевой стек (ну и скедулер). Винды какие-то, системы 3.11. Да и основная их файловая система устарела немного, лет эдак на 10-15.

XEN PV - только 32 бита, amd64 - только HVM. Про ESXi не знаю, но боюсь что тоже "аппаратная виртуализация", а не para.
Что больно бъет по миграции и подобным вещам.

ufs2 тоже устарела лет на 30, а ZFS - да, рулит местами. Где-то последний год, до того там были приколы.

xen != xenserver, прикинь, да?
чем ufs2 учтарел на 30 лет?

Про ESXi не знаю, но боюсь что тоже "аппаратная виртуализация", а не para.
Что больно бъет по миграции и подобным вещам.
выглядит как какой-то бред.
ты, кажется, чего-то не того обчитался.

Э, сколько времени fsck на 10-терабайтном томе идти будет?

меньше минуты?

На девятке с логом?

Или на gjournal, который я люблю, но двойное копирование убивает всю идею...

в 9-ке вместо GeomJournal сделаны Soft-Update+J. Что хорошо

Ну да, и я о том же.

Только
а) девятки еще нет
б) нахрена оно мне надо в 2001-м году при наличии ZFS?

нет, без логов и журналов.
просто надо правильные параметры newfs давать при создании

Э, а если файлов РЕАЛЬНО много?

Извиняюсь, хранение аватаров вконтакте?

не парит.
не, ну ты посмотри сам -- там по умолчанию размер файла как 4*fragsize. fragsize по умолчанию 2048, что ли. т.е. расчет на картинки по 8К.
да у тебя в жж аватар больше, чего там про вконтактик говорить?
там килобайт 20 минимум.

да и не засрешь ты 10терабайтный диск такой мелочью.

Fragsize по новым веяниям - 8k. Аватарка моя в facebook - 3k, в жж 36к.

Ну то есть да, конечно, если набить 10Tb диск этим - то оно жить не будет под нагрузкой. Это с одной стороны.

С другой стороны - я всю жизнь делал 16-32kb на inode - и на out-of-inodes на 0.3-1-2 терабайтных FS налетал, не часто, но бывало. Мелкие картинки, всякие кэши вебов - всякая подобная срань.

ну да, не будет. я думаю полный трафик вконтакта по аватаркам превосходит возможности трансфера диска.

С другой стороны - я всю жизнь делал 16-32kb на inode - и на out-of-inodes на 0.3-1-2 терабайтных FS налетал, не часто, но бывало. Мелкие картинки, всякие кэши вебов - всякая подобная срань.
более 67 лямов файлов?
не, не верю. да и кэш типичного веба

Mean Object Size: 24.52

Можешь верить, можешь не верить, а натыкался.

Собственно, а в чем удивление с 67M файлов? У меня на макбуке, на 128-гиговом диске:
$ df -ki
Filesystem 1K-blocks Used Avail Capacity iused ifree %iused Mounted on
/dev/disk0s2 124383304 68002044 56125260 55% 17064509 14031315 55% /

Впрочем, подозреваю какую-то найобку, запустил find / -type f | wc -l, посмотрим через полчасика.

Find нашел 900к файлов и 1.1м вообще всего.

Т.е. имеем меньше 64k на inode, что, в целом, совпадает с моим мнением о жизни: 32k на inode ("общего назначения") - нормально, 64 - уже много.

ну 10Т обычно уже не общего назначения, а склад видео, например.
и тут сразу экономия и ускорение!

Со складом видео проблем не будет.

А вот со складом файлов, выкачаных из интернета (кэш али еще что) - будет еще как.

под такой склад выкачанных файлов надо иметь еще очень много памяти.
не помню точно, 100Гб, кажется.
так что вряд ли это вариант

обычно способность плодить новые файлы резко падает с количеством.

А ты KVM давно смотрел последний раз? Он буквально за прошлый год-два кардинально улучшился. Например, поддерживает все эти новые процессорные фичи, типа nested pagetables и vt-d

А в чем суть претензий по стеку? И планировщику (которые там вообще как перчатки менять можно)? Ну и к файловым системам, которые на любой вкус и цвет, а не целых три?

Про файловые системы ответ простой - дайте мне ZFS и я отстану.
Со всеми наворотами, вроде лога на отдельном устройстве, L2ARC на SSD и так далее.

"На любой вкус" - это отлично, пока не надо выбирать.

Сам хочу. Но вот лицензионная политика такая, ненападенческая. :( Есть там какие-то порты под FUSE, но это наверняка что-то несерьезное. А btrfs - пока полный кошмар и больше похоже на дутый пузырь.

Хорошо, когда выбор есть, иначе приходится жить с тем, что дадут.

Да в гробу я видел этот выбор. Дайте одну, но хорошую.

Опыт подсказывает, что на HDD все одно упираешься в число шпинделей и seek time, а оверхед в 7-10 и даже 25 процентов совершенно не парит.

Тогда какой смысл, допустим, в L2ARC, если преимущества от него уйдут на тот же самый оверхед?

При разнице в seek time порядка в три - нет, не уйдут.

А насколько http://zfsonlinux.org/ далеко от желаемого?

Не пробовал никогда, не знаю.

Я сильно сомневаюсь, что его допилят. Политика партии, как я понял - ext4fs + lvm. По беглому взгляду в вики, ключевые фичи оно включает.

Я сильно сомневаюсь, что его допилят. Политика партии, как я понял - ext4fs + lvm. По беглому взгляду в вики, ключевые фичи оно включает.

И чего, кажды год на куче серверов переставлять KVM?

только ни одна из fs нормально не работает, а при тяжелых файловых операциях вся система стает раком.

Стек не масштабируется, планировщик можно менять, но непонятно на что. Файловые системы - просто говно. В боевых условиях можно использовать ext3/4, а они любят иногда уйти в свой БВМ и не выходить оттуда полчаса. За это время я успеваю потерять килограмм рекордингов.

Да? Интересно. Откуда сведения?

[делает пальцем от зуба]

сам видел!

А-а-а-а. Аргумент.

а чем я хуже любой другой бабки?

Ничем.

тогда почему такое пренебрежение слышится в каменте?

Если бы то была ирония - там бы был смайлик.

я про иронию и не спрашивал

А про пренебрежение тебе показалось.

Да ладно!
(авторитетно) клин при удалении больших файлов на XFS починили пару месяцев назад.

А, вижу что давно :-)

Он теперь часть кернела, апгрейдится вместе с кернелом, ничего специально ставить и переставлять не надо

А что такое "стек не масштабируется"?

вау!
а для остальных fs?

и ты это, оленю скажи, а то он не верит.

а при копировании? или все так же надо через ionice пускать?

Я ловил клина на полминуты только при удалении больших пачек больщих файлов (ie по полгига где-то)

Типа записал жене сериал/дитю мультиков на болванку -- хочешь грохнуть исошку/исходники -- и оно тупит минуты две. В 2.6.39 xfs порефакторили сильно (осталась только его "родовая" болезнь -- файл при создании и до закрытия (или до fsync?) имеет только dnode, и если начать копировать файл (ту же исошку) и в середине дернуть питание -- файл будет пустой)

С другой стороны у меня 4 машины с XFS везде кроме /boot и убитого XFS я не видел еще (хотя питание у меня тут весьма нестабильное)

ну видмо копирование -- болезнь extN, не говоря об удалении

Э, вы так не шутите.
В каком смысле "клин на полминуты"?

Не то чтоб я вам не верил, но у себя посмотрел:

root@delta:/tmp/tests# du -hsc *
20G testfile1
20G testfile10
20G testfile11
20G testfile12
20G testfile13
20G testfile14
20G testfile15
20G testfile16
20G testfile17
20G testfile18
20G testfile19
20G testfile2
20G testfile20
20G testfile3
21G testfile4
20G testfile5
20G testfile6
20G testfile7
20G testfile8
20G testfile9
401G total
root@delta:/tmp/tests# echo 3 > /proc/sys/vm/drop_caches
root@delta:/tmp/tests# time rm testf*

real 0m1.690s
user 0m0.004s
sys 0m0.008s
root@delta:/tmp/tests# du -hsc *
du: cannot access `*': No such file or directory
0 total

debian lenny, kernel 2.6.32-bpo.5-amd64 x86_64 from backports, xfs (та что без допиленного delayed logging). Ну и никаких затыков соответсвенно.

Точно у xfs были проблемы с удалением именно больших по размеру файлов или таки большого количества файлов (читай изменения метаданных)? Я обычно наблюдал обратное - ext3 втупливает на удалении большого файла, xfs на удалении многих файлов.

А вот мне тут ночью пришло в голову (снились кошмары: сотни серверов под Linux)

А нету там какой-то фишки, которая стертый файл затирает рандомом?

Удаление 8-20G из 24х файлов не должно занимать полминуты, и просаживать дисковое io на машине.

Клина я словил сделав это через NFS не подумав.

Ну да, не должно. А что, занимает и просаживает?

У меня тут ZFS по сети удаляет большие файлы "не мгновенно" (видно, как оно задумывается) я и то считаю это ненормальным.

Короче, все написано наверху поста: "пора домашний сервер на Linux переводить", заодно и поем этого всего сполна....

Уже нет.
Я же говорю -- починили в 2.6.39 (c оговоркой -- на XFS, у меня других фс в активной работе нет. И это у XFS было всегда больным местом

ну а тут у тебя не только шел задумается, но и вся машина.
надолго.
т.е. сессия в соседнем терминале -- то же

Это значит что с дисковой/fs в линуксе все настолько загадочно и хреново, что у нас ротейт логов на одной из машин роняет ее регулярно раз в месяц (логи то ротейтятся мгновенно, только апач больше не работает) и помогает только reboot -fn. А на десктопе при копировании больших файлов все задумывается так что анекдот про "сейчас дискетка отформатируется..." как раз про современные Линуксовые ядра. Debian/2.6.разные, ext3/4.

А где там локи? Может драйвер SATA так шалить?

Может быть, насколько я понимаю, проблема последние года три существует и исправить ее не могут. Не так что-бы и мешает в общем, не постоянно-же большие файлы, которые занимают всю доступную память, копируешь :)

Ну да, не постоянно. Но у меня daily backup дома может вылить на сервер гигабайт 100, а еще 100 - стереть. Если в этот момент сервер не сможет кино раздать, это же будет обидно как-то?

грустно, но "кина не будет".

Ну, справедливости ради, винда тоже иногда, при неблагоприятном сочетании светил, встает отчего-то раком в том же духе (светило - это тот же бэкап, плюс еще что-то большое, плюс VM должна памяти отожрать), ну скажем раз в 1-2 недели я такое вижу и всегда ругаюсь.
Но я не считаю это нормой в 2011-м году, со всяким Tagged queuing и тому подобным.

И уж тем более это нихрена не норма для сервера. На серверах (у меня везде FreeBSD, да) я такое видел только если SATA(/IDE) таймаут и оно ретраится, но не в нормальной жизни. Да и давно не видел, на самом деле.

Вот тут в каментах пишут, что для XFS эту беду вроде починили. Будем пробовать, значит.

Да, я наверное тоже в очередной раз поиграюсь, потому что раньше разницы не было.
Меня это тоже все в 2011 году не радует очень :) Потому что когда железо у меня не поддерживало ncq (года три назад), проблемы по моему еще не существовало, а сейчас курсор мышиный двигается рывками с залипанием(!) и делать нифига нельзя (я все это на десктопе наблюдаю).

На "залипшей" винде, кстати, мышь бегает и запущенные уже процессы (включая guest OS в vmware) себя нормально чувствуют если нет значимого IO. Запустить новый - да, проблема.

Не люблю флеймовых тем, но таки отвечу.
Личный experience.
Более полутора сотен машин под линуксом. Видеонаблюдение. Аналоговые камеры. 16 штук по ~5fps каждая (загрузка PCI шины считается на калькуляторе). Размер одного пожатого кадра 50-70 KB, иерархически пишутся, камера-событие-файлы события. Отображение на этой же машинке, плюс возможность смотреть архив, либо живую картинку удаленно. Охранники пялятся в монитор постоянно. Террабайт перезаписывался примерно за две недели. Reiserfs. В основном без UPS (начали ставить позже, до этого экономил клиент). Днем запись получалась практически постоянно.

Был вынужден перенести подчистку файловой системы на время, когда меньше движения, потому что тормозил MySQL на некоторых запросах (а не файловая система). Тюнингом MySQL и его баз естественно пришлось озаботиться в первую очередь. До этого подчищалось по мере необходимости. Файловая система успевала отрабатывать, без всяких тормозов. В противном случае охранники изнасиловали бы весь мозг. Т.е. для этих задач файловой системы хватало.

Справедливости ради - захотелось слезть с рейзера, потому что очень чуствительна к исправности железа и таки иногда приходили машинки с убитым рейзером (но всегда восстанавливался, но очень долго). Потом проект постепенно закончился (по другим причинам).

Называется secure remove, в офлайне реализуется e.g. wipefreespace, есть и синхронная реализация как минимум для ext4 (но это ядерный патч, есть в альтовском kernel-image-led-ws).

По части ряда других поднятых вопросов ответы тоже есть, но неохота заспамливать полтора года спустя.

PS: спасибо за RA от когдашнего майнтейнера apache в ALT Linux ;-)

XFS never again.

Когда файловая система при размере тома в 16Т просто сделала wrap around и молча пошла себя записывать с начала, я понял что добровольно - больше никогда.

Одна сетевая карта - одно прерывание - одно процессорное ядро? Правильно?

Поясните, пожалуйста.

А что тут пояснять то?

Вот у меня приезжают пакеты с одного NIC. Можно ли их обрабатывать разными CPU core, по очереди или там по готовности core ?

Не виду препятствий. CPU affinity в Линуксе нет, но, справедливости ради, надо отметить, его много где нет.

Ну для прерываний то есть....

Да и для процессов есть.

Это плохо?

Самая жесть на тему 10G+linux написана у интела: "чтобы уменьшить latency, загрузите вашу multi-core систему в single-core режиме".

Потому что иначе ядра друг другу кэши инвалидируют.

А можно ссылочку на источник данных?

http://download.intel.com/design/network/applnots/322819.pdf
Раздел 1.5.3

Вообще, для 10G, как я понял, идея заключается в том, чтобы сделать несколько очередей силами карты (многие - умеют) и повесить разные CPU на разные очереди/IRQ.

Только вот если по линку ходит один поток данных (репликация 1-1 или просто файлсервер), то это не спасет.

really? можно подробностей, чтоб не наступить?

> А КВМ этот ваш - уебанство какое-то

почему?

>Но в основном у меня к пингвинам претензии за сетевой стек (ну и скедулер)

а что не так? и какой из планировщиков? i/o или cpu?

Кстати вчера наткнулся на какого-то гражданина, который опенсорсный OpenCL пилилт в рамках GSoC -- Clover

Все 32-битные сервера постараемся как можно быстрее списать в утиль

У этого поста с датой что-то? Не может же правда чтобы в 2011 году у людей были серверы без x86_64? Неудивительно, что для них там, в прошлом, Linux v FreeBSD все еще вопрос, требующий обсуждения

Год назад нам приходилось держать под парами 32-битный сервер (для билдов и тестирования) т.к. у потребителей наших технологий были такие сервера в продакшене. Как сейчас - не знаю, не вдавался.

История из практики: году в 2006-м у одного из потребителей нашего вареза обнаружился в бою линукс с 2Gb-лимитом на файлы (и апгрейдить его не хотели).

Ну я с 32-битными линуксами часто встречаюсь во всяких embedded и полу-embedded вещах, но на сервере?

А зачем держать для билдов-то физический сервер?

А затем что у нас FreeBSD везде и там с VM-host как-то не очень было :).

Когда стали заводиться паразиты Linux-сервера, вроде бы первым делом подняли виртуальных машин, но я уже за всем этим не следил.

Народ из Афиши пришел и принес свои порядки? Думаю, что только этим определяется...

В почту то? Это вряд ли.

Афиша всю жизь на Windows жила и живет.

...делается на то что, дескать "изкаропки в дебиане всё хорошо". Ну вот, у меня кучка серверов на оном дебиане, и, в один чудесный день я решил переехать на squeeze, для начала в тестовом режиме. Полтора месяца назад. Специфика была такая, что есть Большой Сервер ХХХ, на нем - xen 3.2 и в нем уже что только не крутилось в domN - и RHEL, и Debian-ы, и чорт лысый. Итак, я беру тестовый сервер такой же конфигурации по харду и с нуля ставлю сквиз и xen 4.0 И тут наступает ЩАСТЕ. Читать, собственно, здесь - http://wiki.debian.org/Xen#Possible_problems_and_bugs . Особенно чудесное было со скриптами - ну, вот, тупо контейнер не создавался без костылей, хоть издохни, это bug #591456

Как прикрутить к новью(4.0) старые HVM-контейнеры от 3.2 я сходу тоже не осознал, но пока что руки не доходили. Автоматом - хрена лысого, даже не пытается. Это Lenny -> Squeeze.

OFFTOPIC, но может кому полезно будет.
Я уже на протяжении лет семи, раз в год пытаюсь найти нормальную С++ IDE для linux'а - за всё время ничего достойного не видел.
Один из главных затыков это auto-complete. Причём как сама функциональность, так и человеческий вывод. Помню в какой-то из версий kdevelop, автокомплит выводил одноцветный список, в которым типы и названия переменных отделены только пробелом(то есть выравнивание в попе).

На втором месте это общая гуманность ide, начиная от дефолтовых шрифтов и заканчивая общей нагромождённостью всякой gui'ни.
Как-то ковырял одну ночь CMake в KDevelop (фиксил один баг, который мне мешал - патч отослал, в новых версиях уже всё норм) - общие ощущения были такие, как будто жёсткое похмелье, болит голова + сосед что-то балгаркой хренячит.

Вы всё ещё кипятите?
И вот недавно, фикся один linux-specific баг в варезе, опять попытал счастье в поиске ide. И о чудо - я нашёл то, чего так не хватало - QTCreator! Я конечно пробовал его год или два назад, тогда он ещё был сыроват, но сейчас - там всё так сексуально!
1. Вменяемый автокомплит
2. Вменяемый отладчик
3. поддержка всяких vcs'ок
4. поддержка проектов CMake
5. Общая гуманность и продуманность всей ide
6. Легковесное gui
7. плюшки типа интеграции с valgrind
8. И всё это, работает сразу "из каропки", ни надо рыть кучу сайтов на тему, как же заставить автокомплит работать, что за приколы у отладчика и т.п.

Не, конечно есть и минусы, но они не существенны. например у меня CentOS 5.6 (то, что соответствует клиентскому env'у), бинарные пакеты с сайта qt не подходят, так как там используется более новая libstdc++, но версия в исходниках собралась без проблем.
Вчера добавляя одну фишку в варез, поймал себя на мысли,
что буду разрабатывать её на linux, так как не кайф копировать test-case'ы на windows машину (хотя фишка не linux-specific). То есть если бы не было ide, я бы разрабатывал на windows (VS), без вариантов.

Я как привык к XEmacs лет 15 назад - так и живу. Автокомплит мне не кажется безумно нужным, c ним местами приятно, а местами - достает.

ну я помню давно в какой-то ide (скорей всего это была delphi) он меня напрягал, так как сам выскакивал после секунды размышлений. я его тогда отключил, в смысле вызвал через ctrl+пробел сам по необходимости.
Сейчас, на VS и на QTCreator, я даже не могу вспомнить какое там поведение, то есть оно меня вообще не достаёт.

Напрягает, например, с Qt: у них много похожих имен классов/методов и пока продерешься через список - уже и набрал переменную.

я уже лет пять, если не больше, пытаюсь соскочить с vim`а на емакс ... но как-то то ли со мной что-то нето, то ли лёнинг курва у него крутая, вобщем не получается ...

а заканчивается тем, что нахожу что еще прикрутить к виму, чего не хватает :)

кстати, джентельмены, хочу вам сказать спасибо за топик про git-svn, что меня таки сподобило туда же переползти, и даже найти скриптик для code collaborator`а для аплоада ревью ...

В QTCreator кстати есть FakeVIM режим "из каропки".

Да, git-svn - вроде полезная штука. Например с git'ом я могу на каждой машине иметь свой локальный repo, pull'ить с них коммиты в главный локальный repo, который знает об svn, и с него уже в удалённый svn.
Единственное что меня немного напрягает, это то, что после git svn rebase'а и после git svn dcommit'а нужно немного ветки по-жонглировать rebase'ом и reset'ом(хотя может я это зря так перестраховываюсь).

А, да, есть еще странные люди, которые пруцца от Эклипса.

eclipse тоже пробовал.
Ощущения от него оставшиеся в памяти:
- награмождённое/переграмождённое gui, которое к тому же достаточно разрозненное
- общеизвестные аппетиты к памяти
- какой-то кривой инсталятор плагинов. помню несколько раз(в разное время) пробовал ставить eclispe, и всегда были какие-то проблемы с установкой cdt
- мне эта универсальность/обобщённость нафиг не нужна, мне нужно чтобы нужный мне subset работал чётко, а он насколько я помню чётко не работал.

> а от ipf - нет

Именно от ipf (в котором нормально транзитный трафик на машине с кучей интерфейсов не выделить), или pf (который даже ttl сравнивать не умеет)?

А мне простейшей функциональности хватает. Того же pf вообще ни разу не надо было.
И простейшую функциональность ipfw, а затем ipf я изучил и от iptables, повторяю, тошнит.

На сложную функциональность, транзитный трафик и прочие подобные штуки - будет же аппаратный роутер-свитч, а к нему приложены цисководы.

Аппаратный ? :-) Там роутинг запаян на транзисторах? Аналоговые ЭВМ? :-) Давно не использую этот термин, и никому не советую, поскольку смысла в нём 0. Во всех этих железках софта дохрена, и без него они тупо бесполезны. Так что не тянут они на такое определение аппаратный .

А вообще так про любые технические проблемы можно ответить будет же мат. часть, и кадры к ней (в оригинале любую тех. проблему можно решить, имея достаточно времени и денег + следствие: всегда будет нехватать либо того, либо другого )! Но это будет не ответ тех. спец-та уже, а, скорее, менеджера (эффективного, или не очень).

> А мне простейшей функциональности хватает.

Ну тут уж чо сказать-то остаётся индивидуально сие. Все от задач зависит, и я поддерживаю идею выбирать инструменты под задачу, а не выучить какой-то один инструмент (и не выучить остальные), и рьяно утверждать, что именно этот инстрУмент и есть единственно верный.

вы зря тут троллите на ровном месте.

Термин "аппаратный" роутер возможно является неудачным, но он прижился и всем понятен.
Судя по вашему ответу, вы про роутер прекрасно поняли что имеется в виду, но захотели оставить за собой последнее слово.

Равно как и начало этого троллинга тоже на достаточно пустом месте: ну вот тошнит меня от синтаксиса и идеологии iptables (и по причине тошноты - знаю я их плохо). Это критерий, один из многих, субъективный. Поддержка сравнения TTL - тоже критерий. Веса критериев у всех разные.

Еще вопросы?

Алексей, действительно зря выходит, ибо троллить, в моём понимании, несколько иное.

> но захотели оставить за собой последнее слово.

Фантазии. Я лишь обратил внимание на то, что термин неудачный. И да, ес-но, я понимаю о чём речь.

> Веса критериев у всех разные.

Я вообще-то ровно тоже самое и написал, только вы почему-то соизволили характеризовать это как троллить .

Ес-но. И если бы только TTL. Но и это не отменяет того, что кому-то и это всё не важно.