Свежие комментарии

Title Comment
"УЖЕ ТОГДА" у FBSD была одна

"УЖЕ ТОГДА" у FBSD была одна клёвая фишка, по сравнению с линуксом: при нехватке RAM в своп выкидывались процессы "кластерами", давая возможность оставшимся хоть как-то работать, затем "кластера" менялись. А без нехватки RAM особой разницы то и не было. Точнее, я не наблюдал. СКОтский оракл под линуксом заводился, а под FBSD нет, это определило мой выбор в тот момент. Так же, как сейчас твой выбор определяется CUDA&Co.

Для полной ясности тем кто интересуется, но боится попробовать

На той же машине, но пул dedup=off, compress=off

$ vmstat 60
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
1 1 0 352900 584 606456 0 0 235 863 309 683 8 8 64 20
0 0 0 337996 596 606548 0 0 349 1 533 1417 3 4 49 44
1 1 0 221056 604 782684 0 0 686 6545 734 2347 13 12 30 45
10 1 0 27108 300 1005616 0 0 1902 20352 736 2337 25 22 24 29
3 1 0 26496 276 1002544 0 0 1734 23341 743 2395 28 23 22 27
....
10 1 0 24780 440 993856 0 0 1787 22162 766 2430 27 23 24 26
0 0 0 25480 384 994176 0 0 895 9792 391 1169 12 10 64 14
0 0 0 25480 384 994176 0 0 0 0 40 15 0 0 100 0

$ sudo zpool iostat 60
capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
memus 200G 128G 32 70 183K 565K
memus 200G 128G 196 0 350K 0
memus 200G 128G 73 596 592K 5,48M
memus 201G 127G 26 253 1,52M 14,2M
memus 202G 126G 27 255 1,69M 14,7M
....
memus 212G 116G 33 250 1,61M 14,1M
memus 213G 115G 10 87 427K 4,59M
memus 213G 115G 0 0 0 0

Даже с поправкой на Duron, я

Даже с поправкой на Duron, я на 700kb/sec пойтить ну никак не могу!

Fuse - zfs

Вот есть fuse-zfs raidz на debian squeeze. Duron 1GHz 1Gb. 4HDD IDE.
Linux memus 2.6.32-5-686 #1 SMP Mon Jun 13 04:13:06 UTC 2011 i686 GNU/Linux
Масштаб эксперимента в десять раз меньше. Сами поймете почему.

$ dd if=/dev/urandom of=/media/memus/backup/los4/test-12309.dd bs=1024k count=1000
1000+0 записей считано
1000+0 записей написано
скопировано 1048576000 байт (1,0 GB), 1447,56 c, 724 kB/c

В это время

$ zpool iostat 60
capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
....
memus 198G 130G 61 660 118K 2,19M
memus 198G 130G 62 119 122K 1,45M
memus 198G 130G 62 105 142K 1,49M

$ vmstat 60
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
0 1 0 1000256 2328 61396 0 0 227 2377 538 1032 9 5 47 38
1 1 0 1022948 2328 19804 0 0 237 1676 555 1086 7 6 48 39
0 0 0 1019104 2328 22324 0 0 257 2192 552 1073 9 5 46 40
0 0 0 1007316 2344 32476 0 0 217 1780 531 1040 7 5 48 40
0 1 0 981648 2352 57040 0 0 190 2015 539 1059 8 5 46 40

Теперь пускаем скрипт, указаный в начале треда

$ sudo zpool iostat 60
capacity operations bandwidth
pool alloc free read write read write
---------- ----- ----- ----- ----- ----- -----
memus 200G 128G 37 66 75,6K 700K
memus 200G 128G 21 241 910K 614K
memus 200G 128G 19 262 932K 701K
memus 200G 128G 20 281 991K 777K
memus 200G 128G 40 157 620K 372K
memus 200G 128G 40 159 752K 412K

$ vmstat 60
procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
3 1 0 870164 2716 156176 0 0 138 1065 305 631 4 10 64 22
0 1 0 390416 2744 658836 0 0 952 959 671 1814 45 13 23 18
0 0 0 28300 2160 1021688 0 0 912 1065 697 1916 47 14 21 19
0 1 0 31152 2160 1016008 0 0 1037 1222 819 2184 52 16 20 12
0 0 0 23588 2160 1022832 0 0 681 696 684 1817 33 12 33 23
0 1 0 27076 2184 1018104 0 0 734 616 654 1720 30 11 34 25
9 3 0 27184 2184 1016952 0 0 880 606 661 1753 30 10 34 25

И никаких заклиниваний. Хороший результат для маленького и гордого надежного хранилища фоток, ящетаю.

и в debian sid

и в debian sid

А зачем? У меня же нету задачи, чтобы не затыкалось. У меня

А зачем?

У меня же нету задачи, чтобы не затыкалось. У меня, наоборот, стояла задача убедиться, что затыкается.

В Suse gcc 4.5, что меня уже более-менее удовлетворяет.

В Suse gcc 4.5, что меня уже более-менее удовлетворяет.

Свежий девелоперский userland есть только в Ubuntu

Свежий девелоперский userland есть только в Ubuntu

Хорошо еще ядро пока у всех

Хорошо еще ядро пока у всех одно

http://ru.wikipedia.org/wiki/GNU_Hurd ,
http://en.wikipedia.org/wiki/Debian_GNU/Hurd

вот правда хз, является ли это линуксом, скорей всего нет

Ну прежде всего, стоит выкинуть vmware и поставить KVM, с вс

Ну прежде всего, стоит выкинуть vmware и поставить KVM, с всеми virtio, включая baloon

Со свопом - да, очень вероятно.

Со свопом - да, очень вероятно.

RHEl6 в виде клона по имени SL6 http://ftp1.scientificli

RHEl6 в виде клона по имени SL6
http://ftp1.scientificlinux.org/linux/scientific/6.0/x86_64/

C gcc есть некоторое отставание, системный есть и будет
$ gcc -v
gcc version 4.4.4 20100726 (Red Hat 4.4.4-13) (GCC)

но обычно свежие потом включаются в дистр в виде technology preview пакетов.
те. 4.5-4.6 будут, но не факт, что сейчас

Зато для тестирования затыков в IO как раз хорошо будет :)

Зато для тестирования затыков в IO как раз хорошо будет :)

О! А это верная мысль, что если у меня кого-то высвапило, а

О!

А это верная мысль, что если у меня кого-то высвапило, а потом оно хочет проснуться, находит свои странички в свапе и тут то, при длинных очередях, и начинается это самое?

Тогда, получается, воспроизвести вообще очень просто:
- аллоцировать пару гигабайт, засрать их частично
- уснуть минут на 10, чтобы 10x cp запустилось
- потом проснуться и продолжить засирать гигабайты?

Гы!

Да, SLES поставил пиратиться. А хочу я, как уже в соседних

Да, SLES поставил пиратиться.

А хочу я, как уже в соседних каментах написал, не Сусю, а свежий девелоперский userland из вменяемого репозитория.

Виденные мной (правда осенью) энтерпрайз-дистрибутивы были в этом месте несколько убоги.

Ну прямо скажем, производительность IO данной виртуальной ма

Ну прямо скажем, производительность IO данной виртуальной машины заметно выше, чем производительность любого десткопа с одним SATA-HDD. Получите на одном SATA 300 Mb/sec и поговорим.

Но и задачи "сравнивать производительность" у меня не было, я хотел проявить 12309.
Проявил.

Так как я не хочу в "свободный красноглазый", а хочу честный

Так как я не хочу в "свободный красноглазый", а хочу честный монолитный FreeBSD, только с CUDA, OpenCL, возможно - с виртуализацией гипервизором, то просто спрошу рекомендации дистрибутива.
Хочется
а) пресловутого стабильного ядра
б) но свежий девелоперский userland (gcc 4.5 или 4.6, соответствующие libstdc++, свежий Xemacs и так далее)
Не хочется собирать всего из исходников, жизнь коротка, хочется брать из вменяемого репозитория.

SuSE по пункту б) меня вполне удовлетворяет. По пункту а) - получается что нет.

со свопом такой тест почти гарантированно даст такой эффект

со свопом такой тест почти гарантированно даст такой эффект.
Просто потому, что память будет выжрана под кэши.

мягко говоря, не чемпион по части IO прозводительности. Но

мягко говоря, не чемпион по части IO прозводительности.
Но и не аутсайдер.
Скажем так - для performance test платформа выбрана неудачно, но всё же разницу при тюнинге или установке лУчшего ядра , по идее, ты должен увидеть.

виртуализация на чём сделана ? 9 потоков IO... харроша

виртуализация на чём сделана ?

9 потоков IO... харрошая нагрузка.
Приоритеты для своих cp снизь.
Это кроме того, что это, извините, openSUSE. А теперь поставь SLES11, раз уж хочешь Сусю.

ты что ж это такое говоришь , еретик ? 8~) В свободном кр

ты что ж это такое говоришь , еретик ? 8~)

В свободном красноглазом GNU мире каждый извращается так, как он хочет 8=-)
Вот и имеем то ли 50, то ли 100 дистрибутивов, и большинство пригодны исключительно для отправки в /dev/null.

>> просто поставив Suse 11.4 по дефолту

неплохая десктопная система, да. Но этта, не серверная. И с IO не очень.
А теперь вставь туда свежее ядро от SLES11 (кажется, свежак там основан на 2.6.32 + тонна патчей).
Будет полегче, но без всяких там свежих драйверо-поддержек для десктопного железа.
------------

>> не в курсе, как сделать описанное выше (таймер ядра и так далее), линуксом 15 лет не пользуюсь. Дайте, типа, менюшку

Эхх. Увы. конфиги-с.

>> 2.6.18 - это, как я нашел, 2006-й год. Чипсеты, SSD TRIM, SATA-600?

в RHEL5 - да по интелёвым (и не только) чипсетам, не в курсе по ssd, да по sata (не по всем чипсетам).
Это ж по сути не 2.6.18, это энтерпрайзное ядро, основанное на 2.6.18 + примерно 3-5 тыс. патчей.

да, уже скоро год, как вышла RHEL6, с таким же энтерпрайзным ядром, но основанным на 2.6.32, и тоже примерно + 5 тыс. патчей.

Есть тормоза при IO загрузке (и большие - если у нас sata), но не тотальное замирание всего.

Ещё есть энтерпрайзное ядро, основанное на 2.6.32, от Оракла - это если кому нужна OCFS2. Пока не работал с ним.

В 95-м году я вынес нахрен

В 95-м году я вынес нахрен Linux из всей области вокруг себя, перешел на FreeBSD 2.1, УЖЕ ТОГДА безобразно тормозило :)

Я забыл и все нахрен уже выключил, не до грибов, вечером буд

Я забыл и все нахрен уже выключил, не до грибов, вечером будет время - повторю

Я не понимаю вот такой простой вещи: а отчего <b>все это</b>

Я не понимаю вот такой простой вещи: а отчего все это не сделано вообще во всех дистрибутивах?

Ну то есть я достаточно легко добился замерзания всего нахрен, просто поставив Suse 11.4 по дефолту, никаких "свистоперделок" не ставил. Да, пришлось дать много IO, да, оно не гарантированно получается, но
а) проблема есть
б) ну так, по секрету, я вообще не в курсе, как сделать описанное выше (таймер ядра и так далее), линуксом 15 лет не пользуюсь. Дайте, типа, менюшку
в) 2.6.18 - это, как я нашел, 2006-й год. Чипсеты, SSD TRIM, SATA-600?

Vmware Workstation

Vmware Workstation

виртуализатор какой?

виртуализатор какой?

а теперь, пожалуйста, прочитай по приведенным тобой же ссылк

а теперь, пожалуйста, прочитай по приведенным тобой же ссылкам сам текст.

в нормальных ядрах такой проблемы, как правило, НЕТ. Как минимум в острой форме.
"2.6.18 сбою не подвержен, а команда разработчиков энтерпрайсного RHEL бэкпортирует в него некоторые фичи и драйверы из новых версий ядер"

Дело не в Юпитере.
Просто используй качественные, энтерпрайзные ядра.

-------------
скорость удаления файлов по 10-20 гиг на ext4 - мгновенно.
С нормальным ядром и на ext3 теперь тоже быстро, патчи добавлены пару лет тому.
-------------

"Существует, однако, 100% способ избавиться от этой полезной фичи под номером 12309. Состоит он в том, что надо:

Выкинуть все свистоперделки из системы,
Поставить 100 Hz таймер ядра и No Forced Preemption (Server) mode,
Оставить обычный системный планировщик i/o,
Врубить всему юзерспейсу приоритет ionice пониже (2, лучше 3), а ядру повыше (1 real time),
Никаких экспериментальных reiser4.
При копировании не врубать высокий приоритет этому приложению или выкинуть этот грёбаный дистрибутив, где по дефолту этому ставится высокий priority.
Желательно откатиться на старое ядро нескольколетней давности. Например 2.6.18 сбою не подвержен, а команда разработчиков энтерпрайсного RHEL бэкпортирует в него некоторые фичи и драйверы из новых версий ядер. "

У меня Linux на дескторпе с

У меня Linux на дескторпе с 1997г, о каких тормозах вообще речь?

я бы после отмирания посмотрел free, используется своп али н

я бы после отмирания посмотрел free, используется своп али нет.

Смысла в той же поддержке

Смысла в той же поддержке RedHat очень мало.
http://www.vdel.ru/redhat/support/soc

Поддержка не распространяется на:
модифицированные пакеты и пакеты полученные не от Red Hat;
планирование инфраструктуры;
разработку политик безопасности;
каналы Extras/Supplementary;
компоненты, имеющие статус Technology Preview;

Pages

Subscribe to comments_recent_new