Двести дятлов скленных встык представляют собой роскошное зрелище

Не прошло и двух месяцев, как место на быстром диске кончилось (еще бы, упражнения с TIFF - сотни гигабайт примеров), пришлось бежать в лабаз, стадию 3x512 я решил пропустить и теперь оно так:

Ну и результат понятный:

  • для I/O большими блоками наступило удвоение
  • а для маленьких - наоборот: 4xNVME становится быстрее (по ATTO) начиная с record size  512к. Этот размер - это два 'RAID-блока' (в конфигурации RAID сказано record size 64k, т.е. 512kb-запись - это запись двух блоков на каждый raid member):

Про надежность RAID0 все понятно, бэкаплю то, что важное (ну и морально готов потерять работу за пару часов).

В-общем, если нужна bandwith недорого (ценой latency, конечно), то Intel VROC вполне себе решение оказалось. Мне  bandwidth в таком количестве не надо (то что получалось на двух SSD-шках уже было достаточно), но пришло само, не отказываться же теперь.

Надо сказать, что как только появился быстрый и тихий локальный сторадж, так привычки поменялись сами, если есть планы поработать с большим набором файлов больше одного раза, то рука тянется к F5 в Far и копирую я их локально (оттого и первый терабайт быстро кончился). Разница все-таки огромная между магнитными дисками по сети и вот этим вот чудом природы.

Если отмотать этот бложик назад, то всего-то 6.5 лет назад я выносил диски из рабочей станции в отдельный ящик, вот тогда на 8 дисках, правда RAID6 а не RAID0, локально было что-то 800Mb/sec линейного чтения, а по сети Infiniband/SRP получалось ~700. Ну наверное в RAID0 был бы 1GB/s (но не по сети), в 10 раз медленнее (latency, понятно, больше порядка на три у RAID0/HDD).

Справедливости для: 8Tb сырого стораджа в 2012-м году (терабайтными HDD) стоили вот примерно столько, сколько 2Tb сырого стораджа в 2019-м (полутерабайтными NVME).

Comments

Ну да, сетевой задержкой против грубой силы не попрёшь :-).

«то рука тянется к F5 в Far» — а у меня вот больше не тянется и оттого печаль.

Поясню. FAR 3 у меня, какие галки я не тыкал, копирует из сети в 2-3 раза медленней чем Explorer. Я сам FAR-нёрд и терпеть не могу Explorer, оттого и печаль. Но теперь если скопировать большое — то открываю из FAR'а ("start .") два окна Explorer, откуда и куда, и тягаю мышкой. И страдаю.

У меня FAR на больших файлах фигачит 500-600Mb/sec (по его градуснику), а эксплорер 700+

Да, разница изрядная, но не настолько, чтобы от синих панелей отказываться.

Ну вот у меня 200 против 480 :-(
А в другую сторону (в сеть) вообще 150 против 350-400.

У Far-а бывает необъяснимое.
Ну вот когда я перед НГ гонял бенчмарки компиляции на новой (собираемой) машине, я распаковывал qt-opensouce....zip - этим самым Far-ом, потому что привычка такая. Много раз.

Там торчала временная SSD-шка, по современным меркам очень медленная (Vertex3 MaxIOPS). И занимала эта распаковка десятки, блин, минут (ZIP на 800M и ~100k файлов).
В какой-то момент я не выдержал, сунул туда NVME (один из тех 760p, что на картинке выше). Стало быстрее, минут 15.

На основном боевом плексторе - вот сейчас на той (уже новой) машине - это занимает ~минуту.
На массиве из 4x760p - вот пока писал тоже распаковалось. Ну тоже минута или 2.

Что это было, почему, как - хер пойми. Версия Far ну примерно одна, скорее всего так вообще одна, предновогодний stable build.

а "far:config System.CopyBufferSize" поменять ?

Z / V

Я и слов то таких не знаю. Т.е. в F9-Config-System у меня нету никаких размеров буферов..... куды бечь?

Нашел, поменял с 0 на 128000000 (понятия кстати не имею, в каких оно там единицах).

Разницы не увидел (сохранял, входил-выходил). Поменял обратно на 0

Видимо в байтах, у меня стояло 32K. И когда я отключил use system copy routine стало видно его влияние, но даже мегабайт и близко не приблизил к эксплореру. А что самое интересное — use system copy routine, по идее, должно работать как эксплорер — но тоже нет (хотя и лучше чем без этой настройки).

Есть CopyFile[Ex], а есть IFileOperation, в Explorer - вторая, по идее.

Ну вот я ставлю на первую. Это опенсорс, но в этот сорс лезть лень, я с год назад лазал и в ужасе убежал, очень, очень грязные исходники.

Когда-то был плагин который копировал в два потока, через кольцевой буфер. Вот он с БОЛЬШИМИ буферами был БЫСТРЫЙ. Но он сгнил к версии FAR3, 64 битам и юникоду.

Когда он был - скорости в 100mb/sec казались запредельными т.е. что бы с ним было сейчас - тоже неизвестно.

Ну нет, тогда с винта на винт получалось 120 :-) За то и любили.

Мне не помогает. Чуть лучше делает использование System copy routines, но Explorer всё равно после 100 мегабайт в секунду гораздо быстрее.

Интересно что там внутри этих system copy: потому что если там Shell copy, то оно ж до копейки как в Explorer?

А вот между прочим, после совета который там внизу - у Far стало 972Mb/sec по его градуснику. Это медленнее Explorer, но на единицы процентов.

И еще вдогонку: в моем Far уже была включена UseSystemCopy. Если выключить, то ~120Mb/sec с файлсервера, а не 970+

Это оно! Спасибо!

Попробуйте отключить
Удалённое разностное сжатие
в компонентах Windows.

А можно пальцем показать?

Установка и удаление программ,
... И компоненты Виндоус,
Найти галочку внизу списка.

А вот между прочим похоже что помогло.
Ну то есть я после апгрейда сервера (на FreeBSD12) не смотрел как там Far копирует. Раньше - было сильно медленнее, чем Explorer.
Выключил эту штуку и стало вот так:

> А вот между прочим похоже что помогло.

Та это вам только кажится, говорит М$ !

https://blogs.technet.microsoft.com/askds/2009/06/26/debunking-the-vista...

Z / V