ZFS

У одного моего друга есть файловый сервер под FreeBSD 12 :)

И вдруг я он заметил, что скорость верификации бэкапов упала с 2-2.5 Gbit/s (это ограничение Acronis Backup, быстрее оно не делает) до меньше чем одного гигабита, 600-800Mbit/sec.

Ну вот vfs.zfs.compressed_arc_enabled=0 вроде как помогло. Процессор то медленный у меня него.

Продолжаем наблюдения.

Увы, до круглой цифры (скорости чтения) не дотянуло (и не дотянет, уже более медленная зона на дисках пошла), а было так близко.....

Нет, ничего не сломалось, просто я понял что

• запасного диска в шкафу нет, а это неправильно, опять ужаленым в жопу метаться по магазинам если что
• Гелиевые диски - систематически холоднее обычных, градусов эдак на 6, а лето на носу (они и систематически медленнее на несколько процентов, но мне хватает).
• Если закупаться, то сейчас, бакс вот на рупь вверх уже прыг, а цены - еще нет.

Ну и купил гелиевый, а обычный - на полку.

Значит продолжение вот этой истории (в стиле "что вижу - то пою"): Про zfs primarycache (самая мякотка там в комментариях):

1. Поставил бэкапному dataset recordsize=64k (что соответствует типичному запросу на чтение самбой)
2. Подождал несколько дней, новые бэкапы создались с таким размером записи
3. Поставил primarycache=metadata
4. Запустил проверку одного из новых бэкапов:
   • Скорость чтения снизилась до 100-150Mb/sec (было, с мегабайтной записью и primarycache=all 150-200)
   • Скорость чтения с дисков соответствует скорости отдачи в сеть, "зря" ничего не
...

Заканчивая неделю (или полуторамесячник) ZFS, финальные тесты. Списал данные, добавил еще один диск, прежде чем возвращать данные - маленько потестировал

Оборудование: i3-6300T, 32GB RAM, 7 дисков (6Tb HGST: 4 штуки 7k6000 и 3 штуки He8), диски подключены к чипсетному контроллеру (Intel C236).

Окружение: FreeBSD 11.0-p4

Методика: собираем пул, делаем на нем один датасет с размером блока 1m или 128к, пишем 200-гигабайтный файл
dd if=/dev/zero of=/zdata/testset bs=1m count=200k
Затем читаем этот файл той же командой dd в /dev/nul с...

Картинка, вероятно, уже надоела, но вот вам очередная порция тестов.

Ящик: Intel i5-2400, 16Gb RAM, Adaptec 5805, 5x4Tb (HGST NAS) в JBOD, собраны в RAIDZ2.

Свободного места достаточно:

$ zpool list
NAME      SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zdata    18,1T  5,11T  13,0T         -     9%    28%  1.00x  ONLINE  -

настройки в loader.conf:

vm.kmem_size="15G"
vfs.zfs.arc_max="14G"

Загружаем FreeBSD 11.0-RELENG:...

Вчерашний вечер у меня тоже прошел не скучно.

Я взял уже знакомый вам стенд:

• i5-2400, 16GB RAM
• LSI 9211-8i (FW 16.0, IT-mode, без BIOS)
• 7 дисков WD1003FBYX

И начал делать так:

1. Скачиваю с ftp.freebsd.org FreeBSD-NN.y-RELEASE-amd64-memstick.img
2. Пишу его на флешку
3. Загружаюсь с этой флешки (никаких дополнительных настроек!)
4. Собственно тестирую:

zpool create -O recordsize=nn ztest raidz2 /dev/gpt/DISK[0-5/6]
...

Вынесу из комментариев, потому что это важное, чтобы потом самому было легче найти.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (релизных! со -stable все сложно) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Собрал я тут ZFS массив на следующие (я надеюсь) лет пять: 6x6Tb, в RAIDZ2 (2 - потому что я устал срочно бегать в магазин, покупать замену вылетевшему диску), диски HGST, правда разные...

Да, поддерживает (интернеты в этом расходятся, было немножко нервно):

lexa@home-gw:~# ls -l /DATA/
total 3446778112
-rw-r--r--  1 root  wheel   877456780272 Nov  2 18:24 archive-books3
-rw-r--r--  1 root  wheel  1844203276336 Nov  3 01:49 archive-photoarc
-rw-r--r--  1 root  wheel   171793351432 Nov  2 19:47 archive-photoother
-rw-r--r--  1 root  wheel   635185397760 Nov  3 11:49 archive-raw-archive
 

Это уже второй 6-терабайтник заполняется, игра в 15, так ее растак:

• Cбэкапить текущий ZFS (6x4Tb, RAIDZ1)
• Собрать новый в деградированном виде (6xTB, RAIDZ2, два висят
...

Преамбула:

(У одного моего друга) есть ZFS-pool такой вот конфигурации:

• i5-2400 CPU @ 3.10GHz
• avail memory = 16477163520 (15713 MB)
• FreeBSD 12.0-CURRENT #4 r302772M
• 8xTb SATA в RAIDZ2.
  Подключены к Adaptec 5805, сделаны simple volumes по одному диску
• 3 консумерских SSD-шки (OCZ Vertex4, OCZ Agility 3, Intel 520) в L2ARC
  • я пробовал объединять их в gstripe, счастья не увидел особого
  • и сейчас они как отдельные диски подключены.

На пуле лежат RAW-фоточки к которым я хожу...