Про ZFS и L2ARC

У одного моего друга есть NAS на (7+2)-6Tb. Семь дисков в RAIDZ2 (том под данные), два диска в зеркале (том под бэкапы). И был там L2ARC-кэш на полтерабайта, Patriot Hellfire. Поскольку полтерабайта это мало (см ниже), этот кэш обслуживал только активные данные для работы, но не том с бэкапами, а для тома на котором живут торренты было secondarycache=metadata. И, в общем, было видно, что полтерабайта - мало.

Посмотрел один мой друг в прайслисты, посмотрел в обзор терабайтных SSD на 3Dnews и углядел там близнецов Patriot VPN100/Silicon Power 34A80. Исходя из следующих соображений:

• скорость маленькая (для NVMe), но по 10Gbit особо ничего и не надо большого.
• Ресурс - из заявленных производителем - самый большой. 1.6Tb у патриота (и ничего у Silicon Power, но в обзоре утверждается, что они полностью идентичны аппаратно, разница только в радиаторе).
• Ну и цена: ~10круб за терабайт, а гарантированно хороший Samsung 970EVO Plus - 16к.

Ну вот соответственно, купил терабайтник, поставил вторым (через low-profile PCIe->NVME переходник), всего получилось "1.5Tb" L2ARC, которые я поделил так: половинку SiliconPower на бэкапный том; вторую половинку и весь старый Patriot - на новый. Не могу объяснить почему так, наверное для понижения надежности (для L2ARC пофиг должно быть).

Прошло чуть больше двух недель, докладываю:

1. Полтора терабайта - оказалось чуть больше, чем нужно, ну вот не разу не видел полностью заполненного, выглядит оно как-то так:

[lexa@home-gw14 ~]$ zpool iostat -v
                          capacity     operations    bandwidth
pool                   alloc   free   read  write   read  write
---------------------  -----  -----  -----  -----  -----  -----
zbackup                2.66T  2.78T      1      9  1.28M  2.14M
  mirror               2.66T  2.78T      1      9  1.28M  2.14M
[диски убрал для компактности]
cache                      -      -      -      -      -      -
  gpt/cache-silicon-1   396G  57.6G      5      2  5.28M  2.48M
---------------------  -----  -----  -----  -----  -----  -----
zdata                  22.6T  15.4T      2      5  2.31M  2.81M
  raidz2               22.6T  15.4T      2      5  2.31M  2.81M
[диски убрал для компактности]
cache                      -      -      -      -      -      -
  gpt/cache-patriot-0   377G  70.2G      2      1  1.95M  1.61M
  gpt/cache-silicon-0   416G  83.7G      2      1  2.01M  1.66M
---------------------  -----  -----  -----  -----  -----  -----
Уже по iostat видно, что польза есть, особенно для бэкапов (которые один раз пишутся и минимум два раза читаются, один раз при верификации, один раз при репликации, а для инкрементных бэкапов - понятно что и больше). С данными - польза поменьше (но я проводил работы с несколько-терабайтными данными на предмет их верификации).

По статистике выходит так:

[lexa@home-gw14 ~]$ zfs-stats -E -L
[skip]
ARC Efficiency:                                 355.42m
        Cache Hit Ratio:                92.05%  327.17m
        Cache Miss Ratio:               7.95%   28.25m
        Actual Hit Ratio:               91.46%  325.05m

[skip]
L2 ARC Breakdown:                               28.25m
        Hit Ratio:                      51.34%  14.50m
        Miss Ratio:                     48.66%  13.74m
        Feeds:                                  1.38m
[skip]
Только 8% запросов идут не из ARC, но раньше Hit ratio у L2ARC было процентов 20, а теперь 50. То есть до дисков доходит 4% запросов. Это большая разница с 8, собственно в два раза, стало заметно тише.

Поскольку текущий бэкап попадает в ARC/L2ARC с гарантией, стала гораздо быстрее верификация, раньше оно колебалось в районе 2Gbit/s, сейчас "выше трех, доходит до 5" (зависит от вида бэкапа, инкрементальный верифицируется помедленнее т.к. Acronis там больше думает).

Ну и про запиливание SSD.

Вот Patriot Hellfire, который работает L2ARC-ом с 19 января 2017 года, т.е без малого два года (будем считать что полтора):

# smartctl -a -H /dev/nvme1
[skip]
Data Units Written:                 142,071,356 [72.7 TB]
Получается - примерно терабайт в неделю. При заявленном ресурсе 400 т.е. выходит ~8 лет.

А вот свежепоставленный SiliconPower, аптайм - 16 дней, будем считать что две недели:

# smartctl -a -H /dev/nvme0
[skip]
Data Units Written:                 12,268,874 [6.28 TB]

Получается 3Tb в неделю, заявленный ресурс 1600, 500 недель - 10 лет.

Понятный сайд-эффект от снижения вдвое нагрузки на диски - снижение их температуры, было "слегка за 40", стало "чуть ниже 40".

В-общем, если SSD-шки отработают свой заявленный ресурс, то и вообще отлично (скорее всего я их раньше заменю в процессе перехода на all-flash NAS, чую что недолго осталось уже). Если запилятся раньше - потери данных я не жду, это ж L2ARC (впрочем у меня все реплицировано), но будет урок

Короче, я доволен, а при нынешней цене за флеш в $150 за терабайт - грех его не запилить.