2016

Slow ZFS read: проблема не в коде а в данных на диске

Картинка, вероятно, уже надоела, но вот вам очередная порция тестов.

Ящик: Intel i5-2400, 16Gb RAM, Adaptec 5805, 5x4Tb (HGST NAS) в JBOD, собраны в RAIDZ2.

Свободного места достаточно:

$ zpool list
NAME      SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zdata    18,1T  5,11T  13,0T         -     9%    28%  1.00x  ONLINE  -

настройки в loader.conf:

vm.kmem_size="15G"
vfs.zfs.arc_max="14G"

Загружаем FreeBSD 11.0-RELENG:...

FreeBSD ZFS read: 11-STABLE тоже поломана

Все оказалось еще гораздо хуже, чем казалось на первый взгляд:

  1. FreeBSD 11-STABLE тоже поломана
  2. И поломка - это свойство, возникающее при записи файла.

Давайте значит по порядку.

I. Другой ящик:

  • i3-6300T, 32Gb RAM, 6 дисков по 6Tb в RAIDZ2, диски подключены к контроллеру на материнке.

II. Берем FreeBSD 11-STABLE, конкретно вот эту вот:

FreeBSD home-gw.lexa.ru 11.0-STABLE...

FreeBSD ZFS read speed: они убили кенни!

Вчерашний вечер у меня тоже прошел не скучно.

Я взял уже знакомый вам стенд:

  • i5-2400, 16GB RAM
  • LSI 9211-8i (FW 16.0, IT-mode, без BIOS)
  • 7 дисков WD1003FBYX

И начал делать так:

  1. Скачиваю с ftp.freebsd.org FreeBSD-NN.y-RELEASE-amd64-memstick.img
  2. Пишу его на флешку
  3. Загружаюсь с этой флешки (никаких дополнительных настроек!)
  4. Собственно тестирую:

zpool create -O recordsize=nn ztest raidz2 /dev/gpt/DISK[0-5/6]
...

Про ZFS prefetch (2)

Продолжение вот этого вот текста, теперь более систематически.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (РЕЛИЗНЫХ, в -stable все похоже хуже) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Провел вчерашнее утро, а затем - вечер за стендом,  который схематически показан на картинке (там 7 дисков, потом...

О правильных точках отсчета - дополнение

Я маленько подумал, и решил, что в моей заметке О правильных точках отсчета не хватает еще одного куска. По смыслу - между имеющейся содержательной частью и "моралью".  Вот он:

Возьмем теперь другой кадр, та же сцена снята той же камерой, но на ISO200. Размножим его аналогично (оригинал, конверсия в DNG с помощью Adobe DNG Converter, конверсия в DNG digiKam). RAW-гистограмма всех трех кадров совершенно одинакова, поэтому приведем на этот раз только одну:

...

4 года прогресса

Берем одну и ту же FreeBSD11 и делаем

time make -j8 buildworld

Сначала на i3-2120:

А потом на i3-6300T (пересадив диск на другую материнку)

Тактовые частоты одинаковые (3.3Ghz), платформы (материнка, сокет, тип памяти) - понятно что разные, но это как раз нормально т.к. апгрейд процессора "на 4 поколения" всяко сопровождается сменой платформы. Диск - SSD, памяти достаточно, чтобы влезли и исходники и получившийся результат (в сумме...

О правильных точках отсчета

Дней 10 назад, когда появились первые тестовые RAW от Olympus E-M1-II я в них заглянул и захотел про эту камеру написать, но заела текучка, может быть еще и напишу.

В процессе написания того текста, возник отдельный пунктик, на который хочется отдельно обратить внимание на реальных примерах.

Вот, к примеру, обсуждение:

Вот это вот «определенно лучше тянется вверх» нуждается в детальном комментарии (чтобы потом на него ссылаться...

О «шумных высоких ISO»

Чем дальше в лес - тем толще!

Одним из самых распространенных заблуждений среди (цифровых) фотографов является такое:

Высокие ISO – шумные! Больше ISO – больше шум!

Это – очень вредное заблуждение (которое, в частности, загубило часть моих ночных кадров), типичный случай перестановки причины и следствия. Хуже всего то, что это заблуждение проникает во всякие фотографические курсы и ранит неокрепшие души фотографов-новичков.

Давайте разбираться на конкретных примерах.

Говорить о влиянии ISO имеет смысл, если мы зафиксировали остальные параметры, а...

Exclusive! blog.lexa.ru Black Friday Deals!!!

(Подсмотрел у Питенина в фейсбуке)

По случаю почернения пятницы, объявляется скидка 10% на все, что я тут распродаю потихоньку:

  • Видеокарты
    • NVidia GTX970 в исполнении ASUS Strix: Продано.
    • AMD Radeon 7970HD: 7000р  6300р
  • Оптика Zeiss
  • Оптика Pentax67:
    • Pentax67 55/4 (прекрасно сочетается со следующим пунктом):
  • ...

Exposure triangle: WTF?

В буржуйском интернете постоянно встречается словосочетание Exposure Triangle и я его долго терпел, пока не попалась вот эта вот статья:

The Exposure Triangle – A Beginner’s Guide

После чего я уже терпеть не могу.

Давайте разбираться:

Допустим, у нас есть какая-то сцена и мы знаем, какая там должна быть экспозиция (ну вот знаем и все). Тогда у нас

  • Для конкретного поставленного ISO
  • ...

Pages