FreeBSD ZFS Q

lexa - 04/Янв/2014 13:38

А вот тут у меня проект на празднички, расширить ZFS с 5x3Tb до 6x3Tb.

Ну значит надо побэкапить, пересобрать, поресторить.

Бэкаплю:

zfs snapshot zdata/files@20140104
zfs send zdata/files@20140104 | zfs recv zfiles/files

zdata - это мой массив, zfiles - пул на диске, вставленном через SATA.

Дальше делаю zpool export zfiles. Размонтировались, типа. Вынимаю диск.

Дальше хочу посмотреть как оно. Опять вставляю диск, zpool import и хрена лысого:

pool broken, репайред быть не может.

Такое было и при хотсвапе через SATA и при хотсвапе через USB-dock.

Вопросы:

  • ЧЯДНТ?
  • какого хрена, собственно? Если сделали export, диск же размонтирован и можно вынимать?

Ну то есть я сейчас спишу 10Tb файликов по сети на NTFS-диски, но злобу уже затаил...

UPD: Дима, Слава, я благодарен за советы. Но вот сейчас я, весь на нервах, еще раз пишу 10Tb файликов, уже на винду (точнее, в два потока, на винде и на FreeBSD, но не суть важно).

Всякие предложенные идеи - я обязательно попробую. Но сначала том надо нарастить, место ж кончается.

Comments

dmarck (not verified) - 04/Янв/2014 15:55

ZFS version? raw disks или GPT? ну и uname -a

ну и, just for, рекомендуется для простоты себе собирать zpool из gptid (/dev/gpt/name)

lexa - 04/Янв/2014 16:25

9.2-stable, raw-диски, zfs - какая там в 9.2 (28-я, поди)

dmarck (not verified) - 04/Янв/2014 16:41

я вот, в том числе из-за таких залётов, что-то перестал с RAW возиться, gpart везде делаю.

похоже, мета-данные где-то недообновляются.

напиши в freebsd-fs@, что ли, там Андрий активен.

lexa - 04/Янв/2014 16:57

См. апдейт.
Я поизучаю вопрос (и если научусь воспроизводить) - напишу. Но сначала надо 10Tb move it, move it, move it...

А raw - чтобы не думать, где там на 4k выравнивание.

dmarck (not verified) - 04/Янв/2014 16:59

sidenote: raw, может, и автовыровняет, но до самых последних версий фри (лень сейчас лезть, но в точно будет в 10.0), не распознает, что надо сделать ashift=12

lexa - 04/Янв/2014 17:20

распознает вроде

zdb |grep ashift
ashift: 12
ashift: 12

Оба тома на raw

neuda4nik (not verified) - 05/Янв/2014 06:37

блин а у меня девятка, хотя вроде была двенашка когда создавал
оно разве само может сконвертится с 12 на 9?
я апгрейдил свой nas4free и оно само подхватило диски сконфигурённые в предыдущей
версии, я порадовался а ashift не проверил

это теперь надо всё бекапить и пересоздавать что ли?

lexa - 08/Янв/2014 10:39

А я вот пересобрал массив, не проследил как оно, у меня теперь тоже ashift=9
Это все ваша GPT, на raw-dev все было отлично.

В-принципе, все файлики почти под рукой, можно пересобрать и перезалить пока не поздно, но ужасно лениво.

neuda4nik (not verified) - 08/Янв/2014 14:33

ну я вот не смог с таким смириться и собрал заного раид с командной строки
теперь в gui крыжика нет, зато ashift =12 :)
тоже вот парадокс
действовал вот по этой инструкции
http://forum.ixbt.com/topic.cgi?id=11:44215:2978#2978

lexa - 08/Янв/2014 15:09

У меня упирается в Самбу. Ну и хрен бы с ним пока, потом в очередной раз буду тюнить....

_slw (not verified) - 04/Янв/2014 16:48

а вот ради любопытсва если такой совет попробовать:

==
zpool import -N -o readonly=on -f -R /pool

Подключает пул в режиме ro без монтирования дисков.

Если не получилось:

zdb -ul vdev | less

Смотрим список транзакций, выбираем предыдущую и:

zpool import -N -o readonly=on -f -R /pool -F -T transaction_id pool
==

ну и возможно просто не сборсилось что-то на диски. кто-то слишком умный?

mikeuz - 06/Янв/2014 02:41

"ZFS с 5x3Tb до 6x3Tb" и " Но сначала том надо нарастить, место ж кончается."

За какое время Вы забьёте эти новые 3Tb? И снова квест??? А ведь тогда придётся гонять туда-сюда уже 15Tb.

Я бы скорее добавил сразу 2-3 диска (как там каноничнее) в raidz2 или (если жаба сильнее) начал переходить на диски 4Tb, начиная, как раз, с шестого.

PPS. Про страйп 2x5x3Tb, мне кажется, упоминать совсем не нужно...

lexa - 06/Янв/2014 10:00

Ну вот текущий квест - он бесплатный. Т.е. 3Tb-диск уже был, а все остальное не меняется. Воткнуть больше дисков в эту материнку нельзя, там 6x SATA и все.

Поэтому да, проблема заметена под ковер, не знаю на сколько, на пару лет наверное, на год - точно.

Дальше можно менять диски по кругу на 4Tb, а может быть 5-6 появятся к этому моменту.

Serge_e (not verified) - 07/Янв/2014 18:41

Ты 3Тб диски по какому-то критерию выбирал, или брал то, что дешевле? А то у меня тоже место заканчивается, надо апгрейдиться, но пока непонятно на что. Мне в чем-то проще, пока только 4х2Тб, но тоже в ZFS.

lexa - 07/Янв/2014 18:49

У меня Сигейты ST3000DM001
Я тогда (когда покупал, а было это скорее в 2012-м) обзоров почитал и выбрал эти.

Относительно доволен: на двух случались ошибки, я их вынимал и менял, но использовал в качестве дискеток - и вроде нареканий нет.

Сейчас один из этих с нареканиями поставил обратно, посмотрим.

lexa - 07/Янв/2014 18:58

Да, март 2012.
Сейчас - надо смотреть на варианты и цены.
Вот в лабазе соседнем - Hitachi 7K3000 дороже 7K4000, чудеса.

Serge_e (not verified) - 07/Янв/2014 22:29

Спасибо.

Что-то ругаются на твои сигейты в интырнетах много ))

Буду брать, скорее всего по 3Тб, а то 4х4Тб получается дороговато в абсолютной сумме. А там, через годик-полтора систему менять пора будет, так что пойдет количественный рост.

Пойду читать про современные сигейты и ВД (ну и тошибу заодно), что-то у них вроде неплохое для NASов отросло (мне скорости имеющихся 5к4 хватает, так что я за 7к не гонюсь).

lexa - 07/Янв/2014 22:43

Да я сам не сказать чтоб в восторге - 2 из 7 или 8 - были проблемные. Но проблема могла быть и в кабелях (потому что больше не воспроизводилась), всякое бывает. Сейчас один из этих двух пошел в массив, я туда уже 8TB налил (т.е. ~1.5TB на каждый), пока живут.

mikeuz - 09/Янв/2014 11:03

Меня уже сложно чем-то удивить, но Вы смогли.
"Пихать" заведомо проблемный диск в рабочий массив..!
Да ещё с переливанием всей инфы.
Я бы ещё понял, если такое решение - авральное и на неделю, максимум.

lexa - 09/Янв/2014 11:06

Так у меня же есть копия всего (и не одна) на других дисках. На которые переливал.
Свежая. А массив - с избыточностью.
Копия того, что мне дорого (а не контента из интернета) - много более чем одна.

А про "заведомо проблемный" - далеко не факт. Вероятность проблемности проводочков - больше.

lexa - 07/Янв/2014 22:45

Вот у меня что бывало: http://blog.lexa.ru/2009/12/16/nauka_o_kontaktax.html

Диски нормальные, кабели - вроде тоже, порт в контроллере (или разъем на материнке).