О дедупликации и краудсорсинге

lexa - 08/Янв/2014 15:33

В каникулы развлекался на тему, как вылить на халявный терабайт на Mail.ru файлы в шифрованом виде.

encfs4win - близко к желаемому, но нужен дополнительный терабайт под шифрованую копию, виртуальный диск ( --reverse) у меня как-то не полез.

Но я о другом. Вот всякая мультимедия, которую я любовно годами собирал. Вылить ее на Crashplan практически без шансов: очень медленно, полтерабайта музыки уже которую неделю едут.

Попробовал на кино (без шифрования). Получилось прекрасно: многогиговые фильмы улетают туда стремительно, примерно по гигабайту в минуту (а может и быстрее, трудно посчитать). Не все, но очень многие.

Понятно почему:

  • Дедупликация
  • Кто-то ровно эти же файлики уже туда залил
Понятно, есть риски, файлики контрафактные, случится импульс борьбы за авторские права и с облака это может пропасть (и если держать клиента все время включенным, то и с локального диска тоже - сюрприз!). Но и торренты из трекеров - тоже могут пропасть, по той же причине (для того и держу локальную копию любимого). Как еще один бэкап (неизвестной надежности) - облако вполне сгодится.

Comments

lenik_terenin (not verified) - 08/Янв/2014 15:54

> Кто-то ровно эти же файлики уже туда залил

лить нешифрованное -- неинтресно, кто угодно посмотрит внутрь и заборет
пиратство. а если шифровать, то дедуплицирование работать не будет =(

lexa - 08/Янв/2014 16:00

Если рассматривать это "как еще одну копию" - так и хрен с ним.

Надо поглядывать туда пару раз в год, что не забороли, и все.

lamantyn (not verified) - 09/Янв/2014 06:53

> шифровать, то дедуплицирование работать не будет

Ну так Сноудена нанять - дедуплицирование и заработает ...

dimez (not verified) - 08/Янв/2014 15:55

Они ж вроде поправили EULA (в т.ч. и убрали удаление с локального диска)
https://cloud.mail.ru/LA/

lexa - 08/Янв/2014 15:59

EULA - одно.
Как поведет себя клиент, если в облаке файлы пропали, а на локальном диске осталось - определяется программистами, а не еулой.

Anonymous (not verified) - 08/Янв/2014 16:12

бэкап "неизвестной надежности", способный ВНЕЗАПНО стереть еще и оригиналы с твоего диска (просто потому что ты отвлекся и _случайно_ запустил клиента, или, что гораздо более вероятно, он самозапустился неудаляемым образом, мэйлру это любит) - является, по-моему антибэкапом. Ну его в баню.

lexa - 08/Янв/2014 16:33

Да, это не для всех развлечение.
Но зато оно туда улетает по ~100-200Mb в секунду. На халяву и какое-то время там проживет.

shaman007 (not verified) - 08/Янв/2014 17:02

> Вылить ее на Crashplan практически без шансов

А куда торопиться? Ну выливается оно туда по терабайту в месяц, за пол года вполне можно вылить что угодно. Зато в случае резкого (или не очень) отбытия в Лондон можно не тащить через таможню подозрительные диски, например.

lexa - 08/Янв/2014 17:14

Ну вот что-то музыки оно выливает 400G за три недели.
И это почти 24/7, я на ночь редко выключал компьютер.

Cloud.mail.ru, кстати, из лондона тоже должно быть видно, т.е. именно на срочный отъезд оно лучше заточено.

shaman007 (not verified) - 08/Янв/2014 18:03

> 400G за три недели

Да, это уже совсем медленно. У меня выливает больше 1ТБ/мес, приемлемо.

avnik (not verified) - 08/Янв/2014 21:58

И что характерно, обсуждение плавно перетекло на то, что надо ехать.

lexa - 08/Янв/2014 22:12

Ну блин не в лондон же.

xxcenturyfox (not verified) - 09/Янв/2014 01:32

Василия Алибабаевича на вас нет.

kiavan92 - 09/Янв/2014 09:28

Кстати, про шифровку. Вот я уже достаточно долго пользуюсь TrueCrypt - очень вещистая вещь. Не знаю, насколько она отвечает вашим требованиям, просто, к слову.

lexa - 09/Янв/2014 09:36

Я тоже пользуюсь, хотя вот толком не понимаю почему (от кого прячусь).

Но каких-то разумных способов сочетать TrueCrypt с облачным стораджем - не придумал. Оно же будет на каждый чих синхронизировать весь контейнер.

Ну разве только сделать R/O контейнер размером с терабайт, положить туда что-то, весь его в облако вылить и пусть лежит.

kiavan92 - 09/Янв/2014 11:25

Ну да, я так и имел в виду. То есть, не синхронизация, а именно бэкап. Можно и не терабайт, а по кускам - том ведь можно создать и небольшого размера.
А так, как трукрипт шифрует - там уже хрен кто разберётся, сколько нелегала лежит на тучке.

lexa - 09/Янв/2014 11:32

Минус дедупликация. т.е. заливаться будет долго.

Я вот думаю, что с кино, музыкой и книжками - пусть лучше дедупликация работает.

Andrey (not verified) - 11/Янв/2014 14:31

У Backbase unlimited backup $5 month.

Как оно работает:
http://blog.backblaze.com/2013/02/20/180tb-of-good-vibrations-storage-po...

Чего-то страшно.

Там еще у них в блоге есть про надежность hdd.

Andrey (not verified) - 11/Янв/2014 17:18

Они ставят 4х канальный контроллер (16 дисков) SYBA SY-PEX40008 с поддержкой raid0/1/5/10.
Очень не плохо по соотношению цена/качество.

http://www.newegg.com/Product/Product.aspx?Item=N82E16816124027

agathis (not verified) - 17/Янв/2014 01:09

А как в итоге решился вопрос с шифрованием?
Encfs4win раздражает странным глючками и отсутствием реакции на некоторые ключи, с Linux box он же ( encfs) отказывается монтироваться по smb (!), хотя в остальном именно то, что нужно.

И никаких альтернатив на первый (и второй) взгляд не нашлось.

lexa - 17/Янв/2014 09:33

Я вот жду, что они починят webdav (он даже какое-то время там был) и тогда duplicati.