Свежие комментарии

Title Comment
думаешь все покупатели изучают теорию?

думаешь все покупатели изучают теорию?

Там и считывание в режиме 14 бит - совсем иное.

Там и считывание в режиме 14 бит - совсем иное.

Прошу прощения, но бродил по интернету, наткнулся на ветку и

Прошу прощения, но бродил по интернету, наткнулся на ветку и поскольку речь идет о OpenMP - не удержался. :) На днях мы выпустили первую бета версию статического анализатора кода VivaMP. Он предназначен для диагностики ошибок в параллельных программах, построенных на основе OpenMP. А еще в подарок статья:

32 подводных камня OpenMP при программировании на Си++
http://viva64.com/art-3-1-464379766.html

С уважением, Андрей Карпов.

Скриншоты с atto-вской бенчмарки, которая в комплекте. А с

Скриншоты с atto-вской бенчмарки, которая в комплекте.

А с софтовыми решениями - проблем пока не было только с gmirror. С "интеловским RAID" (который никакой не RAID), равно как и с виндовым - наелся в свое время, больше никак не хочу.

А от развала RAID лечиться только бэкапами, на другую машину или в шкаф, нет других путей. Ну и для наиболее дорогого - offsite.

Ну это надо чтоб железка продавалась где-то поблизости. По

Ну это надо чтоб железка продавалась где-то поблизости.

По софтовому raid -- тьфу три раза, но с зеркалами проблем не было. Были проблемы с raid-10 и с raid-5 -- было страшно. С зеркалом не так страшно -- диск остается простым и видится в любой машине в случае смерти собрата. В реализации Intel все чуть лучше, чем в варианте MS. Во втором случае ребилдится при любом зависании ОС (когда зеркало средствами ОС построено), в случае же с intel-набортным контроллером если кэш обратной записи включен, то ребилдится чаще после BSOD и т.д. Со страйпом мне кажется проще -- с выключенным кэшем работает медленне -- но фотошоп именно работает быстрее с выключенным кэшем. Может от дисков зависит -- не знаю.

Что такое RAIDZ не знаю, но у меня вот на страйпе из трех дисков сохранаются файлы с конвертора и потом туда же собирается панорама (и временные под панорамный софт там-же) -- получается максимально быстро. Скорость записи не мерял, но читается быстро вроде.

Скриншоты с какой программы? Ей не надо диск очишать?

Оказалось в Fedora Firefox собран с lcms из коробки, только

Оказалось в Fedora Firefox собран с lcms из коробки, только опция gfx.color_management.enabled выключена. Включил - все показалось как надо.

Вдогонку. Понятно, что на одной стороне спектра - просто ди

Вдогонку.

Понятно, что на одной стороне спектра - просто диски врассыпную (на встроенном контроллере), софтверный raid, бэкап тоже на (S)ATA-диски и прочее такое low cost (правда надо понимать, что к этому low cost должна прилагаться хорошая сеть)
На другом - ящики вроде EMC Symmetrix и прочие мега-SAN-ы с территориальным разнесением (сеть тоже нужна, но большая ее часть - внутри этих ящиков)
Цена хранения - резко отличается (я думаю, что больше чем на порядок).

В этой шкале - чем больше данных, тем конечно правильнее двигаться в сторону совсем простых решений, но там доля постоянных издержек (зарплаты или просто потери времени) - относительно выше.

Растет производство всех камер (и FF и APS), а бочка одна.

Растет производство всех камер (и FF и APS), а бочка одна.

Ну, железку я куплю если эта сдохнет - правда за 700-800, а

Ну, железку я куплю если эта сдохнет - правда за 700-800, а не за 200, но страховаться покупая вторую - не готов.

Зеркала "на набортном контроллере" (т.е. софтового) - не хочу (этого дерьма я уже наелся). Полностью софтового зеркала - хочу, но только под FreeBSD (и м.б. Linux, но его не использую), под виндами я это тоже уже ел.

Вывод "RAID-5 дороже зеркала" мне и вовсе непонятен. Вот у меня сейчас два массива по 3 диска. Докупить еще два диска - примерно $500, контроллер - 217 (впрочем, будем честными, с кабелями - чуть менее 300).

Ну и софтовый RAIDZ у меня сейчас есть. Я на таких массивах (трехдисковых) 150 Mb/sec на запись не вижу. 75-85 - вижу, но терпеть не могу, когда я, такой усатый и красивый, жду дискового IO.

Ну с предыдущими полнокадровыми - не упирался, неужто произв

Ну с предыдущими полнокадровыми - не упирался, неужто производство (=продажи) настолько вырастет?

Канон может упереться в производство. У него всего одна 200

Канон может упереться в производство.
У него всего одна 200 мм фабрика, у Сони - три 300 ми.

На этом формате наращивать дальше - практически нет смысла.

На этом формате наращивать дальше - практически нет смысла.

Там, как я понял, чуть сложнее - собственно кристалл сенсора

Там, как я понял, чуть сложнее - собственно кристалл сенсора соневский, а CFA и AA - другие.

С сенсором от A900 :-)

С сенсором от A900 :-)

Хотя может какие-то специализированные задачи, кот. пишут мн

Хотя может какие-то специализированные задачи, кот. пишут много мелких частей...

А смысл? Скорости ведь не особо большие -- такие достигаются

А смысл? Скорости ведь не особо большие -- такие достигаются дешевыми дисками в страйпе на набортном контроллере. RAID-5 не надежнее зеркала, но дороже и не очень-то и быстрее, или быстрее, но не принципиально. У тебя важные данные плюс ОС не помещаются на терабайт зеркала?

Линейные скорости это хорошо, но вот где? Вот ты качаешь фильм с торрентов (например) -- скорости не нужны. Или с внешнего диска -- тоже. Или ты сделал большой файл в фотошопе и пишешь его на диск -- фотошоп сам медленно пишет, плюс операция эта не так уж и часта. Постоянно эти файлы тоже не читаются. В архив скидывается медленно. Быстро будет с одного такого массива на другой -- но массив один только.

Отказоустойчивость слабая -- где такой второй контроллер брать если что? Пусть не ради отказоустойчивости -- тогда если есть возможность быстро восстановить (или просто восстановить не сильно медленно), то почему бы ради скорости не сидеть на простом страйпе? Будет реально быстро грузится ОС (раз в неделю :).

Вообщем я не могу понять, какой я момент упускаю в таких сложностях, но допускаю, что упускаю. :)

Я понимаю, что вообще существуют задачи, кот. требуют таких сложностей, но вот процент этих задач, на мой взгляд, не столь уж и велик.

Ха! Это мне в голову не приходило...

Ха! Это мне в голову не приходило...

на PMA (или даже раньше) Canon выкатит 28М и всё вернётся на

на PMA (или даже раньше) Canon выкатит 28М и всё вернётся на круги своя.
хотя конечно звоночек интересный - впервые такое случилось.

Ну как, размер пикселя уменьшаем - чувствительность падает,

Ну как, размер пикселя уменьшаем - чувствительность падает, надо компенсировать. Например, расширением спектров пропускания фильтров

метамеризм это про спектральную чувствительность (пропускани

метамеризм это про спектральную чувствительность (пропускание) фильтров перед ячейками скорее, размер пикселя то вроде не при чем?

Да уже надо смотреть не на ДД, а на метамеризм.

Да уже надо смотреть не на ДД, а на метамеризм.

ну так теперь надо посмотреть на fps очередного полнокадрово

ну так теперь надо посмотреть на fps очередного полнокадрового марка.
и на ДД заодно ...

Эх, жаль.

Эх, жаль.

Во, на маке ATTO работает (по рассказам) отлично. При этом,

Во, на маке ATTO работает (по рассказам) отлично.

При этом, покупали этот контроллер через Nikon Professional Service или как он там правильно называется - и там цена оказалась смешной.

Скорость линейной записи мне именно для линейной записи - му

Скорость линейной записи мне именно для линейной записи - мувать гигабайты кино и фото.

IOPS-ы не мерял (надо было, конечно), ибо мерять имеет смысл в сравнении, а старый том уже разнес нафиг.

А к чему тебе скорость линейной записи? IOPS то мерял?

А к чему тебе скорость линейной записи? IOPS то мерял?

linuxовый soft raid.

linuxовый soft raid.

спасибо, вот тоже интересуюсь и думаю завести RAID-5 на деск

спасибо, вот тоже интересуюсь и думаю завести RAID-5 на десктопе, причем и на маке и на РС.

Все отлично, только те книжки, которые я полистал и решил не

Все отлично, только те книжки, которые я полистал и решил не покупать - не O'Reilly (несмотря на то, что доступны через орейлевский safaribooks).

С трудом заметил, с третьей попытки, прочитав внимательно ко

С трудом заметил, с третьей попытки, прочитав внимательно комментарий к табличке.

А в середине заметил, что нам нужны лукапы, а не просто оптимизация заливки в БД, о чем в посте.

И заметил оценку максимального объема данных, позволяющую задуматься о случае "памяти хватит на все".

Отсюда и раздвоение в моем комментарии

"Когда сливать", на самом деле не очевидно. У нас есть (применительно к моему описанию) 3 момента для записи:

1. кончилась память - сливаем все
2. какой-то критический уровень кеша - сливаем страницы максимального размера
3. отдельная страница перевалила за лимит - сливаем ее

если все влезает в память, то нас интересует вариант 1, а вот если не влезает - не очевидно.

Ну и ключевой момент, который ты пропустил - большой индекс-массив с размерностью "количество ключей/N" и маленькие растущие массивы "страниц" совсем не страшны, зато очень эффективны. Реаллоки там не нужны, на самом деле, там просто нужна оптимизация выделения памяти под работу с записями известного размера. У меня это стандартно в любых реалтаймовых задачах. Это с одной стороны приводит к некоторому оверхеду, но очень небольшому. Вред от реаллоков больше.

Pages

Subscribe to comments_recent_new