Про AVX2 и размывание кэшей

Вот наконец удалось ощутить офигенную пользу от AVX2, причем двойную. Вот такой вот код:

_mm256_stream_si256((__m256i *)&drowp[col], _mm256_i32gather_epi32((const int*)table, _mm256_cvttps_epi32(_mm256_load_ps(&srowp[col])), 4));

в 4.5-5 раз быстрее, чем простой SSE2 аналог (в котором, понятно, нет gather) и в ~6 раз быстрее скалярного C-кода:

drowp[col] = table[(unsigned)srowp[col]];

Рассмотрение всего хозяйства под микроскопом показало, что основной взнос в результат дает _mm256_stream, а вовсе не gather. Стоит заменить stream на store, как все сразу портится. По достаточно очевидной причине: длина строки и drowp и srowp - ровно 4 килобайта и вероятность налететь на алиасинг кэша весьма велика.

После переработки SSE-варианта на такой вот:

            __m128 fpixel = _mm_load_ps(&srowp[col]);
            _ALIGN32_F unsigned int ipix[4] _ALIGN32_E;
            _mm_store_si128((__m128i *)ipix, _mm_cvttps_epi32(fpixel));
            _ALIGN32_F unsigned int opix[4] _ALIGN32_E;
            opix[0] = table[ipix[0]];
            opix[1] = table[ipix[1]];
            opix[2] = table[ipix[2]];
            opix[3] = table[ipix[3]];
            __m128i oreg = _mm_load_si128((const __m128i*)opix);
            _mm_stream_si128((__m128i*)&drowp[col], oreg);

SSE-вариант стал в разы быстрее (все еще в полтора раза медленее, чем AVX, но не в 5), всего-лишь от замены прямой записи в память (через кэш) на запись мимо кэша (понятно что две последние строчки надо слить в одну, для красоты).

Плохая новость заключается в том, что этот код такой простой т.к. это для ЧБ-изображения, вся обработка уже спрятана в LUT. Внедрить такое же в цветном случае будет сложнее, но результат, похоже, того может стоить.
 

P.S. В коде выше, _ALIGN* - это макросы для MSVC и clang, вот такие:

#if defined (WIN32)
#define _ALIGN32_F __declspec(align(32))
#define _ALIGN32_E
#else
#define _ALIGN32_F
#define _ALIGN32_E __attribute__ ((aligned (32)))
#endif
P.P.S. Замена _load_ на _stream_load никакого выигрыша не дает. Добавление явного prefetch на следующий элемент (с проверкой длины, конечно) - дает еще малую толику.

P.P.P.S. Для просто просмотра картинок последовательно - выигрыш не будет виден от слова совсем, декодирование жатых файлов жрет больше в изрядно раз.