Одной строкой

vzeroupper не делается, но там вообще распаковка адовая получается:
                const __m128i mem0 = _mm_load_si128((__m128i*)from);
               
                const __m128i tmp16l = _mm_unpacklo_epi8(mem0, zero);
                const __m128i tmp16h = _mm_unpackhi_epi8(mem0, zero);

                const __m128i tmp32ll = _mm_unpacklo_epi16(tmp16l, zero);
                const __m128i tmp32hl = _mm_unpackhi_epi16(tmp16l, zero);
               
                const __m128i tmp32lh = _mm_unpacklo_epi16(tmp16h, zero);
                const __m128i tmp32hh = _mm_unpackhi_epi16(tmp16h, zero);
               
                const __m256i tmp0 = _mm256_insertf128_si256(zero256, tmp32ll, 0);
                const __m256i tmp1 = _mm256_insertf128_si256(zero256, tmp32lh, 0);

                const __m256 in0 = _mm256_castsi256_ps(_mm256_insertf128_si256(tmp0, tmp32hl, 1));
                const __m256 in1 = _mm256_castsi256_ps(_mm256_insertf128_si256(tmp1, tmp32hh, 1));

                const __m256 out0 = _mm256_sub_ps(_mm256_mul_ps(in0, mul), del);
                const __m256 out1 = _mm256_sub_ps(_mm256_mul_ps(in1, mul), del);

                /* Store 16 floats */
                _mm256_store_ps(to,      out0);
                _mm256_store_ps(to +  8, out1);
               
                count -= 16;
                from += 16;
                to += 16;
Куда его тут? Да, я ещё интерливинг пытался тут вставить (ну типа как половина данных готова так с ними и работать а не групировать операции по смыслу как я тут скопипастил) и удвоить объём работы в одном проходе цикла (тоже как с группировкой по смыслу так и сгруппировкой по локальности данных) и то и другое даёт изменнеия в пределах статпогрещности. Да, в этом коде zero, zero256, mul, del — константы, понятно. Нули, множитель (512/255) и просто 1 в соотвествующих веторах.

Таблица! Это было первое, что я попытался сделать. Это медленней в 2-3 раза чем следующий самый медленный вариант!

56 тысяч тактов! Оу.