Q: почтовый антиспам?

Я вот ~10 лет не занимаюсь антиспамами и мои решения 10-летней давности, которые я лет пять не трогал, наконец то перестали работать до полной неспособности.

Порекомендуйте E-mail антиспам? Человеколюбивый, не с отлупами по RBL, а чтобы разметку делал как-то вменяемо.

Требования/предпочтения:

  1. Почтовый сервер у меня на FreeBSD (+postfix, procmail, uucp)
  2. Работа на "user level", тестировать буду сначала на всяких тестовых аккаунтах через procmail
  3. Отсутствие false positive важнее качества работы
  4. rule-based (с, хм, обновлением правил работающим) предпочтительнее статистических, связываться с обучением сильно не с руки.

Раньше я бы поставил SpamAssassin в режиме разметки, но может быть что хорошее появилось за 10 лет?

Comments

Я тут с полгода назад изучал этот вопрос, когда переносил почтовый сервер с рабочей станции на Banana PI. В итоге остался на спамассасине. Комбинация спамассасина с грейлистингом работает почти идеально. Правда, я не брезгую обучением спамассасина, считая, что перемещение письма в папку Spam вместо удаления, это вполне приемлемые трудозатраты.

Что характерно, после перезда, то есть после замены когда-то кастомизированного конфига спамассассина на дистрибутивный от текущей версии, качество фильрации заметно возросло.

У меня разметка на сервере, а чтение - дома (а транспорт между - uucp), что-то вот вменяемое обучение не могу себе пока представить.
Впрочем, начну наверное с ассассина на домашнем сервере, может в этом счастье.

Грейлистинг меня, к сожалению, никак не устраивает. Мы тут гордимся скоростью работы нашей техподдержки, грейлистинг ей будет сильно мешать.

Ну совершенно не вижу проблем в организации обучения в такой конфигурации.

У меня обучение сделано кроновским заданием. С задержкой примерно на сутки от момента получения письма. То есть раз в сутки кроновское задание шерстит папки на том сервере, где почта хранится, и всё то найдет (кроме свежей почты в инбоксе) скармливает sa_learn либо с --ham, либо с --spam. Соответственно, ничто не мешает этому самому кроновскому заданию тупо отбаунсить это дело на парочку выделенных адресов на сервере, где спамассассин через тот же uucp. А уж там почту, приходящую на эти адреса будет сразу sa_learn читать.

В с другой стороны, применяемое у меня сейчас решение больше похоже на ситуацию когда разметка дома.

То есть на сервере на collocation стоит postgrey, и устраивает грейлистинг. А потом почта идет оттуда домой через VPN по SMTP, и уже дома работает спамассассин.

В принципе, никто не мешает адрес техподдержки прописать грейлистингу в белый список, чтобы он не мешал оперативности техподдержки. Можно защищать грейлистингом только личные адреса. И, пожалуй, в данном случае, в силу древности и широкоизвестности этих адресов это будет иметь смысл.

А вот если байес весь выкинуть нахрен вообще - качество будет сильно хуже?

Его же выпасать надо, переобучение, ошибки, много всего там зарыто....

Не, баес это единственное, что в нем работает для русского спама.
Грейлистинг - ну, он конечно помогает, но от сильно тупых спамеров, остальные через него проходят. DKIM - тоже не очень, много спама с сигнатурами.
Как вариант, если почта от домена проходит через ту-же машину - оперировать с awl (искусственно занижать score) для отправителя, на чьё письмо ответили.

Я, наверное, очевидные вещи сейчас скажу, но тот же грейлистинг можно включить только для личных ящиков.

Техподдержка, на мой взгляд, вообще обязана читать всё, ведь совершенно свободного от FP антиспам-софта пока не придумали.

Ну и человек может false positive допустить.

Просто если FP скажем 0.1% и вероятность ошибиться человеку - 1%, то вот произведение позволяет читать спам-папку клавишей Del.
А папку входящих, где спама не 99.9, а просто 90 - так нельзя читать.

Альтернатива есть - http://rspamd.com/ работает раз в 100 быстрее чем SpamAssassin (кто читал код SpamAssassin этому не удивится). Минус - недостаточно подробная документация. Не очень прост в настройке. Проект пока ещё быстро развивается, поэтому при обновлении часто приходится сильно перерабатывать конфиг.

Перформанс меня не волнует, у меня на сервере пасутся по почте человек ну может пять.

А вот "не очень просто в настройке, перерабатывать конфиг" - волнует.
Мне нужно fire and forget на несколько лет. При этом меня мало волнует качество (нет, я понимаю что 90% и 95% - это в два раза разница), а много - false positive.

А чем плохо почтовый сервис у гуглы купить для своего домена за $5 в месяц?

Я конечно не настоящий фрезеровщик, но честно пытался много лет жить со всякими спамассасинами. И только когда перестал этим заниматься понял какой же это онанизм.

У гугла я вообще никакого контроля над false positive не имею.

По опыту 10-летней давности - этого добра там МНОГО (было)

> А чем плохо почтовый сервис у гуглы купить для своего домена за $5 в месяц?

нанять индуса !

Z / V

+100500
Я тоже с онанизмом закончил ))

Раньше была компания Postini (postini.com), потом ее купил Гугл.
Где-то в потрохах еще должен быть план для inbound mail: $3/year per user.
Можно индивидуально регулировать для каждого пользователя агрессию, оно достаточно оперативно присылает отчеты о застрявшей почте в карантине.

У нас в конторе сейчас трудится PineApp.

У Касперских оно было (сервис), сейчас - не знаю.

Проблема вот в чем: мне не нужен "сервис очистки от спама", я очень привиредливый в этом смысле и другое решение буду долго мучать (меня именно FP тревожат).
Мне нужен сервис разметки, а эту разметку я у себя в инбоксе сам разрулю.

Не знаю, что там у Гугла. Но по идее, они должны были все хорошее взять у Постини.
Раньше можно было агрессию менять per user, от 0 до 10.
Плюс оно слало вменяемые отчеты по карантину и по клику выпускало почту.
Отчеты не по определенным часам, а типа накопится какое-то кол-во застрявших писем, оно тут же присылает отчет.
Плюс API для автоматизации управления всей кухней.

>мне не нужен "сервис очистки от спама"

Если почта нужна для зарабатывания денег, то почему нет.

Посмотрел альтернативы Postini -- spamhero, spambrella, еще какие-то конторы.
У spamhero на 5 пользователей должно быть около $100/year.
Можно запросить quote и попробовать триал.
Не понравилось, mx-ы взад.

Spamhero: Our domain-wide filtering plan includes 100,000 inbound messages free per month

можно начать попробовать на всяких некоммерческих доменах, да.....

Ну и Postini - окончательно все в этом году. Google Apps.

У меня 99% спама отсекает грейлистинг по доменам (по бэкресолву), попадающим под нбаор регекспов типа «очень много букв и цифр». Идея придумана давным-давно, но работает до сих пор.

Я считал число 450-ых отлупов в логах постфикса и количество спама, который прорывается, там, реально 100:1.

Т.е. под грейлистинг попадает всё, что никогда не проходило грейлистинг и при этом или не бэкресолвится вообще или юэкресолвится во всякую муть, проверяемую десятком регекспов.

Иногда под регекспы попадают фермы честных почтовых сервисов, но они легко проходят грейлистинг. Иногда — криво настроенные форумы всякие, на которые ходят мои пользователи. но они тоже проходят грейлистинг.

Яростно плюсую, тоже сую в грейлистинг выборочно, архаровцев вроде -adsl- И тому подобный \.cn$.

поставить у себя пересылку на ящик в gmail и оттуда уже читать почту...

И чего будет?
Все проверки по IP источника - будут отсутствовать.
Адрес моего сервера - с которого сыплется дохрена спама (потому что я приходящий спам буду пересылать на gmail) - попадет в блеклист
False Positive неуправляемы.
Прекрасная доставка по uucp испортится, а все эти IMAP я труба шатал.

Не, все эти массовые сервисы идут лесом. Я - не масса.

просто скажу как у меня сделано (всё делалось через панель хостера, как оно там реализовано - без понятия, хостер, "1&1" на данный момент, называет это Forward):

user1@domain.com -> domain-user1@gmail.com
user2@domain.com -> domain-user2@gmail.com
...
userN@domain.com -> domain-userN@gmail.com
*@domain.com -> domain@gmail.com

есть ещё на самом домене, у хостера, один ящик с нетривиальным названием, куда форвардится критичная переписка с адресов специально выделенных для критичных контрагентов, т.е. все agent[1..N]@domain.com валятся на MySecretBox@domain.com, откуда я её забираю напрямую. Спама там практически не бывает.

и всё. Получаю и отправляю всё по-старинке, через POP3 и SMTP...

да, False Positive есть, но в остаточных количествах, раз в неделю глянуть папку спам - нестрашно... Вроде бы для платной версии есть там и функция whitelist. Но и так в спам обычно попадают всякие рассылки и уведомления, не помню когда последний раз туда попадала личная переписка.

пользуюсь схемой очень давно, а самой гуглопочтой - чуть ли не с момента её появления, когда она ещё по приглашениям была, не замечал чтобы блэклистили.

да и просто банальная логика подсказывает, что антиспам, у которой самая большая статистика во всей сети - будет работать лучше, чем локальные велосипеды.

>>но в остаточных количествах, раз в неделю глянуть папку спам - нестрашно.

Если в папку спам что-то попадает нужное - то смотреть ее мне придется постоянно, увы.

Btw сервис очистки почты от спама в России -- может быть не плохой бизнес.
Чего-то как-то предложений не видно.

> может быть не плохой бизнес

Только если вы гений маркетинга.

Мы бы такой сервис купили. Только при условии, что ДЦ в России и есть запасной ДЦ здесь же )
Сейчас $4k per year платится PineApp-у. При этом с PineApp-ом есть разный гиморой.
Все остальные еще хуже.
У Постини это бы стоило $1500.
Вообщем, никому не нужны $1500 (это не вопрос, а константация факта).

Kaspersky Hosted E-mail security?

Такое впечатление, что оно EOL. На сайте нет такого продукта.
Судя по описанию, они не понимают, что нужно энтерпрайсу.

Ну я вот нашел новость от 2011, что "откапываем стюардессу".

Возможно, за 4 года успели обратно закопать.

Как вариант Kaspersky Security 8.0 для Linux Mail Server.
Под FreeBSD тоже есть. Вариант минимальной лицензии антиспам без антивируса. Всё равно реальных ограничений по количеству адресов нет. Примерно 5000 руб. на 2 года.

В принципе - да.
Я вот новых версий KAS не видел, но если они сохранили качество, то оно хорошее ("сам делал").

Тестовую лицензию надо запросить наверное....

Так и я лет десять назад работал в интеграторе, который обладал лицензией на ашмановский антиспам. Не помню особых продаж сервиса, счета обычно выставляли лишь придворным "братским" лавкам.

Этот рынок придавили со всех сторон. Конечный пользователь может себе позволить выбирать из кучи средств, от spamassassin до vendor provided (google, yandex). Корпам втюхивают антиспам в составе комплекса антивирусной защиты (nod, kas, тысячи их). Есть даже продукт для создания иллюзии работы: встроенное в Exchange средство.

Standalone имеют возможность дополнительно выбирать из кучи opensource проектов, футболящих по правилам и формату. Здесь стоит, наверное, упомянуть rspamd, который пилит Сева Стахов (Алексей, вы его наверняка знаете лично или через Максима Коновалова).

Так что отдельному сервису антиспам-защиты места на этом пятачке считай что нет.

Ну проблемный же рынок, тут вопросов нет
1) Захостить не все готовы - и из соображений конфиденциальности и из соображений "а кто ответит за косяк".
2) Антивирусникам - интереснее продать антивирус (там за пользователя в год - в разы больше денег), антиспам идет довеском по цене. И, соответственно, по остаточному принципу все остальное кроме AV.

Standalone антиспам с AV все равно стоит денег. И не маленьких.
Если бы hosted antispam стоил дешевле, то туда бы все ломанулись.
Что с Постини и было. У них даже Гугл покупал сервис, а потом сам их купил.

В ру возникает вопрос конфиденциальности, точнее того, что многие компании не хотели бы выносить мусор из избы. Но как бы товарищь майор все равно может читать каналы и бесплатные почтовики.
Плюс облака, хостинг и прочии SAAS.

По-моему, письма от живых людей туда не попадают.
Письма от полезных роботов - да, иногда попадают. Например от криво сделанных
интернет-магазинов.

Живые люди бывают самых причудливых форм, увы.

Так и представил себе недалёкое будущее, тест Тьюринга и капча: отправить письмо на специальный адрес, а ля level1@turing.com, level2@... чем выше уровень, тем больше ты человек :)))

Чтобы доказать, что вы не робот, причините вред другому человеку, или своим бездействием допустите, чтобы человеку был причинен вред.

О! Да! Только тут нужно удостоверить, что человек, которому причинили вред - таки человек.

Мы юзаем везде связку postfwd2 (это такой policy-daemon для postfix со смешным языком конфигурации, позволяющий настроить скоринг гомодрилов по разным признакам типа плохое HELO, левый SPF, кривой DKIM, адрес в блеклисте, RBL/URIBL и на основании скоринга либо отдать сразу в deliver, либо подвергуть контент-фильтру, либо загрейлистить или зарейтлимитить животное, либо вовсе его послать в лес, если он особо злокачественный) и dspam. Последний суть чисто байесов классификатор со свистоперделками типа noise reduction, chaining и прочей статистической мутью.

Работает неплохо, FP от dspam у меня есть только на моей личной почте и только применительно к рассылкам родной кафедры, причем только от одного человека - как-то они особенно злокачественно оформляют HTML с помощью аутлука там, и почему-то он научился ее принимать за спаммера, но я не в обиде, ибо это спам и есть :)

А настройки всего этого добра - из коробки, или долго и мучительно подбирались?

Сам dspam настройке не подлежит особой, ему тупо выдаешь пару папочек (спам и инбокс) в виде mbox/maildir на съедение через командную строку и он учится, базы он по дефолту держит в sqlite, но можно юзать всякий постгрес/мускуль. Дальше он учится сам, есть вебморда для карантина/обучения, по дефолту он только размечает.
А у postfwd2 есть дефолтный конфиг такой развесистый, с которым я максимум, что делал, это подбирал уровень параноидальности для "посылать в дупу", сейчас у меня стоит, кажется два RBL + кривой IP/HELO/RDNS/SPF.

Ооооо, postfwd2! Почему я о нём не знал все эти годы! Можно заменить моё решение из палки и верёвки с ручным приводом!

В подкасте Радио-Т Григорий Бакунов нахваливал какой-то платный сервис почты, говорил что сам пользуется, адрес не помню. М.б. там антиспам подходящий со всеми крутилками?