Q: почтовый антиспам?

lexa - 17/Сен/2015 12:53

Я вот ~10 лет не занимаюсь антиспамами и мои решения 10-летней давности, которые я лет пять не трогал, наконец то перестали работать до полной неспособности.

Порекомендуйте E-mail антиспам? Человеколюбивый, не с отлупами по RBL, а чтобы разметку делал как-то вменяемо.

Требования/предпочтения:

  1. Почтовый сервер у меня на FreeBSD (+postfix, procmail, uucp)
  2. Работа на "user level", тестировать буду сначала на всяких тестовых аккаунтах через procmail
  3. Отсутствие false positive важнее качества работы
  4. rule-based (с, хм, обновлением правил работающим) предпочтительнее статистических, связываться с обучением сильно не с руки.

Раньше я бы поставил SpamAssassin в режиме разметки, но может быть что хорошее появилось за 10 лет?

Comments

Витус Вагнер (not verified) - 17/Сен/2015 13:15

Я тут с полгода назад изучал этот вопрос, когда переносил почтовый сервер с рабочей станции на Banana PI. В итоге остался на спамассасине. Комбинация спамассасина с грейлистингом работает почти идеально. Правда, я не брезгую обучением спамассасина, считая, что перемещение письма в папку Spam вместо удаления, это вполне приемлемые трудозатраты.

Что характерно, после перезда, то есть после замены когда-то кастомизированного конфига спамассассина на дистрибутивный от текущей версии, качество фильрации заметно возросло.

lexa - 17/Сен/2015 13:46

У меня разметка на сервере, а чтение - дома (а транспорт между - uucp), что-то вот вменяемое обучение не могу себе пока представить.
Впрочем, начну наверное с ассассина на домашнем сервере, может в этом счастье.

Грейлистинг меня, к сожалению, никак не устраивает. Мы тут гордимся скоростью работы нашей техподдержки, грейлистинг ей будет сильно мешать.

Витус Вагнер (not verified) - 17/Сен/2015 14:08

Ну совершенно не вижу проблем в организации обучения в такой конфигурации.

У меня обучение сделано кроновским заданием. С задержкой примерно на сутки от момента получения письма. То есть раз в сутки кроновское задание шерстит папки на том сервере, где почта хранится, и всё то найдет (кроме свежей почты в инбоксе) скармливает sa_learn либо с --ham, либо с --spam. Соответственно, ничто не мешает этому самому кроновскому заданию тупо отбаунсить это дело на парочку выделенных адресов на сервере, где спамассассин через тот же uucp. А уж там почту, приходящую на эти адреса будет сразу sa_learn читать.

В с другой стороны, применяемое у меня сейчас решение больше похоже на ситуацию когда разметка дома.

То есть на сервере на collocation стоит postgrey, и устраивает грейлистинг. А потом почта идет оттуда домой через VPN по SMTP, и уже дома работает спамассассин.

В принципе, никто не мешает адрес техподдержки прописать грейлистингу в белый список, чтобы он не мешал оперативности техподдержки. Можно защищать грейлистингом только личные адреса. И, пожалуй, в данном случае, в силу древности и широкоизвестности этих адресов это будет иметь смысл.

lexa - 17/Сен/2015 14:54

А вот если байес весь выкинуть нахрен вообще - качество будет сильно хуже?

Его же выпасать надо, переобучение, ошибки, много всего там зарыто....

Andrey M. (not verified) - 18/Сен/2015 10:48

Не, баес это единственное, что в нем работает для русского спама.
Грейлистинг - ну, он конечно помогает, но от сильно тупых спамеров, остальные через него проходят. DKIM - тоже не очень, много спама с сигнатурами.
Как вариант, если почта от домена проходит через ту-же машину - оперировать с awl (искусственно занижать score) для отправителя, на чьё письмо ответили.

loseki (not verified) - 18/Сен/2015 19:28

Я, наверное, очевидные вещи сейчас скажу, но тот же грейлистинг можно включить только для личных ящиков.

Техподдержка, на мой взгляд, вообще обязана читать всё, ведь совершенно свободного от FP антиспам-софта пока не придумали.

lexa - 18/Сен/2015 20:01

Ну и человек может false positive допустить.

Просто если FP скажем 0.1% и вероятность ошибиться человеку - 1%, то вот произведение позволяет читать спам-папку клавишей Del.
А папку входящих, где спама не 99.9, а просто 90 - так нельзя читать.

Anton Yuzhaninov (not verified) - 17/Сен/2015 14:20

Альтернатива есть - http://rspamd.com/ работает раз в 100 быстрее чем SpamAssassin (кто читал код SpamAssassin этому не удивится). Минус - недостаточно подробная документация. Не очень прост в настройке. Проект пока ещё быстро развивается, поэтому при обновлении часто приходится сильно перерабатывать конфиг.

lexa - 17/Сен/2015 14:52

Перформанс меня не волнует, у меня на сервере пасутся по почте человек ну может пять.

А вот "не очень просто в настройке, перерабатывать конфиг" - волнует.
Мне нужно fire and forget на несколько лет. При этом меня мало волнует качество (нет, я понимаю что 90% и 95% - это в два раза разница), а много - false positive.

Konstantin Novik (not verified) - 17/Сен/2015 17:56

А чем плохо почтовый сервис у гуглы купить для своего домена за $5 в месяц?

Я конечно не настоящий фрезеровщик, но честно пытался много лет жить со всякими спамассасинами. И только когда перестал этим заниматься понял какой же это онанизм.

lexa - 17/Сен/2015 18:27

У гугла я вообще никакого контроля над false positive не имею.

По опыту 10-летней давности - этого добра там МНОГО (было)

deejjjaaaa - 17/Сен/2015 19:28

> А чем плохо почтовый сервис у гуглы купить для своего домена за $5 в месяц?

нанять индуса !

Z / V

Andrey1 (not verified) - 18/Сен/2015 00:30

+100500
Я тоже с онанизмом закончил ))

Раньше была компания Postini (postini.com), потом ее купил Гугл.
Где-то в потрохах еще должен быть план для inbound mail: $3/year per user.
Можно индивидуально регулировать для каждого пользователя агрессию, оно достаточно оперативно присылает отчеты о застрявшей почте в карантине.

У нас в конторе сейчас трудится PineApp.

lexa - 18/Сен/2015 09:08

У Касперских оно было (сервис), сейчас - не знаю.

Проблема вот в чем: мне не нужен "сервис очистки от спама", я очень привиредливый в этом смысле и другое решение буду долго мучать (меня именно FP тревожат).
Мне нужен сервис разметки, а эту разметку я у себя в инбоксе сам разрулю.

Andrey1 (not verified) - 20/Сен/2015 03:07

Не знаю, что там у Гугла. Но по идее, они должны были все хорошее взять у Постини.
Раньше можно было агрессию менять per user, от 0 до 10.
Плюс оно слало вменяемые отчеты по карантину и по клику выпускало почту.
Отчеты не по определенным часам, а типа накопится какое-то кол-во застрявших писем, оно тут же присылает отчет.
Плюс API для автоматизации управления всей кухней.

Andrey1 (not verified) - 20/Сен/2015 03:46

>мне не нужен "сервис очистки от спама"

Если почта нужна для зарабатывания денег, то почему нет.

Посмотрел альтернативы Postini -- spamhero, spambrella, еще какие-то конторы.
У spamhero на 5 пользователей должно быть около $100/year.
Можно запросить quote и попробовать триал.
Не понравилось, mx-ы взад.

lexa - 20/Сен/2015 10:36

Spamhero: Our domain-wide filtering plan includes 100,000 inbound messages free per month

можно начать попробовать на всяких некоммерческих доменах, да.....

lexa - 18/Сен/2015 10:14

Ну и Postini - окончательно все в этом году. Google Apps.

blacklion - 17/Сен/2015 19:33

У меня 99% спама отсекает грейлистинг по доменам (по бэкресолву), попадающим под нбаор регекспов типа «очень много букв и цифр». Идея придумана давным-давно, но работает до сих пор.

Я считал число 450-ых отлупов в логах постфикса и количество спама, который прорывается, там, реально 100:1.

blacklion - 17/Сен/2015 19:35

Т.е. под грейлистинг попадает всё, что никогда не проходило грейлистинг и при этом или не бэкресолвится вообще или юэкресолвится во всякую муть, проверяемую десятком регекспов.

Иногда под регекспы попадают фермы честных почтовых сервисов, но они легко проходят грейлистинг. Иногда — криво настроенные форумы всякие, на которые ходят мои пользователи. но они тоже проходят грейлистинг.

loseki (not verified) - 18/Сен/2015 19:31

Яростно плюсую, тоже сую в грейлистинг выборочно, архаровцев вроде -adsl- И тому подобный \.cn$.

schigi (not verified) - 17/Сен/2015 23:17

поставить у себя пересылку на ящик в gmail и оттуда уже читать почту...

lexa - 17/Сен/2015 23:39

И чего будет?
Все проверки по IP источника - будут отсутствовать.
Адрес моего сервера - с которого сыплется дохрена спама (потому что я приходящий спам буду пересылать на gmail) - попадет в блеклист
False Positive неуправляемы.
Прекрасная доставка по uucp испортится, а все эти IMAP я труба шатал.

Не, все эти массовые сервисы идут лесом. Я - не масса.

schigi (not verified) - 18/Сен/2015 15:26

просто скажу как у меня сделано (всё делалось через панель хостера, как оно там реализовано - без понятия, хостер, "1&1" на данный момент, называет это Forward):

user1@domain.com -> domain-user1@gmail.com
user2@domain.com -> domain-user2@gmail.com
...
userN@domain.com -> domain-userN@gmail.com
*@domain.com -> domain@gmail.com

есть ещё на самом домене, у хостера, один ящик с нетривиальным названием, куда форвардится критичная переписка с адресов специально выделенных для критичных контрагентов, т.е. все agent[1..N]@domain.com валятся на MySecretBox@domain.com, откуда я её забираю напрямую. Спама там практически не бывает.

и всё. Получаю и отправляю всё по-старинке, через POP3 и SMTP...

да, False Positive есть, но в остаточных количествах, раз в неделю глянуть папку спам - нестрашно... Вроде бы для платной версии есть там и функция whitelist. Но и так в спам обычно попадают всякие рассылки и уведомления, не помню когда последний раз туда попадала личная переписка.

пользуюсь схемой очень давно, а самой гуглопочтой - чуть ли не с момента её появления, когда она ещё по приглашениям была, не замечал чтобы блэклистили.

да и просто банальная логика подсказывает, что антиспам, у которой самая большая статистика во всей сети - будет работать лучше, чем локальные велосипеды.

lexa - 18/Сен/2015 15:30

>>но в остаточных количествах, раз в неделю глянуть папку спам - нестрашно.

Если в папку спам что-то попадает нужное - то смотреть ее мне придется постоянно, увы.

Andrey1 (not verified) - 18/Сен/2015 00:44

Btw сервис очистки почты от спама в России -- может быть не плохой бизнес.
Чего-то как-то предложений не видно.

loseki (not verified) - 18/Сен/2015 19:38

> может быть не плохой бизнес

Только если вы гений маркетинга.

Andrey1 (not verified) - 19/Сен/2015 03:48

Мы бы такой сервис купили. Только при условии, что ДЦ в России и есть запасной ДЦ здесь же )
Сейчас $4k per year платится PineApp-у. При этом с PineApp-ом есть разный гиморой.
Все остальные еще хуже.
У Постини это бы стоило $1500.
Вообщем, никому не нужны $1500 (это не вопрос, а константация факта).

lexa - 19/Сен/2015 09:31

Kaspersky Hosted E-mail security?

Andrey1 (not verified) - 20/Сен/2015 02:49

Такое впечатление, что оно EOL. На сайте нет такого продукта.
Судя по описанию, они не понимают, что нужно энтерпрайсу.

lexa - 20/Сен/2015 10:28

Ну я вот нашел новость от 2011, что "откапываем стюардессу".

Возможно, за 4 года успели обратно закопать.

igorz (not verified) - 24/Сен/2015 15:24

Как вариант Kaspersky Security 8.0 для Linux Mail Server.
Под FreeBSD тоже есть. Вариант минимальной лицензии антиспам без антивируса. Всё равно реальных ограничений по количеству адресов нет. Примерно 5000 руб. на 2 года.

lexa - 24/Сен/2015 16:17

В принципе - да.
Я вот новых версий KAS не видел, но если они сохранили качество, то оно хорошее ("сам делал").

Тестовую лицензию надо запросить наверное....

loseki (not verified) - 19/Сен/2015 20:37

Так и я лет десять назад работал в интеграторе, который обладал лицензией на ашмановский антиспам. Не помню особых продаж сервиса, счета обычно выставляли лишь придворным "братским" лавкам.

Этот рынок придавили со всех сторон. Конечный пользователь может себе позволить выбирать из кучи средств, от spamassassin до vendor provided (google, yandex). Корпам втюхивают антиспам в составе комплекса антивирусной защиты (nod, kas, тысячи их). Есть даже продукт для создания иллюзии работы: встроенное в Exchange средство.

Standalone имеют возможность дополнительно выбирать из кучи opensource проектов, футболящих по правилам и формату. Здесь стоит, наверное, упомянуть rspamd, который пилит Сева Стахов (Алексей, вы его наверняка знаете лично или через Максима Коновалова).

Так что отдельному сервису антиспам-защиты места на этом пятачке считай что нет.

lexa - 20/Сен/2015 10:33

Ну проблемный же рынок, тут вопросов нет
1) Захостить не все готовы - и из соображений конфиденциальности и из соображений "а кто ответит за косяк".
2) Антивирусникам - интереснее продать антивирус (там за пользователя в год - в разы больше денег), антиспам идет довеском по цене. И, соответственно, по остаточному принципу все остальное кроме AV.

Andrey1 (not verified) - 20/Сен/2015 17:01

Standalone антиспам с AV все равно стоит денег. И не маленьких.
Если бы hosted antispam стоил дешевле, то туда бы все ломанулись.
Что с Постини и было. У них даже Гугл покупал сервис, а потом сам их купил.

В ру возникает вопрос конфиденциальности, точнее того, что многие компании не хотели бы выносить мусор из избы. Но как бы товарищь майор все равно может читать каналы и бесплатные почтовики.
Плюс облака, хостинг и прочии SAAS.

Витус Вагнер (not verified) - 18/Сен/2015 15:36

По-моему, письма от живых людей туда не попадают.
Письма от полезных роботов - да, иногда попадают. Например от криво сделанных
интернет-магазинов.

lexa - 18/Сен/2015 16:14

Живые люди бывают самых причудливых форм, увы.

Ilirium (not verified) - 21/Сен/2015 06:47

Так и представил себе недалёкое будущее, тест Тьюринга и капча: отправить письмо на специальный адрес, а ля level1@turing.com, level2@... чем выше уровень, тем больше ты человек :)))

lexa - 21/Сен/2015 13:06

Чтобы доказать, что вы не робот, причините вред другому человеку, или своим бездействием допустите, чтобы человеку был причинен вред.

Ilirium (not verified) - 21/Сен/2015 13:27

О! Да! Только тут нужно удостоверить, что человек, которому причинили вред - таки человек.

Nick Filimonov (not verified) - 21/Сен/2015 00:29

Мы юзаем везде связку postfwd2 (это такой policy-daemon для postfix со смешным языком конфигурации, позволяющий настроить скоринг гомодрилов по разным признакам типа плохое HELO, левый SPF, кривой DKIM, адрес в блеклисте, RBL/URIBL и на основании скоринга либо отдать сразу в deliver, либо подвергуть контент-фильтру, либо загрейлистить или зарейтлимитить животное, либо вовсе его послать в лес, если он особо злокачественный) и dspam. Последний суть чисто байесов классификатор со свистоперделками типа noise reduction, chaining и прочей статистической мутью.

Работает неплохо, FP от dspam у меня есть только на моей личной почте и только применительно к рассылкам родной кафедры, причем только от одного человека - как-то они особенно злокачественно оформляют HTML с помощью аутлука там, и почему-то он научился ее принимать за спаммера, но я не в обиде, ибо это спам и есть :)

lexa - 21/Сен/2015 16:52

А настройки всего этого добра - из коробки, или долго и мучительно подбирались?

Nick Filimonov (not verified) - 21/Сен/2015 17:11

Сам dspam настройке не подлежит особой, ему тупо выдаешь пару папочек (спам и инбокс) в виде mbox/maildir на съедение через командную строку и он учится, базы он по дефолту держит в sqlite, но можно юзать всякий постгрес/мускуль. Дальше он учится сам, есть вебморда для карантина/обучения, по дефолту он только размечает.
А у postfwd2 есть дефолтный конфиг такой развесистый, с которым я максимум, что делал, это подбирал уровень параноидальности для "посылать в дупу", сейчас у меня стоит, кажется два RBL + кривой IP/HELO/RDNS/SPF.

blacklion - 23/Сен/2015 22:11

Ооооо, postfwd2! Почему я о нём не знал все эти годы! Можно заменить моё решение из палки и верёвки с ручным приводом!

Ilirium (not verified) - 21/Сен/2015 06:50

В подкасте Радио-Т Григорий Бакунов нахваливал какой-то платный сервис почты, говорил что сам пользуется, адрес не помню. М.б. там антиспам подходящий со всеми крутилками?