Postfix + Amavis + Spamassassin (!?) = Encore et toujours trop de spam - Logiciels - Linux et OS Alternatifs
Marsh Posté le 01-02-2007 à 21:24:44
Walk_Man a écrit : C'est ce que fait postgrey non ? :x |
Ouaip, et il parait que Postgrey vire quand même 80à 85% du spam. C'est déjà pas mal.
Moi ce que j'aimerais savoir c'est la différence entre Postgrey et Relaydelay. J'ai vu que Relaydelay permettait de partager une base de donnée entre différentes passerelles de mail, afin qu'un message recu sur une passerelle n°1 et réémis sur une passerelle n°2 ne soit pas réenvoyé encore au serveur emetteur. Donc que la passerelle numéro 2 sache que la passerelle 1 a déjà nié le mail entrant et que donc elle peut l'accepter.
Je n'ai pas vu cette manière de faire concernant Postgrey. Est-elle vraiment nécessaire ? On parle plus de Postgrey que de Relaydelay quand même sur le net, c'est que ca ne doit pas être si contraignant de pas avoir cette éthode. Qu'en pensez-vous ?
Marsh Posté le 01-02-2007 à 21:42:05
Oups j'avais pas vu.
Tu peux attaqué à coup de règle strictes sur le helo/dns aussi.
Par exemple:
Code :
|
Marsh Posté le 01-02-2007 à 22:52:38
spamd n'est pas necessaire avec amavisd
as tu activé le filtre bayesien de spamassassin ? as t il eu un apprentissage suffisant ?
de plus je te conseille d'ajouter dspam (appelé aussi par amavisd) : c'est un filtre uniquement bayesien mais extremement rapide.
pour SA tu peux ajouter des regles comme celle de SARE pour renforcer le filtrage.
SA est tres efficace, notamment quand tu actives son filtre bayesien.
sur les serveurs que je gere j'elimine 99% des spams dont plus des 3/4 sont traités par SA
tu peux aussi regarder du coté du plugin de SARE: imageinfo pour traiter les spamimages. tres efficace.
mais comme te le conseille M300A il est indispensable de travailler egalement en amont avec des regles smtp dans postfix.
en revanche je suis partisan de regrouper ces regles sous smtpd_recipient_restrictions
par exemple:
smtpd_recipient_restrictions =
reject_non_fqdn_recipient,
reject_unknown_sender_domain,
reject_non_fqdn_sender,
reject_unknown_recipient_domain,
reject_invalid_helo_hostname,
permit_mynetworks,
permit_sasl_authenticated,
reject_non_fqdn_helo_hostname,
reject_unauth_destination,
reject_unauth_pipelining,
check_helo_access proxy:mysqletc/postfix/mysql-hello.cf,
reject_rbl_client dnsbl.sorbs.net,
reject_rbl_client bl.spamcop.net,
reject_rbl_client list.dsbl.org,
reject_rbl_client zen.spamhaus.org,
reject_rbl_client cbl.abuseat.org,
permit
pour la ligne check_helo_access proxy:mysqletc/postfix/mysql-hello.cf, tu peux l'adapter a ton style de table et tu crees une liste contenant tes noms de domaines gerés par ton serveur suivi de REJECT you are not me
cela eliminera les clients qui se presentent avec ton nom de domaine
le greylinsting peut etre un moyen meme si je ne suis pas un fan de cette methode. (delai de reception parfois mal compris de certains utilisateurs)
c'est assez efficace mais les spammeurs commencent a s'adapter.
Marsh Posté le 02-02-2007 à 13:20:17
Et a propos de SA, j'ai vu qu'il faisait filtre bayesien... Qu'en est-il de l'apprentissage ? A ses débuts, un admin doit-il etre sur place afin de définir les différentes règles de filtrage ou cela se fait-il vraiment automatiquement (ce dont je doute) ?
Les spammeurs s'adaptant aux anti-spam, qu'en est il de la maintenance ? Quelle est la fréquence à laquelle un admin doit venir refaire un réapprentissage ?
M300A: Quelles blacklists as-tu ? Sur les serveurs sur lesquels je dois implémenter une soluce anti-spam, je pensais aux listes de Spamhaus, mais apparement tu en as d'autres:
#reject_rbl_client opm.blitzed.org,
#reject_rbl_client list.dsbl.org,
Elles marchent bien ?
Merci de vos réponses
Bien à vous
Marsh Posté le 02-02-2007 à 13:33:56
l'apprentissage est automatique a partir du moment ou un certain nombre de spam et de non spam sont dans ta base. (donc il faut compter plusieurs jours suivant ton volume de mail)
c'est pour cela qu'il faut toujours "nourrir" le filtre manuellement (surtout au debut) pour affiner l'apprentissage, en lui soumettant les messages que l'on considere comme du spam (et que le filtre heuristique a reconnu ou pas)
plus le temps passe, plus ta base grossit et le filtrage devient pertinent.
ensuite tu peux determiner un repertoire ou les mails ayant recu un score superieurs a 10 (par exemple) sont delivrés et sur lequel tu planifies un sa-learn quotidien.
a partir du moment ou ton filtre est bien "nourri" la maintenance est minime et en grande partie automatique.
comme je disais plus haut tu peux utiliser conjointement dspam avec SA pour la qualité de son filtre bayesien (et sa rapidité, c'est du C et ca se sent !)
Marsh Posté le 03-02-2007 à 01:36:51
Pffff, je suis désolé, je ne comprend rien.
Je suis étudiant en informatique et je vais aller en stage dans une entreprise.
But: mettre en place une solution anti-spam afin que les clients ne soient plus enhavis par le spam.
J'ai pensé a mettre en place un système de blacklist (et je suis d'ailleurs content d'avoir découvert d'autre liste grace à M300A), mettre en place le greylisting, et j'ai bien sur pensé a Spamassassin dont on me vante les mérites sur quasi chaque site qui en parle.
Mais c'est trop bizarre comme on ne parle presque pas de l'apprentissage dans tous les tutos d'installation que je trouve. J'ai déjà bien l'impression que les 3/4 des personnes l'utilisent dans un but privé (pour leur boite mail).
Si j'ai bien compris, il faut créer deux boites (ham et spam) sur lesquels il faut, comme tu dis toniotonio planifier un sa-learn.
Déjà j'ai du mal à voir la différence entre dspam et sa-learn.
Enfin, pour planifier un scanner sur ces boites (ham et spam) il faut des mails dedans, mais les mails de qui ? Parce que dans la boite ham il doit y avoir des mails légitimes, donc des mails vraisemblablement des clients. Mais ceux-ci attendent leur mail. Je ne peux pas les priver de leur mail pour faire un scanner chaque jour à minuit quand meme... Ils seraient pas contents de pas recevoir leur mail tout de suite... Et puis dans la boite spam, il y a quoi ? Les mails ayant plus de 10 points par exemple, ok mais au depart Spamassassin ne connait rien. Comment pourrait-il savoir si c'est du spam ou pas ?
De plus cela voudrait dire que je doive trier les mails à la main au départ ? Si oui, je suis un peu dans la m... parce que j'ai 100.000 mails qui arrivent par tranche de 24h...
Connaitrais tu vraiment un super tuto qui explique tout bien pour mon cas ou le serveur mail est celui d'une entreprise FAI, donc avec vraiment beaucoup de clients ?
Je suis désolé mais je vous jure que je comprend pas trop bien... Merci d'avance votre aide
Marsh Posté le 03-02-2007 à 02:01:45
SA se base sur un concept de filtre heuristique et de filtre bayesien.
le coeur de SA c'est son filtre heuristique, qui ne necessite aucun apprentissage. c'est un ensemble de regles (par exemple le mot toto dans le sujet va ajouter 2.3 point au score, et titi dans le corp du mail va en revanche enlever 1.0 point)
donc sans filtre bayesien et sans apprentissage, SA filtre assez correctment les spams.
Mais on peut aussi "renforcer" l'efficacité en activant son filtre bayesien integré. C'est la que l'apprentissage entre en scene.
de base l'aprentissage peut se faire sans une boite spamtrap.
SA apprend automatiquement, dès qu'un certain nombre de mail est passé au travers du filtre, les mails qu'il determine comme spam et ceux qu'il valide comme des mails legitimes.
cependant ce systeme est faillible, car il repose (surtout au debut) sur le filtre heuristique de SA (en gros toutes les regles) et l'interet d'un filtre bayesien est d'apprendre sur des bases valides. Si le filtre heuristique de SA se trompe (false positive ou false negative) le filtre bayesien va apprendre automatiquement quelque chose de faux, et son efficacite sera nulle voire negative.
c'est pour corriger les erreurs et affiner le filtrage qu'il faut creer une boite spamtrap qui va recuperer les mails taggés au dela d'un certain score (et donc dont tu es sur qu'il s'agit de spam : un score de 10 est un bon chiffre) puis planifié un sa-learn -spam sur celle ci.
la comparaison avec le ham (concept d'un filtre bayesien), SA la fait grace aux mails legitimes qu'il recoit et qu'il traite et qui sont donc deja dans les boites des users. Donc il n'est pas necessaire d'avoir une boite hamtrap pour le sa-learn planifié.
Cependant tu peux tout de meme en avoir une pour les mails qui ont ete taggés a tort comme du spam. tu les deplaces dans cette boite et tu lances un sa-learn -ham dessus.
c'est pour cela que je te conseille de parametrer amavisd pour tagger uniquement les spams (et non les mettre en quarantaine) puis d'utiliser procmail ou maildrop par exemple lors du delivery pour gerer le tag dans le header du mail (en gros X-Spam-Level au dessus de 10 tu envoies dans une boite spamtrap, et au dessous de 10 tu envoies dans un repertoire spam de la boite du user pour qu'il puisse recuperer les eventuels false positives.)
ensuite quand je te parle de dspam il s'agit d'un tout autre soft qui est independant de SA mais qui peut aussi etre géré par amavisd.
il s'agit d'un filtre uniquement bayesien. on peut aussi lui appliquer le meme concept d'apprentissage avec des outils integrés.
je sais pas si c'est clair mais hesite pas si tu as des questions.
Marsh Posté le 03-02-2007 à 10:12:01
Bonjour !
C'est déjà beaucoup plus clair. Je te remercie beaucoup du temps que tu me consacres.
Mais une chose me chiffonne: a cette échelle (à savoir 100.000 mails par jour et des gens que je ne connais absolument pas) comment savoir si un mail est du spam ou que tel ou tel faux-positif est en fait un mail légitime ? Je suppose qu'ai début il y aura des erreurs ?
De plus, dans la boite ou je vais travailler, on m'a dit qu'il y aurait 75% de spam sur les 100.000 mails quotidiens. Si je dois vérifier tout ca je ne suis pas sorti de l'auberge :|
SA prévoit-il ce genre de cas ?
Combien de temps faut-il pour que SA fonctionne bien et tout seul ? Le temps qui m'est imparti pour réaliser cet objectif est de 4 mois...
Merci à toi
Marsh Posté le 03-02-2007 à 11:39:30
oui au debut il y aura des erreurs. et c'est normal
le fait que tu crees un repertoire spam (qui recevra les spams jusqu'au score de 10 par exemple) dans les boites emails des users va leur permettre de faire eux meme un 1er tri.
il faut communiquer avec les users pour qu'ils 'jouent le jeu' au debut de verifier le repertoire spam de temps en temps et de deplacer dans leur inbox les eventuels false positives.
et tous les we par exemple tu planifies une copie du contenu des repertoires spams des users dans la boite spamtrap. (celle ou le sa-learn -spam est planifié.)
des erreurs sont encore possibles (users qui ne jouent pas le jeu) et tu dois faire des verifications au hasard dans les repertoires spam des boites pour evaluer la situation.
mais c'est en soumettant un maximum de spams meme avec des erreurs que le filtre deviendra pertinent. avec un volume de 100000 mails jours, je pense que 2 semaines seront necessaires.
les verifications periodique sont necessaires (c'est un boulot a plein temps je te l'accorde !) pour parfaire un filtrage.
apres les 1eres semaines ton filtre apprendra tout seul, et la boite spamtrap lui permettra de renforcer les certitudes sur certain mails.
je te conseille vivement d'ajoutr dspam des le debut.
il marchera conjointement a SA, et il se contentera de tagger un message. SA attribuera un score defini par rapport a ce tag.
au debut tu ne mets pas de score du tout pour dspam. Il fera son apprentissage automatiquement en parallele de SA.
et au bout de 2 semaines tu parametres un score pour les tags de dspam.
SA et dspam sont extremement efficaces une fois un apprentissage effectués.
il faut egalement ajouter certaines regles heuristiques a SA pour renforcer sa detection (va voir chez SARE)
mais la cle du probleme du spam reside a mon avis sur une utilsation stricte des regles d'envoir des mail (respect des rfc..)
et l'a c'est postfix qui fera le boulot en amont.
comme pour les "blacklists" que tu veux mettre en place (en fait ce sont des RBL)
avec un volume de 100000 jours tu vas avoir un probleme de performance (un seul serveur sera surement insuffisant, je te conseille de deporter le filtrage spam/virus sur un machine externe)
c'est pour cela qu'il faut utiliser au maximum les regles de filtrage smtp de postfix peu gourmandes en ressources et tres efficaces.
j'ai mis un peu plus haut une sequence de smtp_restrictions donc tu peux t'inspirer.
par exemple une simple verification du HELO du client qui envoie un mail va permettre de detecter une grande partie du spam. (Bcp de botnet qui envoient des spams sont mal configurés et envoie des HELO avec ton propre non de domaine. c'est un bon moyen de les bloquer a moindre frais)
autre point des que tu utilises postfix/amavis/sa il te faut absolument un cache dns local. Tout le procédé de restriction smtp est basé sur les resolution dns. cela signifie des milliers de requetes.
un serveur bind local fera l'affaire.
Marsh Posté le 04-02-2007 à 12:42:52
Je te conseille aussi de jeter la version de spamassassin fournie d'origine dans la debian,et de passer à la version 3.1.
Mais, je te conseille de jeter un oeil sur exim, qui à quelques fonctionnalitées qui sont vraiment pas mal, le filtrage se fait pendant la transaction smtp, et donc le refus se fait avant que le mail ne soit entré en retournant un message d'erreur spécifique pendant la connexion smpt à l'expéditeur. Cela évite l'effet trou noir d'un mail purement et simplement effacé par l'antispam.
Marsh Posté le 04-02-2007 à 12:48:23
pere castor a écrit : |
tout comme postfix ( smtpd_proxy_filter )
Marsh Posté le 04-02-2007 à 12:58:47
Bonjour,
Quand tu me conseilles d'utiliser dspam, c'est en plus du module sa-learn de spamassassin ou bien tu me conseilles de l'utiliser à la place de SA-learn.
Quand je vois un peu ce que tu écris je suis en train de me demander si implémenter SA est une bonne chose. Avec 20.000 adresses, il m'est impossible d'avoir une participation et donc le filtre ne sera pas optimisé.
De plus, le fait qu'il faille administrer le système régulièrement pour réajuster le filtrage gène un peu mon employeur. Il voudrait une solution à implémenter et à "oublier".
Je vais quand même installer tout ca et faire des tests...
Concernant la quantité de mails, oui il est probable que nos serveurs aient du mal à s'en sortir mais sur 100.000 mails, 75% sont du spam.
Sur ces 75.000 j'ai lu qu'avec les greylist on pouvait en éliminer de 80 à 90%. Disons 85 pour trancher. J'espère que les liste noires pourront m'apporter un taux de 5% de réussite. On passe donc si mes claculs sont bons à 90% de réussite donc à 7500 mails restants qui sont du spam.
Il restera à SA à s'occuper de ces 7500 spams + les 25.000 mails quotidiens légitimes... donc 32.500 mails environs. Ca réduit considérablement de toute facon.
Je vais de mon coté essayer de me faire un petit tuto pour l'installation et la configuration de SA et Dspam. Je ne commence mon stage que mardi, mais j'aime autant me documenter avant.
Je vais jeter un oeil aussi à la vérification Helo dont tu parles, j'ignore complètement ce que c'est... :s
Merci beaucoup pour le temps que tu m'accordes !
Edit pour une petite question:
Tu dis que je dois créer des répertoires spam dans les dossiers de mes utilisateurs et qu'ils doivent pour jouer le jeu déplacer dedans les messages qui n'ont pas été detectés comme spam mais qui en sont.
Si les utilisateurs configurent leur Outlook ou autre pour enlever les messages du serveur après les avoir pompé c'est donc foutu.
Pour le cas ou ce n'est pas le cas, comment verront-ils ce dossier spam ?
Personnellement j'utilise Gmail et je regarde mes messages via Outlook. Je n'ai aucun dossier spam créé, et c'est bien normal. Tout ce que les utilisateurs verront c'est soit le spam non filtré par SA dans leur boite et c'est tout, ils ne verront donc pas les spams reconnus comme tels. Comment les verront-ils alors ?
Marsh Posté le 05-02-2007 à 09:51:01
plusieurs points:
1- tu fais un amalgame entre dspam ,SA et sa-learn
-sa-learn est un OUTIL de SA qui permet de realiser l'apprentissage du filtre bayesien
-dspam est un filtre bayesien totalement independant de SA
2- au niveau du besoin d'administration, je ne crois pas qu'il soit concevable d'envisager un service mail dans un entreprise, notamment avec une plateforme antispam sans un temps non negligeable d'administration.
la solution a implementer et a oublier n'existe pas, c'est a toi de faire passer ce message a ton employeur.
comme je te disais SA fonctionnera assez correctement sans un apprentisage precis mais tu seras loin d'en exploiter toutes les capacités.
3- la quantité de mail: tout depend du nombre de serveur et de la distribution de la charge. Le greylisting reduit effectivement celle ci mais comme je disais plus haut les spammeurs s'adaptent et son efficacité va baisser de plus en plus.
4- le helo fait partie du protocole smtp. c'est la presentation d'un client quand il se connecte sur ton serveur. Il y a des regles a respecter et en les appliquant strictement tu reduiras le spam de facon drastique.
cela m'amene à un point qui me chiffonne: ne le prends pas mal mais comment peut on confier a qqun qui debute l'administration d'une plateforme de mail consequente ? C'eest un travail a temps plein qui demande de maitriser certaines bases (notamment le protocole smtp) et il te faudra du temps pour integrer tout ceci au debut. Il est necessaire a mon avis que tu vois avec ton employeur ce point.
5- pour les repertoires spam je partais du principe que tu avais un plateforme IMAP pour la consultation des mails. Mais visiblement il s'agit d'un pop.
a mon avis l'imap serait plus interessant et il te permettrait donc de faire facilement ce que je te disais plus haut. (les mails restent sur le serveur contrairement au pop)
Marsh Posté le 05-02-2007 à 10:36:03
Une solution greylisting + Spamassassin sera assez performante je pense.
Les versions > 3.1 de spamassassin possèdent une commande sa-update qui te permet de mettre à jour tes règles spamassassin.
Perso, j'ai un script de mise à jour :
#!/bin/sh |
Au niveau de l'apprentissage, j'utilise le mode apprentissage automatique de spamassassin, et ça fonctionne bien.
Concernant ton problème, il existe beaucoup de doc sur la façon de mettre un couple postfix/spamassassin devant un serveur exchange.
Par exple:
http://www.novell.com/coolsolution [...] canner.pdf
Marsh Posté le 05-02-2007 à 10:42:18
je ne suis pas un grand fan du greylisting, mais c'est vrai que cela fonctionne bien pour le moment.
Marsh Posté le 05-02-2007 à 10:44:19
Oui, pour le moment.
De plus, il faut voir avec les utilisateurs, certains ne supportent pas de devoir attendre leurs mails.
Marsh Posté le 05-02-2007 à 10:48:45
leto a écrit : Oui, pour le moment. |
c'est exactement ce qui me pose un pb avec le greylisting
dans plusieurs boites ou je l'ai implementé, on a du faire machine arriere devant la pression utilisateur.
Marsh Posté le 05-02-2007 à 10:50:52
Enfin il existe plusieurs solutions pour que les utilisateurs n'aient pas a patienter :
- Faire du greylisting que sur les smtp inclus dans les RBL, et que la première fois qu'ils contactent ton serveur. Par exemple.
Enfin, ayant encore de la capacité dispo, je prefère filtrer tous les mails. On verra plus tard pour le greylisting.
Marsh Posté le 05-02-2007 à 13:21:18
Merci Toniotonio pour ta patience, vraiment.
Je sais que ce projet est costaud pour quelqu'un qui n'y connais pas vraiment quelque chose. Mais j'ai aussi des solutions hardware. Dans le cas ou ce que je veux intégrer aux serveurs ne marchent pas (RBL, Greylisting, SA ou autres), il y a des boitiers tout fait qui filtrent le spam. C'est assez cher mais efficace apparement.
En tout cas, de plus en plus SA, ca me semble pas très possible.
SA devrait rediriger selon moi les mails qu'il considère comme spam dans un dossier spam de la boite de l'utilisateur. Faudra que je cherche pour savoir comment faire cette redirection mais surtout il y a un problème: comment montrer cette boite à l'utilisateur si il utilise Outlook? Avec une consultation sur site, je ne dis pas car c'est encroe possible, mais sur Outlook... Donc si l'utilisateur ne visionne pas son dossier spam c'est mort. Nous utilisons effectivement POP. Les messages sont téléchargés, donc il ne restera rien dans la boite du client sur nos serveurs. Donc faire passer un sa-learn ou sa-spam sur des dossiers vides c'est inutile.
Je cale...
De plus, j'aimerais éradiquer le spam. Tagger une en-tete avec **SPAM*** je ne vois pas ce que ca va changer chez l'utilisateur. Il aura encore du spam, à la différence près qu'il saura en un coup d'oeil que s'en est.
Je comprend bien le concept de SA mais il n'y a rien à faire, je me demande si c'est bien ce que je veux... Et si je l'utilise ca imposerait de gros changements sur les serveurs (passage en IMAP) et sur le site (ajout d'un dossier spam).
Marsh Posté le 05-02-2007 à 13:40:38
Crois moi SA est LA solution antispam opensource. Son efficacité est redoutable pour un peu qu'on le parametre bien.
SA peut tres bien fonctionner avec une boite POP, c'est juste la gestion de l'apprentissage qui sera differente.
je t'ai un peu induit en erreur avec l'histoire de la boite spam, pensant que tu travaillais sur une base imap.
en pop c'est le client (donc Outlook) qui va faire le classement dans les dossiers sur la base des headers du message.
donc redirection des messages taggés vers un repertoire spam. A toi de parametrer globalement les outlook (j'ose imaginer que tu manages office en central) pour avoir un repertoire spam et une regle specifique.
cela te permettra de toujours donner la possibilité de recuperer les false positive aux users tout en ne leur melangeant pas les messages dans leur inbox.
quelque soit la solution antispam choisie tu auras le probleme des false positives. Les rendre dispo a l'utilisateur est une bonne chose pour le rassurer.
Si tu mets TOUS les messages en quarantaine qui saura qu'un false positive est arrivé ?
le concept du score superieur a 10 pourra toujours fonctionner grace a un script procmail sur le serveur AVANT la livraison.
donc ta boite spamtrap sera bien alimentée en message au dessus de 10. et le sa-learn pourra ete fait dessus.
l'apprentissage auto de SA fera le reste par la suite sur TOUS les mails qui traversent le filtre. (tu as des parametres pour savoir a partir de quel score SA apprends un message comme spam ou comme ham)
L'imap est plus efficace mais si tu ne peux pas faire autrement tu auras de bon resultat comme ceci egalement.
Marsh Posté le 05-02-2007 à 14:07:26
Sinon DSPAM possède un mécanisme interessant pour gérer les faux positifs / faux négatifs.
Par exple chaque utilisateur a accès a une interface web avec ses mails en quarantaine, et peux libérer les faux positifs, ainsi dspam apprend de ses erreurs.
Et idem, si un SPAM passe a travers de DSPAM, l'utilisateur (par exple toto@domaine.com) peut transférer le mail à toto-spam@domaine.com), et dspam apprend.
De plus, dspam est écrit en langage C et est un pur filtre bayesien (contrairement à Spamassassin qui est un filtre bayesien + des dizaines de plugins par exple razor, rbl, etc etc). Dspam est donc beaucoup plus rapide, et on peut arriver à scanner plus de 10 messages/seconde avec un dspam sur 1 machine.
cf : http://dspam.nuclearelephant.com/i [...] creenshots
Marsh Posté le 05-02-2007 à 14:13:41
leto a écrit : Sinon DSPAM possède un mécanisme interessant pour gérer les faux positifs / faux négatifs. |
oui dspam est nettement plus rapide que spamassassin. (perl contre C, y a pas photos !)
c'est vrai qu'il existe pas mal de moyen de gerer une quarantaine, meme avec SA. Amavis a des outils tres bien fait sur ce point (maia, mailzu.. )
L'interface de dspam est tres bien foutue, et ce filtre est super efficace.
le debat apres demeure entre filtre heuristique ou filtre bayesien
perso je choisis les 2: ils sont complementaires.
Marsh Posté le 05-02-2007 à 14:17:41
Enfin là, vu qu'ils partent d'une situation ou il n'y a pas du tout de filtrage, je pense que n'importe quelle solution sera satisfaisante.
Perso je trouve qu'il manque juste 1 truc à dspam, c'est des mails récapitulatifs envoyés aux utilisateurs, afin qu'ils puissent libérer les mails. C'est prévu je crois.
Marsh Posté le 05-02-2007 à 14:33:29
toniotonio a écrit : |
Je ne comprend pas comment ma boite spamtrap pourrait être alimentée si, comme tu l'as dit, j'utilise POP et que la redirection est faite au niveau d'Outlook et que les messages sont donc supprimés du serveur après récupération.
Et si la redirection se fait au niveau des clients, c'est déjà foutu car je travaille pour une boite FAI. Les clients sont toi, moi et des milliers d'autres. Il n'y a aucun donc paramètrage que je puisse faire sur les Outlook des gens... J'aurais du te dire ca bien avant... Désolé.
J'ai toutefois vu qu'on pouvait faire pour que SA supprime les messages mais que cette méthode n'était bien évidement pas conseillée comme tu dis. Peut-être pourrais-je tester SA, voir la note moyenne attribuée aux spams (les vrais, pas de faux-positifs compris (je n'aurais qu'a tester en me créant une boite, en prenant des messages spams et en me les envoyant)), élever cette note dans ma configuration, ainsi j'éviterais les gaffes et il y aurait encore un peu moins de spam.
Edit: c'est déconseillé et redéconseillé maintes et maintes fois sur le site de SA de supprimer les messages... Je vais abandonner cette idée je pense.
Dans mon cas ne je vois pas beaucoup d'autres solutions. Le but est vraiment de supprimer le spam afin d'éviter les plaintes des clients...
Marsh Posté le 05-02-2007 à 14:45:38
A ta place j'évaluerais une solution DSPAM avec interface web pour les clients, et adresse ou transférer les spams qui passent à travers.
Deux petits inconvéniants de cette solution:
- Dspam est peu efficace sur les spams avec du texte chinois dedans
- Dspam ajoute une ligne à la fin de chaque mail, afin de pouvoir reconnaitre le mail lorsqu'un utilisateur le transfère à son adresse blabla-spam@aurait.eu par exple. Moi je trouve pas ça génant d'avoir 1 ligne en plus dans le contenu de chaque mail, mais c'est à voir avec tes utilisateurs.
DSPAM est utilisé par Altern.org par exemple, ca doit représenter pas mal de mails qui transitent. Par contre eux ne bloquent pas totalement le SPAM, ils ajoutent un mot clef dans le sujet.
Marsh Posté le 05-02-2007 à 14:56:55
effectivement tu changes totalement la donne en disant que tu ne peux pas controler/parametrer les clients.
je compredns mieux ton probleme sur le retour de la part des clients !
laisse tomber l'apprentissage precis dont je te parlais, SA se debrouillera sans, mais surtout fais attention aux false positive.
les plaintes des clients tu les auras plus sur les mails qu'ils n'auront pas recu que sur les spams qu'ils recevront.
dans ce cas la si on considere que faire se connecter sur un site (webmail ou gestion de quarantaine) les clients est quasiment impensable, il te reste la solution simple du tag dans la boite de reception (***SPAM*** dans le sujet).
tu disais qu'elle te genait mais elle donne au moins aux users le choix de recuperer facilement les false positives et leur donnera l'impression de controler le filtrage. Libre a eux de faire des regles dans leur outlook.
les mails classifie comme spam au dessus de 10 par ex, seront eux rediriger en amont directement en sortie de postfix, AVANT le delivery dans les boites des clients. un script procmail fera tres bien l'affaire.
le probleme sera l'occupation de la BP inutile (les spams entre 4.3 et 10 par exemple seront livrés au clients). a toi de voir si c'est gerable.
Tout ceci appuie encore plus l'importance de traiter un maximum de mails AVANT spamassassin: greylisting, rbl, smtp.
mais attention a ces filtres la: il n'y a pas de recuperation possible: les mails sont directement refusés par le serveur.
avantages: economie de ressource et de bande passante.
inconvenient: il est bcp plus difficile de gerer les false positive. (gestion de whitelist)
Dans ton contexte il faudra surement que tu t'appuis un maximuim sur le respect des RFC pour les mails recus (donc regles smtp de postfix) et les RBL.
Delicat dosage, tu n'as qu'a voir le peu de FAI qui pratique ce filtrage correctement.
cet etat de fait est d'ailleurs la cause principale de la proliferation du spam depuis des années.
Marsh Posté le 05-02-2007 à 14:57:04
leto3:
J'ai regardé à Dspam déjà mais c'est toujours la même chose qui m'ennuie: comment les utilisateurs verront le dossier des spams ??
Je vois un tuto ici: http://www.labo-linux.org/articles [...] nti-spams/
Citation : |
Les spams seront maintenant placés dans le dossier Junk de chaque utilisateur. Ok mais comment verront-ils ce dossier si ils ont configuré leur boite sur Outlook ?
Toniotonio:
Oui, je pense que du coup je vais laisser SA gérer tout seul les mails et laisser les utilisateurs juger eux-mêmes si le message taggé de SPAM en est effectivement ou pas.
J'ai regardé ce que tu me disais a propos des RFC de smtp, en effet, je pense que là aussi il y a du boulot. Je regarderais à ca.
Je me sens soulagé que tu me dises que ca change la donne si j'ai pas accès aux paramètres clients.
Je ne comprenais vraiment plus grand chose...
Petite question encore: quel est l'avantage de déplacer les messages avec un score de 10 dans une boite quarantaine (spamtrap) si les clients ne voient pas ces mails ?
Marsh Posté le 05-02-2007 à 15:09:22
Nazebrock a écrit : leto3: J'ai regardé à Dspam déjà mais c'est toujours la même chose qui m'ennuie: comment les utilisateurs verront le dossier des spams ?? |
Via une interface web. Cf les captures d'écran sur le site de dspam.
La solution de l'interface web est aussi possible avec spamassassin, cf la doc que j'ai donnée plus haut (le pdf sur le site de novell).
A mon avis c'est la meilleure solution : tes utilisateurs n'ont rien à faire, SAUF si ils pensent qu'il y a un problème, dans ce cas il leur suffit d'aller sur un site web pour libérer les faux positifs (qui devraient pas etre trop nombreux si tu mets un seuil assez haut).
Nazebrock a écrit :
Les spams seront maintenant placés dans le dossier Junk de chaque utilisateur. Ok mais comment verront-ils ce dossier si ils ont configuré leur boite sur Outlook ? |
Ce tuto a tout l'air d'etre pour de l'imap. Pas applicable.
Marsh Posté le 05-02-2007 à 15:15:55
Nazebrock a écrit : |
ces mails avec un score seront du spam a 99.99 %. Aucun interet de polluer la boite d'un client avec ca. Cela limite ton probleme de inbox remplit de message tagge ***SPAM***
tu peux donc les mettre a part et passer dessus un sa-learn --spam.
Marsh Posté le 05-02-2007 à 15:18:09
Nickel merci beaucoup !
je ne garantias pas que je n'aurais plus de questions
Marsh Posté le 05-02-2007 à 15:18:47
Dans ce cas, autant:
- utiliser sa auto learn, et dire à SA d'apprendre à partir de 10
- bloquer les mails avec un score de 10 dans une zone de quarantaine
- Purger la zone de quarantaine tous les 15 jours
Marsh Posté le 05-02-2007 à 15:21:32
leto a écrit : Dans ce cas, autant: |
oui c'est tres bien aussi
mais il vaudrait mieux alors dire a SA de faire un autolearn plus bas que la zone ou tu considere que le mail est a 100% du spam.
Marsh Posté le 05-02-2007 à 21:36:43
moi personellement j'ai rajouter à spamassassin fuzzyocr qui detecte les spams image et je le trouve redoutablement efficace sur mon petit serveur. Convient il sur un gros serveur je ne sais pas. mais depuis ma detection est excellente
Marsh Posté le 05-02-2007 à 21:49:17
Ah c'est pas bête ca !
J'ai remarqué que beaucoup de mails parasites qui passaient étaient des images à présent...
Merci pour le tuyau
Marsh Posté le 05-02-2007 à 22:35:47
Ah tiens, je n'avais pas vu que mon topic avait fait son chemin
Si j'ai du temps cette semaine je vais tenter d'éditer le premier post et faire un condensé des infos qu'on trouve deja sur la premiere page.
(si vous trouvez que ca en vaut la peine, sinon vais pas m'embeter )
Marsh Posté le 06-02-2007 à 01:27:59
toniotonio a écrit : c'est exactement ce qui me pose un pb avec le greylisting |
tu peux parfaitement limiter le greylisting a certains utilisateurs.
Marsh Posté le 13-11-2006 à 14:46:52
Bonjour,
Voila dans ma société ils ont mis un Linux (une Debian dont personne ne s'était occupé) pour faire un filtre avant que ca tombe sur le Lotus (pouark.), ca à été installé n'importe comment il y a quelques temps, et j'essaye de reprendre le truc en cours.
J'ai installé un postgrey, pas de soucis, mais niveau spamassassin, j'ai la vague impression qu'il filtre *RIEN*, beaucoup de saloperie passe encore. D'ailleurs, si vous avez quelque chose de mieu à proposer que postgrey + spamassassin, j'achete. Car là, je sais pas ou certains ont foutus leur e-mails, mais la vache
J'ai activé mon spamd et "normalement" amavis lui fait appel.
Je me suis fié a la doc http://lea-linux.org/cached/index/ [...] mavis.html
et j'ai donc ajouté
$sa_local_tests_only = 0;
$sa_tag_level_deflt = -1000; # note minimal pour ajouter les tags X-Spam... à l'en-tête des emails
$sa_tag2_level_deflt = 3.5; # note minimal pour ajouter le tag X-Spam-Flag: YES
# et modifier l'objet
$sa_kill_level_deflt = 10; # note à partir de laquelle les mails sont traités comme définis
# par la variable $final_spam_destiny (ici ils sont refusés)
$sa_spam_subject_tag = '***SPAM*** '; # chaine ajouté à l'objet de l'email
Enfin voila, je suis un poils perdu, et je dois avouer que je cours apres le SPAM en ce moment. Quel horreur :|