Panorama des technologies antispam

Stephane Manhes
Stephane ManhesDirecteur at OKTEY
Panorama des
technologies antispam

http://www.altospam.com/
1
Introduction

Définitions
Structure d’un email
Le protocole SMTP
Les technologies anti-spams

2
Définitions
Un spam est un email ne respectant pas la Loi
pour la Confiance dans l'Economie Numérique
(LEN) du 22 juin 2004, complétée par les
précisions d'interprétation définies par la CNIL
lors de la séance du 17 février 2005
Scam, Phishing, Bounces

3
Définitions
Faux-négatifs : spams interprétés comme étant
des courriers électroniques légitimes (spams
passant l’antispam).
Faux-positifs : messages licites interprétés
comme des spams.

Taux inversement proportionnés
Limiter au maximum le faux-positif (plus nuisible)
et gérer si possible les cas de faux-positifs.
4
Structure d’un mail

5
Structure d’un mail
From: "Stephane XXXX- XXX" <smxxxxx@oxxxx.com>
To: "Marc JXXXXN" <mxxxxn@oxxxxx.com>
Subject: TEST
Date: Fri, 25 Jul 2008 12:01:08 +0200
MIME-Version: 1.0
Content-Type: multipart/mixed;
boundary="----=_NextPart_000_0003_01C8EE4E.5AFEFFE0“

En-tête

Corps
TEST
TEST

------=_NextPart_000_0003_01C8EE4E.5AFEFFE0
Content-Type: image/gif; name="Test.gif"
Content-Transfer-Encoding: base64
Content-Disposition: attachment; filename="Test.gif"
R0lGODdhBQAFAIgAAP+AAAAAACwAAAAABQAFAAACBISPqVgAOw==
------=_NextPart_000_0003_01C8EE4E.5AFEFFE0--

6

MIME
Architecture SMTP
Domaine A.com

Domaine B.com

DNS.B.com

Mail.A.com

7

Mail.B.com
Protocole SMTP
Protocole « ouvert »,
Mode connecté (par acquittement),
Port TCP 25,
SMTP (Simple Mail Transfert Protocol)
→ RFC 821 (1982) puis 2821,
ESMTP (Extended SMTP)
→ RFC 1651(1994) compatibilité ascendante,
Chaque serveur traversé ajoute une entête
« Received » (Traçabilité).
8
Informations utiles
IP émettrice
OS serveur émetteur
Route empruntée par le mail (IPs)
Configuration du serveur émetteur
Protocole SMTP
Adresse email et domaine de l’expéditeur
En-tête du mail
Corps du mail
Pièces jointes
9
Reverse DNS
mail.altospam.com → 192.168.0.1
192.168.0.1 → mail.altospam.com
HELO mail.altospam.com

Certains Reverses sont mal configurés
Des opérateurs ne permettent pas la
personnalisation des Reverse-DNS
10
Validation de l’émetteur
Différence MAIL FROM: / From:
Vérification de l’existence de l’émetteur: no-reply
Vérification du domaine
• Whois
• MX
• Serveurs MX réels (avec une IP, à l’écoute)

11

Certains serveurs sont mal configurés
Le MAIL FROM: peut être différent du From:
Protocole SMTP
Présence et syntaxe du HELO/EHLO
Fully qualified domain name (FQDN)
Respect de la RFC 2821
Synchronisation et respect des acquittements

Les éditeurs ne respectent pas la RFC à 100%
Les serveurs ne sont pas toujours FQDN
12
Analyse heuristique
Utilisation d’expressions régulières : /C1al1s/
En-tête, corps, URL, contenu de pièces jointes...
Emailing: Respecter la RFC 2369 (champs
spécifiques)

Certains mots clef sont très mal appréciés mais
peuvent quant même apparaitre dans des emails
légitimes : CASINO / Géant Casino
13
Listes noires / listes blanches
RBL / DNSBL / LHSBL : IP
RHSBL / URIBL : domaines
Spamtrap, Définition des ip-whois, Dénonciation
d’Internaute, Relais SMTP, Antispam, Utilisateurs
inconnus, Serveurs générant des Bounces, Pays

90% des sociétés françaises se sont retrouvées
blacklistées un jour
14
Filtres Bayesiens
Distribution statistique de mots clé : spam / ham
Utilisé pour les logiciels sur postes utilisateurs
Apprentissage / Adaptabilité aux utilisateurs

Les Bounces ne peuvent pas être traités ainsi
Génère un taux non négligeable de faux-positifs
Biaisé par les contenus aléatoires
15
Bases collaboratives
Signature / Hash
Processus automatique par consultation

Deux mails peuvent générer un hash identique
Spams avec des contenus différents (aléatoire)
génèrent un hash différent
16
Authentification des emails
SPF / Caller-ID / Sender-ID
domaine.tld IN TXT "v=spf1 ip4:192.168.0.1/32 ~all"

DomainKeys / DKIM
DomainKey-Signature: a=rsa-sha1; q=dns; c=nofw

Permet simplement d’éviter l’usurpation de son
domaine par un tiers
Des spammeurs utilisent ces techniques pour
faciliter la délivrabilité de leurs spams
17
Greylisting
Refus temporaire 4xx
Triplet (IP émettrice, email émetteur, destinataire)
Réémission → Whiteliste

Génère de la latence dans la réception des emails
Ne bloque que env. 85% des spams (certains
spammeurs réémettent)
18
Teergrubing
Maintien de session du serveur expéditeur (ajout
de délais de réponse)
Technologie proactive contre les spammeurs

A n’utiliser que sur les spams certains
Sature également le serveur antispam
19
Analyse d’image / PDF
Caractéristiques (nombre d’images, dimensions,
tailles, format de fichier, colorimétrie,...)
OCR
Recherche: Découpage en zone / Datamining
(recherche d’images proches) → HSC

OCR peut facilement être trompé par le bruit
Les caractéristiques des images spam / ham
peuvent être très proches
20
Test de Turing
Authentification de l’expéditeur
Reconnaissance de l’utilisateur via un CAPTACH

Grand nombre de faux-positifs
Deux systèmes équivalents : ping-pong
Très simple à contourner pour un spammeur
Ne bloque pas les SCAM
Déport du problème sur l’expéditeur
Génère beaucoup de mails (augmente le flux)
21
OS Fingerprint
Détection du système d’exploitation du serveur
émetteur
Analyse du nom de sauts réseau

Ne peut être utilisé seul pour identifier un spam:
• Un serveur Linux, n’est pas forcément un bon serveur
• Un poste Windows XP n’est pas toujours un spammeur
22
Compression
Taille de la plus forte compression d’un email
Recherche des k-plus proches voisins
Extraction d’un vecteur représentant le mail
Recherche sur une base SVM (Support Vector
Machine) des k-plus proches voisins vectoriels

Recherches : Gilles Richard – IRIT Toulouse
Ne peut être le seul élément de détection
23
Conclusion
Technologies utilisées séparément
→ résultats non satisfaisants
Possèdent toutes des avantages et des
inconvénients propres

La combinaison judicieuse de plusieurs
(maximum) technologies
→ qualité filtrage performant
http://www.altospam.com/fr/Panorama-des-technologies-antispam.pdf
24
?
25
1 of 25

Recommended

TYPO3 meets XLIFF + reST by
TYPO3 meets XLIFF + reSTTYPO3 meets XLIFF + reST
TYPO3 meets XLIFF + reSTXavier Perseguers
5.2K views108 slides
Halte aux spams contexte, techniques et solutions by
Halte aux spams contexte, techniques et solutionsHalte aux spams contexte, techniques et solutions
Halte aux spams contexte, techniques et solutionsStephane Manhes
1.6K views28 slides
Extbase et Fluid by
Extbase et FluidExtbase et Fluid
Extbase et FluidXavier Perseguers
2.8K views62 slides
Présentation exhaustive des protocoles SMTP, IMAP, POP3 et MIME by
Présentation exhaustive des protocoles SMTP, IMAP, POP3 et MIMEPrésentation exhaustive des protocoles SMTP, IMAP, POP3 et MIME
Présentation exhaustive des protocoles SMTP, IMAP, POP3 et MIMEMax Benana
1.6K views70 slides
Webinar: Migration from IBM Domino to IBM Verse by
Webinar: Migration from IBM Domino to IBM VerseWebinar: Migration from IBM Domino to IBM Verse
Webinar: Migration from IBM Domino to IBM VerseMOVE4IDEAS
1.5K views99 slides
Domino85 vs Exchange 2010 by
Domino85 vs Exchange 2010Domino85 vs Exchange 2010
Domino85 vs Exchange 2010Narender Mohan Bhatnagar
13.5K views41 slides

More Related Content

Viewers also liked

Les protocoles de messagerie by
Les protocoles de messagerie Les protocoles de messagerie
Les protocoles de messagerie Abde Kemrani
2.2K views20 slides
Migration to IBM SmartCloud Notes by
Migration to IBM SmartCloud Notes Migration to IBM SmartCloud Notes
Migration to IBM SmartCloud Notes jackdowning
4.8K views74 slides
Exchange 2013 Dimensionnement et Performance by
Exchange 2013 Dimensionnement et Performance Exchange 2013 Dimensionnement et Performance
Exchange 2013 Dimensionnement et Performance Microsoft Technet France
3.7K views28 slides
What is SPAM? by
What is SPAM?What is SPAM?
What is SPAM?Yavuz Adabalı
5K views25 slides
Chap 20 smtp, pop, imap by
Chap 20 smtp, pop, imapChap 20 smtp, pop, imap
Chap 20 smtp, pop, imapNoctorous Jamal
2.3K views42 slides
Exchange 2013 Bonnes pratiques by
Exchange 2013 Bonnes pratiques Exchange 2013 Bonnes pratiques
Exchange 2013 Bonnes pratiques Microsoft Technet France
6.5K views39 slides

Viewers also liked(20)

Les protocoles de messagerie by Abde Kemrani
Les protocoles de messagerie Les protocoles de messagerie
Les protocoles de messagerie
Abde Kemrani2.2K views
Migration to IBM SmartCloud Notes by jackdowning
Migration to IBM SmartCloud Notes Migration to IBM SmartCloud Notes
Migration to IBM SmartCloud Notes
jackdowning4.8K views
Compare Exchange and Lotus Notes Domino features by maria_francis1983
Compare Exchange and Lotus Notes Domino featuresCompare Exchange and Lotus Notes Domino features
Compare Exchange and Lotus Notes Domino features
maria_francis198321.7K views
Replacing Lotus Notes? Here's How It Really Goes Down by Peter Presnell
Replacing Lotus Notes?  Here's How It Really Goes DownReplacing Lotus Notes?  Here's How It Really Goes Down
Replacing Lotus Notes? Here's How It Really Goes Down
Peter Presnell36.8K views
White Paper: Migrating IBM Lotus Notes and Domino to the Cloud: Selecting Mic... by Office
White Paper: Migrating IBM Lotus Notes and Domino to the Cloud: Selecting Mic...White Paper: Migrating IBM Lotus Notes and Domino to the Cloud: Selecting Mic...
White Paper: Migrating IBM Lotus Notes and Domino to the Cloud: Selecting Mic...
Office6.5K views
Alphorm.com Support Formation SCOM 2012 R2, les fondamentaux by Alphorm
Alphorm.com Support Formation SCOM 2012 R2, les fondamentauxAlphorm.com Support Formation SCOM 2012 R2, les fondamentaux
Alphorm.com Support Formation SCOM 2012 R2, les fondamentaux
Alphorm13.2K views
Smtp by Eri Alam
SmtpSmtp
Smtp
Eri Alam20.6K views
Alphorm.com Support de la Formation WebDev 21 by Alphorm
Alphorm.com Support de la Formation WebDev 21Alphorm.com Support de la Formation WebDev 21
Alphorm.com Support de la Formation WebDev 21
Alphorm26.7K views
Alphorm.com Formation Exchange 2016, Configuration Avancée by Alphorm
Alphorm.com Formation Exchange 2016, Configuration AvancéeAlphorm.com Formation Exchange 2016, Configuration Avancée
Alphorm.com Formation Exchange 2016, Configuration Avancée
Alphorm20.6K views
Fonctionnalités et protocoles des couches applicatives by fadelaBritel
Fonctionnalités et protocoles des couches applicativesFonctionnalités et protocoles des couches applicatives
Fonctionnalités et protocoles des couches applicatives
fadelaBritel11.6K views
Comment automatiser les commandes PowerShell pour optimiser la performance d'... by Microsoft Décideurs IT
Comment automatiser les commandes PowerShell pour optimiser la performance d'...Comment automatiser les commandes PowerShell pour optimiser la performance d'...
Comment automatiser les commandes PowerShell pour optimiser la performance d'...
Alphorm.com Formation SCCM 2012 R2 by Alphorm
Alphorm.com Formation SCCM 2012 R2Alphorm.com Formation SCCM 2012 R2
Alphorm.com Formation SCCM 2012 R2
Alphorm58.4K views
alphorm.com - Formation Exchange Server 2013 (70-341) by Alphorm
alphorm.com - Formation Exchange Server 2013 (70-341)alphorm.com - Formation Exchange Server 2013 (70-341)
alphorm.com - Formation Exchange Server 2013 (70-341)
Alphorm52.3K views

Panorama des technologies antispam

  • 2. Introduction Définitions Structure d’un email Le protocole SMTP Les technologies anti-spams 2
  • 3. Définitions Un spam est un email ne respectant pas la Loi pour la Confiance dans l'Economie Numérique (LEN) du 22 juin 2004, complétée par les précisions d'interprétation définies par la CNIL lors de la séance du 17 février 2005 Scam, Phishing, Bounces 3
  • 4. Définitions Faux-négatifs : spams interprétés comme étant des courriers électroniques légitimes (spams passant l’antispam). Faux-positifs : messages licites interprétés comme des spams. Taux inversement proportionnés Limiter au maximum le faux-positif (plus nuisible) et gérer si possible les cas de faux-positifs. 4
  • 6. Structure d’un mail From: "Stephane XXXX- XXX" <smxxxxx@oxxxx.com> To: "Marc JXXXXN" <mxxxxn@oxxxxx.com> Subject: TEST Date: Fri, 25 Jul 2008 12:01:08 +0200 MIME-Version: 1.0 Content-Type: multipart/mixed; boundary="----=_NextPart_000_0003_01C8EE4E.5AFEFFE0“ En-tête Corps TEST TEST ------=_NextPart_000_0003_01C8EE4E.5AFEFFE0 Content-Type: image/gif; name="Test.gif" Content-Transfer-Encoding: base64 Content-Disposition: attachment; filename="Test.gif" R0lGODdhBQAFAIgAAP+AAAAAACwAAAAABQAFAAACBISPqVgAOw== ------=_NextPart_000_0003_01C8EE4E.5AFEFFE0-- 6 MIME
  • 7. Architecture SMTP Domaine A.com Domaine B.com DNS.B.com Mail.A.com 7 Mail.B.com
  • 8. Protocole SMTP Protocole « ouvert », Mode connecté (par acquittement), Port TCP 25, SMTP (Simple Mail Transfert Protocol) → RFC 821 (1982) puis 2821, ESMTP (Extended SMTP) → RFC 1651(1994) compatibilité ascendante, Chaque serveur traversé ajoute une entête « Received » (Traçabilité). 8
  • 9. Informations utiles IP émettrice OS serveur émetteur Route empruntée par le mail (IPs) Configuration du serveur émetteur Protocole SMTP Adresse email et domaine de l’expéditeur En-tête du mail Corps du mail Pièces jointes 9
  • 10. Reverse DNS mail.altospam.com → 192.168.0.1 192.168.0.1 → mail.altospam.com HELO mail.altospam.com Certains Reverses sont mal configurés Des opérateurs ne permettent pas la personnalisation des Reverse-DNS 10
  • 11. Validation de l’émetteur Différence MAIL FROM: / From: Vérification de l’existence de l’émetteur: no-reply Vérification du domaine • Whois • MX • Serveurs MX réels (avec une IP, à l’écoute) 11 Certains serveurs sont mal configurés Le MAIL FROM: peut être différent du From:
  • 12. Protocole SMTP Présence et syntaxe du HELO/EHLO Fully qualified domain name (FQDN) Respect de la RFC 2821 Synchronisation et respect des acquittements Les éditeurs ne respectent pas la RFC à 100% Les serveurs ne sont pas toujours FQDN 12
  • 13. Analyse heuristique Utilisation d’expressions régulières : /C1al1s/ En-tête, corps, URL, contenu de pièces jointes... Emailing: Respecter la RFC 2369 (champs spécifiques) Certains mots clef sont très mal appréciés mais peuvent quant même apparaitre dans des emails légitimes : CASINO / Géant Casino 13
  • 14. Listes noires / listes blanches RBL / DNSBL / LHSBL : IP RHSBL / URIBL : domaines Spamtrap, Définition des ip-whois, Dénonciation d’Internaute, Relais SMTP, Antispam, Utilisateurs inconnus, Serveurs générant des Bounces, Pays 90% des sociétés françaises se sont retrouvées blacklistées un jour 14
  • 15. Filtres Bayesiens Distribution statistique de mots clé : spam / ham Utilisé pour les logiciels sur postes utilisateurs Apprentissage / Adaptabilité aux utilisateurs Les Bounces ne peuvent pas être traités ainsi Génère un taux non négligeable de faux-positifs Biaisé par les contenus aléatoires 15
  • 16. Bases collaboratives Signature / Hash Processus automatique par consultation Deux mails peuvent générer un hash identique Spams avec des contenus différents (aléatoire) génèrent un hash différent 16
  • 17. Authentification des emails SPF / Caller-ID / Sender-ID domaine.tld IN TXT "v=spf1 ip4:192.168.0.1/32 ~all" DomainKeys / DKIM DomainKey-Signature: a=rsa-sha1; q=dns; c=nofw Permet simplement d’éviter l’usurpation de son domaine par un tiers Des spammeurs utilisent ces techniques pour faciliter la délivrabilité de leurs spams 17
  • 18. Greylisting Refus temporaire 4xx Triplet (IP émettrice, email émetteur, destinataire) Réémission → Whiteliste Génère de la latence dans la réception des emails Ne bloque que env. 85% des spams (certains spammeurs réémettent) 18
  • 19. Teergrubing Maintien de session du serveur expéditeur (ajout de délais de réponse) Technologie proactive contre les spammeurs A n’utiliser que sur les spams certains Sature également le serveur antispam 19
  • 20. Analyse d’image / PDF Caractéristiques (nombre d’images, dimensions, tailles, format de fichier, colorimétrie,...) OCR Recherche: Découpage en zone / Datamining (recherche d’images proches) → HSC OCR peut facilement être trompé par le bruit Les caractéristiques des images spam / ham peuvent être très proches 20
  • 21. Test de Turing Authentification de l’expéditeur Reconnaissance de l’utilisateur via un CAPTACH Grand nombre de faux-positifs Deux systèmes équivalents : ping-pong Très simple à contourner pour un spammeur Ne bloque pas les SCAM Déport du problème sur l’expéditeur Génère beaucoup de mails (augmente le flux) 21
  • 22. OS Fingerprint Détection du système d’exploitation du serveur émetteur Analyse du nom de sauts réseau Ne peut être utilisé seul pour identifier un spam: • Un serveur Linux, n’est pas forcément un bon serveur • Un poste Windows XP n’est pas toujours un spammeur 22
  • 23. Compression Taille de la plus forte compression d’un email Recherche des k-plus proches voisins Extraction d’un vecteur représentant le mail Recherche sur une base SVM (Support Vector Machine) des k-plus proches voisins vectoriels Recherches : Gilles Richard – IRIT Toulouse Ne peut être le seul élément de détection 23
  • 24. Conclusion Technologies utilisées séparément → résultats non satisfaisants Possèdent toutes des avantages et des inconvénients propres La combinaison judicieuse de plusieurs (maximum) technologies → qualité filtrage performant http://www.altospam.com/fr/Panorama-des-technologies-antispam.pdf 24
  • 25. ? 25