Email archivalas a piler nevu open source megoldassal

1. Email archiválás
Sütő János (sj@acts.hu)

2. Kérdezzetek bármikor, nem kell megvárni a végét

3. "Melyik rendszergazda nem tud emaileket
archiválni a már meglévő eszközökkel?
Let Me Google That For You..."
Domo arigato, de NEM kliensoldali, pl.
Thunderbird, Outlook, stb. archiválásról van szó

4. Rengeteg információ az emailekben: egy
vállalat tudásának ~70-80%-a

5. Megfelelőség (compliance)
SOX, FRCP, HIPAA, GLBA, SEC, NAD, …
PSZÁF?
Magyarországon még nincs ezekhez hasonló,
de...

6. eDiscovery költségek:
USA, 2010: ~80 milliárd USD

7. Védelem adatvesztés ellen

8. Perdöntő lehet bírósági ügyben

9. Terhelés csökkentése

10. Hatékony storage kihasználás
mailbox kvóta* vs. sok GB-os mailbox-ok**

11. Miért archiváld a Gmail / Office 365 /
... fiókod?
#1: ha véletlenül fontos levelet törölsz ki
#2: ha elérhetetlen a Gmail/Office 365/...
#3: ha feltörik az account-odat

12. Nem triviális a levelezőrendszerek
mentése
Legyen 10 millió levél*
(=10M db 3 kB - 20 MB file)
#1: tar.gz
#2: rsync
#3: ...
*: nekem ~7.8 GB / 540k levél
**: ~500 GB =~ 4,1M file

13. Adatvesztés 2 mentés között
mentés HW-hiba mentés
elveszett levelek
idő
Az adatvesztések oka 30-60%-ban PEBKAC

14. Mi nem email archiválás?
rendszeres mentés a mail szerverről
(tar, dd, DPM, ...)
PST file-ok a desktopokon
PST file-ok a hálózati meghajtón
snapshot az emailekről

15. Mi az email archiválás?
Bizonyos levelek meghatározott ideig történő
megőrzése a vállalati policy, ill. a jogszabályok-
nak való megfelelőség alapján
(az Osterman Research nyomán)

16. A piler válasza
Levelek centralizált, biztonságos tárolása
Üzletfolytonosság biztosítása katasztrófa
esetén
Jogszabályoknak megfelelőség*
Gyors full text keresés az archivált levelek
között
Hatékony storage kihasználás

17. Hogyan működik?

18. STARTTLS és tcp_wrappers támogatás

19. Levelek forrása
SMTP (+ incl. Google Apps, Office 365, ...)
Importálás:
- EML
- mbox
- Maildir
- IMAP / POP3
- PST (libpst)

20. Eredeti levél

21. Feldarabolt levél

22. Random azonosító generálása
400000004f64f0dd2de8ec0c7c0259810190
a) Időbélyeg TAI64 formátumban* (12 byte)
b) Random adat (6 byte)
*: nanosecundum pontosság

23. Levéldarabok tárolása
/var/piler/store/ab/cd/ef/400...456789abcdef.m
/var/piler/store/ab/cd/ef/400...456789abcdef.a1
/var/piler/store/ab/cd/ef/400...456789abcdef.a2

24. Tömörítés (zlib)

25. Blowfish titkosítás

26. Deduplikáció

27. Deduplikáció
Mindent csak 1 példányban tárolni
1. Levél deduplikáció: Message-ID alapján
2. Melléklet deduplikáció: digest alapján
a) SHA256 digest számítása
b) láttuk már ezt a digest-et?
- nem: melléklet tárolása
- igen: pointer tárolása

28. Indexelés
sphinx search 2.x
az egyik leggyorsabb
SphinxQL: SQL(-szerű) nyelv
full text search
keresés találatainak cache-elése (memcached)
a levéltörzs első 128 kB-ját indexeli
stemming / wildcard

29. A mellékleteket is indexeli!
.txt :-)
ODF
.pdf
.doc(x)
.xls(x)
.ppt(x)
.rtf

31. Jogosultságok: mindenki csak a magáét!
1. mezei felhasználó
2. admin (nem fér hozzá mindenki leveleihez)
3. auditor (ő igen)

32. Felhasználó - email összerendelés
Exchange: journaling info
postfix/Kerio/...: X-Envelope-To:
Minden más MTA: From:, To: és Cc:

33. postfix: X-Envelope-To:
/etc/postfix/main.cf:
smtpd_recipient_restrictions = ...
check_recipient_access pcre:
/etc/postfix/add-x-envelope-to
...
/etc/postfix/add-x-envelope-to:
/(.*)/ prepend X-Envelope-To: $1

34. Policy-k (szabályok)
1. mit _NE_ archiváljon?
2. meddig tárolja a leveleket? (default: 7 év)
TRE regex minták (From, To, Subject) + méret
+ melléklet típus és -méret

35. pilerpurge: opció, nem kötelesség

36. Backup készítés / exportálás
pl. levelek exportálása naponta másodlagos
storage-ra (opcionális)

37. Felhasználókezelés
1. kézzel (>5 user esetén már nem vicces)
2. LDAP-ból szinkronizálás
(Active Directory-t is támogat)
3. Google OAUTH
4. Single Sign-On (SSO)

38. HW méretezés: memória
- mysql
- sphinx (indexer + searchd)
- cache-elés (xcache + memcached)
= n x GB

39. HW méretezés: diszk

40. HW méretezés: diszk #2
>1 TB (I/O!)
LVM
RAID!
kereskedelmi termék RAID nélkül?
(ha lehet) ne kikukázott HW-ből

41. - Online demo: www.mailpiler.org/en/demo.html
- Virtuális gép (vmware)

42. Köszönetnyilvánítás
FSF.hu: Szabad Szoftver Pályázat 2011
Németh Ádám: UX