Jak odebrać
1 mld e-maili?
Wyzwania w największej poczcie w Polsce.
Kwestia skali
01
}}
Liczba przesłanych maili:
2 mld
63 mln
88 tys.
miesiąca
całego dnia
podczas oglądania tego slajdu
Spam
02
farmaceutyki, randki, podróbki
}
Z całego strumienia przychodzącej
poczty nawet 85% maili mo e być
spamem
Filtr spamu
03
}
Wirus
04
Botnet
05
} }
Rozmiary
06
} }
liczba zara onych
3,2 mln
3,6 mln
4,5 mln
Virut
Zeus
TDL4
10,5 mln
12 mln
30 mln
Conficker
Mariposa
BredoL...
DCC
07
Distributed Checksum Clearinghouses
Ile i skąd?
08
968
589
1337
1292
377
729
1096
220
812
610
1101
1179
1504
1086
819
500
964
592
1004
CNMXROIDVNRSINTWPKSNPHL...
DKIM
09
Kryptografia w słu bie ochrony poczty
10
DNA
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
34525
98753
34532
45653
23454
23454
67532
3...
I had seen you private image on the web.
Great pic. Get back soon.
I could send you my private picture.
You will be happy....
Geografia spamu
12
Chiny bez wizy
13
Środki transportu
14
?700km/h50km/h
mailowymStop wariatom
15
6500km/h700km/h50km/h
ile to będzie punktów karnych?
Mo esz oznaczyć spam lub skorzystać z automatu
do czyszczenia skrzynki.
dla u ytkownikówNarzędzia
16
wp-cleaner
Gdzie zapisać?
17
}
Du o NFS
18
RAID +
replikacja
asynchroniczna
kilkadzesiąt
macierzy
Ponad
1500 punktów
montowania
ZOHA
19
Zookeeped Haystacks
Apache Zookeeper
20
Apache
konfiguracja klastra
bie ący stan
HA
Haystack
21
minimalna ilość metainformacji
błyskawiczny dostep do danych
du e pliki zło one z niewielkich
obiektów (needle...
Jak zrobiliśmy klaster
Klaster
22
Jakie maszyny
23
1U 4 x HDD
2U 12 x HDD
4U 48 x HDD
Jaki filesystem
24
ext4
btrfs
xfs
Jak zorganizować dyski
Dyski
25
kontroler RAID + 2 kopie w klastrze
kontroler SATA + 3 kopie w klastrze
Gdzie OS?
26
software RAID na dyskach twardych
pendrive
network boot
ZOHA: 100 serwerów, 1PB raw
ZOHA
27
node-3.r-3.c-1.zoha.srv
node-33.r-3.c-1.zoha.srv
node-2.r-3.c-1.zoha.srv
R3
node-1.r-3...
ale mamy te cichego
testera, który załadował 6TB
Akcja wykop
28
-250GB na jednym koncie
Zapisane
29
A potem trzeba te 2 mld maili
pokazać u ytkownikom
}
Protokoły
30
POP3
IMAP
Webmail
31
Technologie
32
Pytania?
33
Dziękujemy za uwagę
Upcoming SlideShare
Loading in …5
×

infoShare 2013: Wojciech Meler, Tomasz Potęga: Jak odebrać 1mld e-maili?

344 views

Published on

Wojciech Meler, Tomasz Potęga / WP.PL
Jak odebrać 1mld e-maili?
Prezentacja z konferencji infoShare 2013
Presented at infoShare 2013, Gdańsk 2013

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
344
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

infoShare 2013: Wojciech Meler, Tomasz Potęga: Jak odebrać 1mld e-maili?

  1. 1. Jak odebrać 1 mld e-maili? Wyzwania w największej poczcie w Polsce.
  2. 2. Kwestia skali 01 }} Liczba przesłanych maili: 2 mld 63 mln 88 tys. miesiąca całego dnia podczas oglądania tego slajdu
  3. 3. Spam 02 farmaceutyki, randki, podróbki
  4. 4. } Z całego strumienia przychodzącej poczty nawet 85% maili mo e być spamem Filtr spamu 03 }
  5. 5. Wirus 04
  6. 6. Botnet 05 } }
  7. 7. Rozmiary 06 } } liczba zara onych 3,2 mln 3,6 mln 4,5 mln Virut Zeus TDL4 10,5 mln 12 mln 30 mln Conficker Mariposa BredoLab
  8. 8. DCC 07 Distributed Checksum Clearinghouses
  9. 9. Ile i skąd? 08 968 589 1337 1292 377 729 1096 220 812 610 1101 1179 1504 1086 819 500 964 592 1004 CNMXROIDVNRSINTWPKSNPHLBSABFGMGHBJCING analiza ilościowa w czasie rzeczywistym
  10. 10. DKIM 09 Kryptografia w słu bie ochrony poczty
  11. 11. 10 DNA 34532 45653 23454 23454 67532 34525 98753 34532 45653 23454 23454 67532 34525 98753 34532 45653 23454 23454 67532 34525 98753 34532456532345423454675323452598753 34532 45653 23454 23454 67532 34525 98753 34532 45653 23454 23454 67532 34525 98753 34532456532345423454675323452598753 34532456532345423454675323452598753 34532 45653 23454 23454 67532 34525 98753 34532 45653 23454 23454 67532 34525 98753 34532 45653 23454 23454 67532 34525 98753 34532 45653 23454 23454 67532 34525 98753 34532 45653 23454 23454 67532 34525 98753 Analiza wzorców i zale ności w strumieniu maili
  12. 12. I had seen you private image on the web. Great pic. Get back soon. I could send you my private picture. You will be happy. Waiting to hear back from you. Looked at your primary photo at facebook. It was great. Please reply. I ended up seeing you personal pic on facebook. Very interesting. Please drop me a line. 11 DNA 34532 45653 23454 23454 67532 34525 98753 I could send you my photo. You would be glad. Please get back soon.
  13. 13. Geografia spamu 12
  14. 14. Chiny bez wizy 13
  15. 15. Środki transportu 14 ?700km/h50km/h
  16. 16. mailowymStop wariatom 15 6500km/h700km/h50km/h ile to będzie punktów karnych?
  17. 17. Mo esz oznaczyć spam lub skorzystać z automatu do czyszczenia skrzynki. dla u ytkownikówNarzędzia 16 wp-cleaner
  18. 18. Gdzie zapisać? 17 }
  19. 19. Du o NFS 18 RAID + replikacja asynchroniczna kilkadzesiąt macierzy Ponad 1500 punktów montowania
  20. 20. ZOHA 19 Zookeeped Haystacks
  21. 21. Apache Zookeeper 20 Apache konfiguracja klastra bie ący stan HA
  22. 22. Haystack 21 minimalna ilość metainformacji błyskawiczny dostep do danych du e pliki zło one z niewielkich obiektów (needle in haystack) Padding Data Checksum Footer Magic Number Data Size Flags Alternate Keyneedle 3 Key Cookie Header Magic Number needle 2 needle 1 superblock
  23. 23. Jak zrobiliśmy klaster Klaster 22
  24. 24. Jakie maszyny 23 1U 4 x HDD 2U 12 x HDD 4U 48 x HDD
  25. 25. Jaki filesystem 24 ext4 btrfs xfs
  26. 26. Jak zorganizować dyski Dyski 25 kontroler RAID + 2 kopie w klastrze kontroler SATA + 3 kopie w klastrze
  27. 27. Gdzie OS? 26 software RAID na dyskach twardych pendrive network boot
  28. 28. ZOHA: 100 serwerów, 1PB raw ZOHA 27 node-3.r-3.c-1.zoha.srv node-33.r-3.c-1.zoha.srv node-2.r-3.c-1.zoha.srv R3 node-1.r-3.c-1.zoha.srv DHCP Zookeeper H node-3.r-2.c-1.zoha.srv node-33.r-2.c-1.zoha.srv node-2.r-2.c-1.zoha.srv R2 node-1.r-2.c-1.zoha.srv DHCP Zookeeper H node-3.r-1.c-1.zoha.srv node-33.r-1.c-1.zoha.srv node-2.r-1.c-1.zoha.srv R1 node-1.r-1.c-1.zoha.srv DHCP Zookeeper H
  29. 29. ale mamy te cichego testera, który załadował 6TB Akcja wykop 28 -250GB na jednym koncie
  30. 30. Zapisane 29 A potem trzeba te 2 mld maili pokazać u ytkownikom }
  31. 31. Protokoły 30 POP3 IMAP
  32. 32. Webmail 31
  33. 33. Technologie 32
  34. 34. Pytania? 33 Dziękujemy za uwagę

×