Big Data dla sprzedawców
TMT.AllThings'13, Warszawa,
24.10.2013
Grupa Manubia
• Monitorowanie sprzedaży :
• Manubia.pl (Allegro, Świstak, eBay)
• Aukcjolog.pl (Allegro)
• Monitorowanie c...
Grupa Manubia
• Monitorowanie sprzedaży :
• Manubia.pl (Allegro, Świstak, eBay)
• Aukcjolog.pl (Allegro)
• Monitorowanie c...
Grupa Manubia
• Monitorowanie sprzedaży :
• Manubia.pl (Allegro, Świstak, eBay)
• Aukcjolog.pl (Allegro)
• Monitorowanie c...
Grupa Manubia
• Monitorowanie sprzedaży :
• Pobieranie danych z WebAPI
• Raporty dedykowane / System SaaS
• Monitorowanie ...
Kluczowe elementy systemu
•
•
•
•

Discovery
Extraction
Data quality verification
Reporting and analytics
Discovery: Rynek krajowy
Poszukujemy:

Monitorujemy: 11 333
Discovery: Rynek około 17k sklepów
Poszukujemy: 5 667

Monitorujemy: 11 333
Discovery: Rynek około 21k sklepów
Poszukujemy: 9 667

Monitorujemy: 11 333
Discovery: Pobieranie
• 40 równoczesnych botów
• Wykorzystanie łącznie 80 rdzeni
• Jeden bot pobiera około 1 mln
podstron
...
Kluczowe elementy systemu
•
•
•
•

Discovery
Extraction
Data quality verification
Reporting and analytics
Extraction

Kategoria asortymentu:
AGD - Odkurzacze

Produkt:
Zelmer Odyssey
450.0 ST

Cena:
251,90 zł
Dostępny:
1 dzień
Kluczowe elementy systemu
•
•
•
•

Discovery
Extraction
Data quality verification
Reporting and analytics
Data quality verification
Data quality verification
Data quality verification: Dostępność
•
•
•
•
•

Na stanie
W ciągu 24h
Od ręki
Natychmiastowa wysyłka
Od 2 do 5 dni

• Nie...
Data quality verification

Extraction

Data quality
verification

Correction

Reporting and
analytics
Kluczowe elementy systemu
•
•
•
•

Discovery
Extraction
Data quality verification
Reporting and analytics
Reporting and analytics
Reporting and analytics
• Wykrywanie słabych produktów
• Wykrywanie sezonowych zmian cen
• Wykrywanie dostaw
• Określanie ...
Cena vs źródło

Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Austral...
Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-1...
Spadki cen

Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)
Data

Cena

2013-06-25

85,75

2013-06-26

85,7

2013-06-27

85,7

2013-06-29

85,25

2013-07-03

85,05

2013-07-05

84,35...
Wykrywanie dostaw
Dziękuje, pytania?

konrad.latkowski@manubia.pl | 506-623-451
Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.
Upcoming SlideShare
Loading in …5
×

Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

591 views

Published on

Konrad Latkowski, PricePanorama. Presentation at the TMT.AllThings`13 conference on 24.10.2013 at the WSE HQ: Big Data dla sprzedawców: doświadczenia Manubia.pl.

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
591
On SlideShare
0
From Embeds
0
Number of Embeds
70
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Witam nazywam się Konrad Latkowski jestem współwłaścicielem, oraz koordynatorem marketingu i PR-u w Grupie Manubia. Zanim zaczniemy to słowem wstępu wyjaśnię skąd nazwa „Manubia” – w języku Łacińskim, „Manubia” oznacza „zysk z rabunku, łup”. A my taki cenny łup dostarczamy codziennie naszym klientom. Dostarczamy im wirtualne złoto – czyli informacje.
  • Dostarczamy te informacje poprzez trzy nasze produkty – najstarszy czyli manubia.pl zajmuje się monitorowaniem sprzedaży na Allegro, a także dostarczać dedykowane raporty dla eBaya. Raporty te wcale nie są dedykowane tylko dla sprzedawców na Allegro. Dane, które tam pozyskujemy dostarczamy do producentów, importerów, dystrybutorów a także dla centrów badawczych.
  • Dostarczamy te informacje poprzez trzy nasze produkty – najstarszy czyli manubia.pl zajmuje się monitorowaniem sprzedaży na Allegro, a także dostarczać dedykowane raporty dla eBaya. Raporty te wcale nie są dedykowane tylko dla sprzedawców na Allegro. Dane, które tam pozyskujemy dostarczamy do producentów, importerów, dystrybutorów a także dla centrów badawczych.
  • A także nasz najnowszy produkt, który w pełni komercyjnie ruszył w połowie września, ale a pozostawać zaczął w kwietniu tego roku. Jest to nieco inne narzędzie, bo skupia się wokół cen produktów i ich dostępnośći. Nie jest to też narzędzie, które ogranicza swoje działanie do jednej plaformy jak Allegro. Nie. PricePanorama ma w swojej ambicji monitoranie całych rynków.
  • Manubia i Aukcjolog działają w oparcu o dane wystawiony przez platformy eBay oraz Allegro w ramach ich WebAPI. Natomiast działanie PricePanoramy opiera się o naszą autorską infrastukrurę, takiego „micro-googla”.
  • I to własnie na PricePanoramie chcielbyśmy się dzisaj skupić. Bo wydaje nam się, że z punktu widzenia pojęcia „big data”, crowlerowanie danych, ich przetwrazanie i rozumienie w przypadku PricaPanoramy jest dużo ciekawsze niżeli pobieranie uporządkwanych zbiorów z WebAPI.
  • Działanie PP opiera się o 4 punkty. To wprawdzie nie jest tak proste i co więcej ciązy na nas wileka odpowiedzialność. Mechanizmy badania cen produktów na poziomie całego rynku umożliwiające ocenę ich wpływu na własny biznes. I dlatego dostarzana przez nas dane, muszą być najwyższej jakości aby decyzje pdoejmowane przzez nasszych klinetów były możliwe właściwie.
  • Zanim zaczniemy warto zastanowić się na jakim rynku operujemy. Jest to istotne o tyle, że nikt tego nie wie…. Nawet my ;) W tej chwili mamy już gotowe szablony dla 11 333 sklepów. Kolejne 2k sklepów wiemy, że istnieją, ale mamy z nimi takie czy inne problemy aby zacząć je monitorować. Ale czy 11k sklepów to znacząca liczba? Czy mamy tam wszystkich najważniejszych graczy?
  • To zależy. Wewnętrznie szacujemy, ze w Polsce mamy około 17 tysięcy sklepów internetowych. Czyli PricePanorama posiada już bardzo zaczący zasięg. Co nie oznacza, że w każej branży udało już nam się monitorować lidera. Każdy nowy klient sprawa, że poznajmy jakiegoś nowego „gracza”, który za jakiśc zas zoobaczymy dopiero czy jest faktycznie znaczacy dla tej branży.
  • Ale jest też drugi scenariusz, który mówi, że w Polsce mamy aż 21 tysięcy sklepów, i wtedy PricePanorama ma wprawdzie ponad połowę rynku, ale przed nami jeszcze dużo więcej. Warto więc już tutaj odpowiedź skąd taka różnica? Wszystko zależy od tego jakie pojęcie przyjemmy dla „sklepu internetowego”. Według nas to………….
  • Dane ze sklepów pobierane są przez boty (crawlery), które odwiedzają codziennie strony tych sklepów jedna po drugiej i poszukują informacji o produktach.
    Realizacja tego projektu możliwa jest wyłącznie dzięki zastosowaniu cloud computingu:- dane pobierane są przez 40 równocześnie uruchomionych botów. Wykorzystują one łącznie 80 rdzeni procesorów- jeden bot pobiera dziennie około 1 miliona podstron
    - całość uruchomiona jest w chmurze Microsoft Azure i może być elastycznie skalowana
  • Dane z każdej znalezionej strony muszą być wydobyte do formy możliwej do przetwarzania. Używane do tego są mechanizmy automatycznego wykrywania danych, wsparte tysiącami wzorców przygotowanymi przez opratorów systemu PricePanorama.
  • Weryfikacja pobranych danych jest niezbędnym elementem do prowadzenia analiz i dostarczania wysokiej jakości wyników
  • Weryfikowanie danych jest procesem stałym, który wpływa na ciągłe udoskonalanie mechanizmu ekstrakcji danych. Wykrywanie nieprawidłowych danych jest wykonywane w większości automatycznie na podstawie analiz statystycznych i data miningu, jednak to człowiek określa w jaki sposób powinny być one
    poprawnie interpretowane.
  • Na podstawie kompletnych danych dostarczamy raportow, które odpowiadają na pytania:
    Produkt:- W ilu sklepach jest dostępny?- Jak wygląda trend ceny i dostepnosci?Sklep:- Jakie produkty ma w ofercie- Które produkty zostały ostatnio dodane/usuniętez oferty
  • Przykładowo mennicawroclawska.pl wyceniając produkty na bieżąco reaguje na ceny złota (przynajmniej tak to wygląda). Cena tego produktu zmieniała się praktycznie z dnia na dzień.
  • Nikt nie obniża ceny jeśli produkt się sprzedaje. Obniża się jak się nie sprzedaje lub jak konkurencja obniża ceny. Czasami obniżka wynika z sezonowości. Ceny mogą być obniżane przez człowieka lub przez automat.
  • Konrad Latkowski, PricePanorama @ TMT.AllThings`13: Big Data dla sprzedawców: doświadczenia Manubia.pl.

    1. 1. Big Data dla sprzedawców TMT.AllThings'13, Warszawa, 24.10.2013
    2. 2. Grupa Manubia • Monitorowanie sprzedaży : • Manubia.pl (Allegro, Świstak, eBay) • Aukcjolog.pl (Allegro) • Monitorowanie cen: • PricePanorama.com
    3. 3. Grupa Manubia • Monitorowanie sprzedaży : • Manubia.pl (Allegro, Świstak, eBay) • Aukcjolog.pl (Allegro) • Monitorowanie cen: • PricePanorama.com
    4. 4. Grupa Manubia • Monitorowanie sprzedaży : • Manubia.pl (Allegro, Świstak, eBay) • Aukcjolog.pl (Allegro) • Monitorowanie cen: • PricePanorama.com
    5. 5. Grupa Manubia • Monitorowanie sprzedaży : • Pobieranie danych z WebAPI • Raporty dedykowane / System SaaS • Monitorowanie cen: • Crawlerowanie danych • Raporty dedykowane / System SaaS
    6. 6. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
    7. 7. Discovery: Rynek krajowy Poszukujemy: Monitorujemy: 11 333
    8. 8. Discovery: Rynek około 17k sklepów Poszukujemy: 5 667 Monitorujemy: 11 333
    9. 9. Discovery: Rynek około 21k sklepów Poszukujemy: 9 667 Monitorujemy: 11 333
    10. 10. Discovery: Pobieranie • 40 równoczesnych botów • Wykorzystanie łącznie 80 rdzeni • Jeden bot pobiera około 1 mln podstron • Część infrastruktury uruchomiona w chmurze Microsoft Azure
    11. 11. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
    12. 12. Extraction Kategoria asortymentu: AGD - Odkurzacze Produkt: Zelmer Odyssey 450.0 ST Cena: 251,90 zł Dostępny: 1 dzień
    13. 13. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
    14. 14. Data quality verification
    15. 15. Data quality verification
    16. 16. Data quality verification: Dostępność • • • • • Na stanie W ciągu 24h Od ręki Natychmiastowa wysyłka Od 2 do 5 dni • Niedostępny • Przedsprzedaż • Oczekiwanie na dostawę
    17. 17. Data quality verification Extraction Data quality verification Correction Reporting and analytics
    18. 18. Kluczowe elementy systemu • • • • Discovery Extraction Data quality verification Reporting and analytics
    19. 19. Reporting and analytics
    20. 20. Reporting and analytics • Wykrywanie słabych produktów • Wykrywanie sezonowych zmian cen • Wykrywanie dostaw • Określanie fazy cyklu życia produktu • Określanie zatowarowania sklepu • Określanie cen nowych produktów
    21. 21. Cena vs źródło Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10oz-.html (16.09.2013)
    22. 22. Dla produktu: http://www.mennicawroclawska.pl/product-pol-289-Australijski-Kangur-1-10-Uncji-Zlota-Australian-Kangaroo-1-10oz-.html (16.09.2013)
    23. 23. Spadki cen Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)
    24. 24. Data Cena 2013-06-25 85,75 2013-06-26 85,7 2013-06-27 85,7 2013-06-29 85,25 2013-07-03 85,05 2013-07-05 84,35 2013-07-08 67,85 2013-07-10 68,5 2013-07-14 54,85 2013-07-16 54,1 2013-07-20 53,95 Dla produktu: http://www.xperfume.pl/avril-lavigne-black-star-damska-edp-30-ml-p-10936.html (12.08.2013)
    25. 25. Wykrywanie dostaw
    26. 26. Dziękuje, pytania? konrad.latkowski@manubia.pl | 506-623-451

    ×