Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Spamdetectie bij Google

577 views

Published on

Lezing door Peter van der Graaf (Booming.nl)
3 maart 2016, VOGIN-IP-lezing, Amsterdam
Over de toepassing van machine learning bij spamdetectie

Published in: Internet
  • Be the first to comment

  • Be the first to like this

Spamdetectie bij Google

  1. 1. Google spamdetectie Peter van der Graaf Booming
  2. 2. Peter van der Graaf • 18 jaar SEO expert • Opvolgend actief in branches waar SEO nog het verschil kon maken • Platforminrichting en Linkbuilding • Bureau Booming
  3. 3. Zoekmachines vs Spammers • Altavista, Lycos, Hotbot en Yahoo streden intensief tegen SEO spam: Hoog scoren werd voornamelijk een kwestie van het inzetten van steeds weer nieuwe trucs • Google pakte dergelijke trucage het beste aan en won daarmee het marktleiderschap • Spammers worden steeds vernuftiger en een statisch algoritme kan dit niet bijbenen • Machine learning was nodig om onnatuurlijkheid het hoofd te bieden
  4. 4. Google richtlijnen • Het beste antwoord voor de zoeker zou het beste moeten scoren • Manipulatie moet bestraft worden en in ieder geval niet beloond – Panda: Content moet toegevoegde waarde hebben en uniek geschreven zijn – Penguin: Links moeten als stem van vertrouwen verdiend zijn
  5. 5. Niet zo flexibel! De uitdaging van Google
  6. 6. Hoe werkt Google? 1. Verzamelen van alle eigenschappen 2. Continu updaten externe eigenschappen 3. Versimpelen tot diverse eindcijfers 4. Verder versimpelen tot gecodeerde ranking factoren 5. Op volgorde zetten voor zoekopdracht (cache) 6. Filteren en herschikken op eigenschappen individu 7. Tonen resultaten • Verversen kost rekenkracht • Factoren toevoegen/vervangen erg moeilijk • Waardering van factoren aanpassen is wel flexibel
  7. 7. Systeemaanpassingen? • Hoe flexibel is Google? • Ingewikkelde balans tussen – Responstijden – Accuraatheid – Spambestrijding – Benodigde rekenkracht • Capaciteit index groei – Flexibiliteit voor algoritmewijzigingen • Machine learning algoritmen? Gebruikerservaring
  8. 8. Machine learning bij Google • Welk patroon legt manipulatie bloot? • Naar welke factoren mag het systeem kijken? • Welk controlemiddel scheidt goed van slecht?
  9. 9. Panda Communicatie vanuit Google (2011): “De Panda-update heeft als doel het belonen van kwaliteitscontent en het devalueren van sites met geringe meerwaarde voor bezoekers.” Officiële eigenschappen: Geen spamdetectie, maar herevalutatie kwaliteitsindicatoren. Vernoemd naar Google (distributed tree learning) engineer Biswanath Panda
  10. 10. Panda Machine Learning
  11. 11. Panda: Patronen • Classificatie en regressie over grote datasets – Systeem bepaalt classificatie op basis van overeenkomstige attributen – Blijft opsplitsen tot te grote diversiteit optreedt – Uitgangspunt: Voorspelbaarheid nieuwe datasets door controleren van slechts enkele variabelen
  12. 12. Initieel geen live algoritme • Op de achtergrond in statische dataset patronen ontdekken • Mensen bepalen eerste controlemiddelen (meestal tekenen van goede of slechte gebruikerservaring) • Mensen controleren voor false positives en negatives voor het resultaat (reeksen controlepunten) live gezet wordt • Met elke iteratie wordt het resultaat stabieler • Zo stabiel dat Panda een Live algoritme kon worden • Zogenaamde Panda Updates alleen nog nodig als het learning systeem zelf aangepast wordt
  13. 13. Heeft het effect? Wat doen Panda en Penguin

×