Umělá inteligence ovlivňuje celé odvětví marketingu a mění naše zažitá paradigmata. O to důležitější je tyto změny pochopit a umět je využít. Na konkrétním příkladu automatizace analýzy klíčových slov se vám pokusím osvětlit, jakým způsobem je možné přistupovat k velkým jazykovým modelům a jejich efektivní implementaci do stávajícího workflow s důrazem na lidskou kontrolu. Zaměřím se na to, jak AI účinně zapojit do stávajících procesů a vytěžit z ní maximum.

1. Automatizace analýzy klíčových slov
aneb změny paradigmatu v marketingu

2. Kdo někdy klasifikoval klíčovku?

3. Koho to bavilo?

4. Analýza klíčových slov
Analyzuje klíčová slova, která uživetelé hledají.
Slova se snažíme zařadit do různých přihrádek (klasifikovat).
Například pro “černé tričko Nike 2XL” vytvoříme kategorie Typ produktu
(Trička) – Barva (Černá) – Značka (Nike) – Velikost (2XL).
Díky klasifikaci můžeme dělat analýzy nad jednotlivými kategoriemi.

7. Dříve Dnes
10-20 hodin
Zrychlení klasifikace
1-3 hodiny

8. Už jste to psali na Slido, co?

9. Ne, neoškubáváme klienty!

10. Změna paradigmatu v marketingu!

11. Práce se zrychluje a je hrozně
snadné se kvůli AI stát průměrným.

12. Studenti, kteří používali pouze AI
získali průměrně 30 % bodů a
neprošli. Studenti, kteří používali AI
k dílčím krokům a kontrolovali ji
získali průměrně 70 % bodů.

13. Vzniká mnohem větší nárok na
kvalitu výstupů. Klienti platí
schopnosti konzultantů!

14. Za chvíli si třeba klíčová slova
oklasifikují díky nástrojům sami!

15. Prodáváme drahý čas za
činnosti, které zvládne
udělat i cvičená opice?

16. Výstupy jsou často
nedostatečně kvalitní.
Dlouho klasifikujeme a
nakonec odevzdáváme
velký Excel, který se seká
a už ho nikdy nikdo
neotevře. Kde je ale
skutečná analýza?

17. CRISP-DM

20. 1/3 2/3

21. A když už s daty
pracujeme, tak často jen
podle pocitu.
Monty Hall Problem

22. Co jsme si tedy dali za cíl?
Při analýze klíčových slov efektivně využívat data.
Zefektivnit proces klasifikace (manuální otravné činnosti co nejvíce nahradit
AI).
Ušetřený čas věnovat kvalitě výstupů a vyhodnocení dat.
Mít efektivní workflow, které můžeme kdykoliv pohodlně aktualizovat v
závislosti na nových funkcích a modelech.

23. 1. milník ve změně práce s daty při klíčovce

24. Začali jsme používat KeywordR!

25. Skvělý balíček pro R od Marka Prokopa. Obsahuje celou
řadu užitečných nástrojů a umožňuje klasifikovat
klíčová slova regulárními výrazy.

26. Proč R a RStudio?
Přehledné IDE prostředí RStudia vhodné i pro neprogramátory.
V Effectixu používáme připravené Quarto šablony – dají se přehledně popsat
a práce v nich je jednoduchá.
Využíváme je napříč celým týmem – při jakékoliv změně ve workflow pouze
změníme šablonu a textově popíšeme novou šablonu.
Používáme především k tvorbě analýz klíčových slov, predikčních modelů,
hledání klíčových slov s největším potenciálem.
Obdobné věci dokážete pohodlně dělat třeba i v Pythonu!

27. Klasifikace se zrychlila, ale ne dost!

29. Začali jsme navrhovat AI klíčovku!
Důraz na lidskou kontrolu – stále chceme mít absolutní kontrolu nad výstupy,
které nám AI dává.
Vyjít z balíčku KeywordR (jsme na něj v týmu zvyklí a chceme, aby byl
přechod plynulý).
Využívat NLP přístup k datům (N-gramy), abychom měli matematickou
jistotu, že pracujeme s opravdu důležitými výrazy v datasetu.
Chceme mít univerzální Quarto šablonu, kterou budeme moct vylepšovat a
inovovat v závislosti na nových inovacích (nová verze API, GPT apod.).

30. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Workflow AI analýzy klíčových slov

31. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Workflow AI analýzy klíčových slov

32. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Vytvoření statisticky významné zmenšené verze datasetu (n-grams) –
celkem 3 modely s různým NLP přístupem
3.
Workflow AI analýzy klíčových slov

33. Vytvoření statisticky významné reprezentace datasetu
Neklasifikujeme slovo od slova, ale vytvoříme nejčastěji 3-4 nové seznamy
N-gramů s různým nastavením – tyto seznamy slouží pouze k navržení
klasifikace, která je potom aplikována na celý dataset.
V závislosti na konkrétní analýze si určíme jak moc obecní chceme v
nastavení n-gramů být, respektive do jak velkého detailu analýzu děláme.
Nebojíme se odfiltrovat N-gramy s malým zastoupením nebo malou
hledaností (tím často odfiltrujeme velké množství výrazů, které nejsou pro
kategorizaci přímo podstatné).

34. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Vytvoření statisticky významné zmenšené verze datasetu (n-grams) –
celkem 3 modely s různým NLP přístupem
3.
Popsání byznysu klienta pro AI, aby získala lepší kontext
4.
Workflow AI analýzy klíčových slov

35. Popis byznysu klienta
Vždy vkládáme kontext, proč je analýza klíčových slov tvořena. Uvádíme brand
klienta, specifika jeho byznysu a případně další kontext.

36. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Vytvoření statisticky významné zmenšené verze datasetu (n-grams) –
celkem 3 modely s různým NLP přístupem
3.
Popsání byznysu klienta pro AI, aby získala lepší kontext
4.
Čištění datasetu od nerelevantních a nesouvisejících slov s byznysem (AI)
5.
Workflow AI analýzy klíčových slov

37. Čištění datasetu od nerelevantních slov
Vytvořené N-gram seznamy posíláme přes API do GPT-4 Turbo.
Prompt je strukturován na dvě části systémovou a uživatelskou (viz API
dokumentace).
Systémová část obsahuje prompt ve struktuře:
Role, kterou GPT-4 má zastupovat
Co má AI přesně dělat
Popis byznysu klienta
Pomocí few-shot promptingu příklady strukturovaného výstupu, kterým
jsou soubory později klasifikované

38. Čištění datasetu od nerelevantních slov
Upravujeme parametr temperature podle potřeby.
User část promptu obsahuje N-gram dataset.

39. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Vytvoření statisticky významné zmenšené verze datasetu (n-grams) –
celkem 3 modely s různým NLP přístupem
3.
Popsání byznysu klienta pro AI, aby získala lepší kontext
4.
Čištění datasetu od nerelevantních a nesouvisejících slov s byznysem (AI)
5.
Kontrola odstraněných slov + manuální editace/případné upravení
6.
Workflow AI analýzy klíčových slov

40. KONTROLA

41. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Vytvoření statisticky významné zmenšené verze datasetu (n-grams) –
celkem 3 modely s různým NLP přístupem
3.
Popsání byznysu klienta pro AI, aby získala lepší kontext
4.
Čištění datasetu od nerelevantních a nesouvisejících slov s byznysem (AI)
5.
Kontrola odstraněných slov + manuální editace/případné upravení
6.
Návrh klasifikačních kategorií (AI)
7.
Workflow AI analýzy klíčových slov

42. Návrh kategorií, do kterých bude AI klasifikovat
V tuto chvíli necháme AI vytvořit návrh kategorií, do kterých bude probíhat
klasifikace.
Opět pracujeme s n-gram seznamy, které obsahují skutečně podstatné
výrazy.
Struktura promptu obdobná jako u fáze čištění.
Kladen důraz na kreativitu – zmíněna v promptu, ale i hodnota temperature
je okolo 0.8-1.

43. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Vytvoření statisticky významné zmenšené verze datasetu (n-grams) –
celkem 3 modely s různým NLP přístupem
3.
Popsání byznysu klienta pro AI, aby získala lepší kontext
4.
Čištění datasetu od nerelevantních a nesouvisejících slov s byznysem (AI)
5.
Kontrola odstraněných slov + manuální editace/případné upravení
6.
Návrh klasifikačních kategorií (AI)
7.
Kontrola + editace kategorií
8.
Workflow AI analýzy klíčových slov

44. Standardní sběr dat (Marketing Miner, aHrefs, Search Console atd.)
1.
Očištění duplicitních slov pomocí KeywordRu
2.
Vytvoření statisticky významné zmenšené verze datasetu (n-grams) –
celkem 3 modely s různým NLP přístupem
3.
Popsání byznysu klienta pro AI, aby získala lepší kontext
4.
Čištění datasetu od nerelevantních a nesouvisejících slov s byznysem (AI)
5.
Kontrola odstraněných slov + manuální editace/případné upravení
6.
Návrh klasifikačních kategorií (AI)
7.
Kontrola + editace kategorií
8.
Workflow AI analýzy klíčových slov

45. THE NEVERENDING STORY TODAY

46. 9. Klasifikace klíčových slov – celkem 3x pro každý model datasetu zvlášť (AI)
Workflow AI analýzy klíčových slov

47. Klasifikace klíčových slov
Prompt strukturovaný podobně jako u čištění.
Systémová část:
Role
Co má AI dělat
Popis byznysu klienta
Few-shot prompting
Uživatelská část obsahuje n-gram datasety.
Temperature nastavená spíše v dolní části škály.

48. 9. Klasifikace klíčových slov – celkem 3x pro každý model datasetu zvlášť (AI)
10. Ruční kontrola a editace klasifikací
Workflow AI analýzy klíčových slov

49. 9. Klasifikace klíčových slov – celkem 3x pro každý model datasetu zvlášť (AI)
10. Ruční kontrola a editace klasifikací
11. Prostor pro vložení usměrňujícího promptu – nemusíme nutně všechny
nepřesnosti a chyby upravovat ručně – stačí říct, co je špatně (AI)
Workflow AI analýzy klíčových slov

50. 9. Klasifikace klíčových slov – celkem 3x pro každý model datasetu zvlášť (AI)
10. Ruční kontrola a editace klasifikací
11. Prostor pro vložení usměrňujícího promptu – nemusíme nutně všechny
nepřesnosti a chyby upravovat ručně – stačí říct, co je špatně (AI)
12. Agregace 3-4 různých klasifikací do jedné (AI)
Workflow AI analýzy klíčových slov

51. Agregace AI výstupů do jedné + kontrola
Jelikož jsme klasifikovali cca 3-4 datasety, které jsme vytvořili pomocí n-
gramů, je potřeba je sloučit dohromady.
V této fázi necháváme AI pomocí promptu zkontrolovat jednotlivé vytvořené
klasifikace a slučujeme také podobné fráze, které ale v rámci klasifikace
chceme mít pro následné analýzy označené stejně (bílé – bílá – bílý = bílá).
Temperature nastavené nízko – chceme, aby si AI co nejméně vymýšlela a
neutrhla se moc ze řetězu!

52. 9. Klasifikace klíčových slov – celkem 3x pro každý model datasetu zvlášť (AI)
10. Ruční kontrola a editace klasifikací
11. Prostor pro vložení usměrňujícího promptu – nemusíme nutně všechny
nepřesnosti a chyby upravovat ručně – stačí říct, co je špatně (AI)
12. Agregace 3-4 různých klasifikací do jedné (AI)
13. Kontrola zbylých klíčových slov a případně jejich doklasifikování (AI + ručně)
Workflow AI analýzy klíčových slov

53. 9. Klasifikace klíčových slov – celkem 3x pro každý model datasetu zvlášť (AI)
10. Ruční kontrola a editace klasifikací
11. Prostor pro vložení usměrňujícího promptu – nemusíme nutně všechny
nepřesnosti a chyby upravovat ručně – stačí říct, co je špatně (AI)
12. Agregace 3-4 různých klasifikací do jedné (AI)
13. Kontrola zbylých klíčových slov a případně jejich doklasifikování (AI + ručně)
Workflow AI analýzy klíčových slov

54. Identifikujte procesy, které vás zbytečně zaměstnávají a jsou pro vaše klienty
drahé.
Navrhněte workflow a automatizujte po částech kroky, u kterých to dává
smysl.
Data vhodně předzpracujte.
AI výstupy průběžně kontrolujte a korigujte.
Pracujte tak, abyste dokázali pružně reagovat na nové inovace.
Ušetřený čas investuje do činností, ve kterých jste důležití jako konzultanti,
čímž získáte konkurenční výhodu.
Key Takeaways

55. CRISP-DM

57. Lukáš Kostka
lukas.kostka@effectix.com
linkedin.com/in/kostkalukas/
Děkuji za pozornost