KOMBINACE METOD SBĚRU DAT 
(CATI/CAPI/CAWI)
„There are 3 important reasons to choose a multiple mode survey design: 
increase cost-effectiveness, 
improve response rates, 
reduce time and 
measurement errors“ Volně přeloženo: 
co jde, dotazuji levně; co nejde, tak „draho“, 
respondentům „vybírám“ metodu, která jim vyhovuje a jsou ochotni jejím prostřednictvím odpovídat, 
kombinací řeším „časové ztráty“ sběru 
pracuji s faktem, že každá metoda má „silné a slabé stránky“ z pohledu typu otázek. 
Proč kombinovat metody sběru dat…
Úspora nákladů 
□může dosahovat až 1/3 (nejvíce při kombinaci s CAWI) 
Vyšší návratnost 
□různým respondentům vyhovují různé dotazovací metody (např. seniorům CATI, studentům CAWI…) 
□komfortnější dotazovací situace 
□různá délka dotazníku 
Rychlost 
□možnost volby vhodné části dne pro dotazování různých skupin respondentů 
Zvýšení validity dat 
□eliminace nevýhod jednotlivých metod 
□kvalitnější pokrytí populace, cílové skupiny 
□kombinace kontrolních mechanismů (náslechy, nahrávky, visual recording, GPS, ….) 
…proč kombinovat metody sběru dat…
2010 + 
□rychlý technologický vývoj 
□růst dostupnosti internetu v domácnostech (většina „cílové“ populace) 
□téměř 100% penetrace telefony 
□sjednocování filosofie dotazovacích scriptů (CATI/CAWI/CAPI), 
□rozvoj SPAPI (SmartPhone Aided Personal Interviewing) a SPASI (SmartPhone Aided Self- Interviewing) 
Pozitivní zkušenosti (reference) 
□v zahraničí: EUROSTAT https://www.destatis.de/EN/AboutUs/Events/DGINS/Document_Destatis_Eurostat.pdf?__blob=publicationFile 
Estonsko http://www.ssi.ut.ee/sites/default/files/ssi/ess_dace_mixed_mode_ee_report.pdf 
□SOÚ AV: 
□v rámci agentur SIMAR 
…pokrok nezastavíš … 
Pro smíšený sběr dat je klíčové, že v různých módech působí (společenské a kulturní) normy rozdílnou intenzitou. Je tak třeba si klást otázku, do jaké míry ovlivňuje mód dotazování integritu dat - zda není vhodné kombinovat hlavní metodu sběru s doplňkovou, která by zajistila přesnější odpovědi. Největší roli v tomto případě hraje vliv tazatele. Obecně platí, že čím menší má tazatel vliv na dotazovací situaci, tím je vyšší pocit soukromí u respondenta a tím pak klesají bariéry dané normami. [Martin, Lynn 2011: 10; de Leeuw, Hox 2011: 59; Tourangeau, Smith 1996].
… a na co si dát pozor... 
Na vliv tazatele na respondenta (tendence „přibarvovat“ odpovědi za přítomnosti tazatele, větší integrita při samovyplňování ...) 
Na vyšší míru aktivity on-line panelistů (aktivnější životní styl, vyšší spotřeba médií, menší podíl odpovědí „NEVÍM“) 
Na odlišnou délku vyplňování dotazníku (CAWI většinou kratší, rychlejší reakce, než při kladení dotazů tazatelem) 
…na citlivé používání kombinace metod při měření znalosti značky, NPS či penetrace produkty
CAWI vs CATI a CAPI 
□CAPI + CATI : možnost doptávání + jemnější a přesnější klasifikace např. produktů při spontánní odpovědi, tazatelé odpovědi rovnou kódují 
□CAWI: používá se otevřená otázka, kterou je třeba kódovat, nelze již zpětně upřesnit 
(příklad poslechovost rádií– v CAWI respondenti zaznamenají jen Český rozhlas, ale v CATI se můžou doptat na konkrétní stanici) 
Přestože spontánní znalost je podobná, navozená znalost značek vychází v CAWI vyšší 
□Možné důvody: panelisté rádi a rychle klikají (zároveň jsou aktivnější atd.), na druhou stranu tazatelé také (pro mě je méně více, zároveň pokryjí i nižší příjmové skupiny) – kombinací metod můžeme dosáhnout optimální hodnoty 
Chytáky: 
□Pozor při netbusu: Pokud za tématem následuje otevřená otázka na jiné téma, respondent nemusí pochopit změnu tématu a může dále odpovídat v duchu předchozího tématu… 
Srovnání metod CAWI a CAPI/CATI - komentáře
Mladí versus starší respondenti 
□18-45/55 let CAWI (penetrace internetem okolo 90 %) 
□46/56+ CATI/CAPI(PAPI) (penetrace internetem okolo 50 %) 
Dotazování obtížně zastižitelných skupin (manažeři, politici, …) 
□CATI rekrutace s možností alternativního dotazování CAWI/CAPI/CATI 
Doplňkové metody dotazování (dosběr) 
□využití členů online panelu pro doplnění požadovaných kvót pro CATI/CAPI (např. klienti menších bank, lidé s půjčkou, lidé využívající alternativní operátory, posluchači menších rádií apod.) 
Typické situace – modelová řešení kombinace
1.zvážíme vhodnost kombinace metod sběru dat 
2.stanovíme výchozí požadovanou strukturu vzorku 
3.ověříme dostupnost cílových skupin na on-line panelu (ČNP) 
4.připravíme script pro jednu z aplikovaných metod, který pak v rámci kompatibility upravíme pro další metody 
5.odpilotujeme dotazníky v rámci kombinovaných metod 
6.kontrolní vzorek cílové skupiny dotazujeme různými metodami, výsledky srovnáme a případné odlišnosti posoudíme (viz bod 1) 
7.operativně upravujeme poměry metod dle rychlosti sběru, kontrolujeme kvalitu sběru, naplnění kvót a kvalitu dat 
8.provedeme kontrolní analýzu rozdílů v datech získaných různými metodami sběru 
Jak to děláme...
Zkušenosti STEM/MARK (příklady využití)… 
Česká televize – volební výzkumy (CAPI/CATI/CAWI) 
Komerční TV - tracking znalosti TV pořadů, testování nových formátů (CAPI/CAWI) 
Hudební rádia – kontinuální testování songů, hudebního formátu (CATI/CAWI) 
Telefonní operátoři – satisfakční výzkumy v segmentu B2B (CATI/CAWI/CAPI) 
Media Projekt – CATI rekrutace obtížně zastižitelných skupin pro CAPI 
Finanční gramotnost – kombinace CATI/CAWI, celkově oslovena reprezentativní cílová populace 
Počítačová gramotnost – kombinace CATI/CAWI
Kombinace kvantity a kvality 
□ např. CAWI lze doplnit o vnořený chat (osobní hlasový, s reálnou osobou) na vybraná témata 
Modifikace poměrů vzorků sbíraných odlišnými metodami 
□operativní nastavení dle návratnosti, zásahu cílových skupin 
□zohlednění kombinace různých metodických přístupů (např. různé indikátory pro konkrétní téma) 
Budoucí možnosti využití
Srovnání jednotlivých metod 
CATI 
CAPI 
CAWI 
PAPI 
Příprava dotazníku 
rychlé 
rychlé 
rychlé 
náročnější 
Spuštění projektu 
velmi rychlé (jednotky hodin) 
rychlé (den) 
rychlé ((jednotky hodin) 
pomalé (tisk+distribuce) 
Sběr dat 
maximálně pod kontrolou 
pod kontrolou (nahrávání vybr. sekcí dotazníku) 
závislý na kvalitě panelu 
omezený průběžný přehled 
Dotazník 
stručný, strukturovaný do 20 min. 
náročný, strukturovaný, do 30 min. 
stručný, strukturovaný do 20 minut 
náročný, jednodušeji strukturovaný, složitější baterie (karty) do 30 min. 
Otázky 
stručné, jednoduché, zvuk. ukázky 
bez omezení, multimédia 
stručné, jednoduché, multimédia 
bez omezení, pouze tištěné ukázky 
Méně vhodné pro: 
muže s nižším vzděláním 
mladé, manažery 
seniory, s nižším vzděláním 
mladé, vyšší příjmové skupiny 
Hodí se pro: 
zákaznickou spokojenost (z dtb klienta), NPS 
mediální průzkumy, testy reklamních a komunikačních kampaní (audio, video, flash, 3D obrázky…) 
testování reklamy, produktů (audio, video, flash, 3D obrázky…) 
dotazování seniorů 
znalost a využívání značek a produktů 
in hall testy – testy produktů 
zákaznickou i zaměstnaneckou spokojenost (z dtb klienta) 
dotazování na ulici, velmi krátké dotazníky, ankety 
většinu B2B průzkumů - cíl. skupina zaměstnanci, manažeři apod. 
rozsáhlá celorepubliková šetření 
většinu B2B průzkumů – cíl. skupina zaměstnanci, manažeři apod. 
rozsáhlá celorepubliková šetření v domácnostech 
dotazování s řadou filtrů - strukturovaný dotazník 
cenové průzkumy 
cenové průzkumy 
cenové průzkumy 
B2B průzkumy na středních a vyšších manažerských pozicích dotazování s řadou filtrů - strukturovaný dotazník 
testování inovativních služeb a produktů 
deníkové průzkumy 
mladší cílové skupiny 
dotazování s řadou filtrů – strukturovaný dotazník 
Nehodí se pro: 
testování reklamy, produktů 
dotazování na ulici 
plošnou čtenost časopisů, sledování a poslech médií 
mediální průzkumy, testy reklamních a komunikačních kampaní 
složité a dlouhé dotazování 
velmi krátké dotazníky 
znalostní/awareness průzkumy 
dotazování s řadou filtrů - strukturovaný dotazník 
cenové průzkumy 
ankety 
složité a dlouhé dotazování

Kombinace metod sběru dat - Nutnost nebo luxus?

  • 1.
    KOMBINACE METOD SBĚRUDAT (CATI/CAPI/CAWI)
  • 2.
    „There are 3important reasons to choose a multiple mode survey design: increase cost-effectiveness, improve response rates, reduce time and measurement errors“ Volně přeloženo: co jde, dotazuji levně; co nejde, tak „draho“, respondentům „vybírám“ metodu, která jim vyhovuje a jsou ochotni jejím prostřednictvím odpovídat, kombinací řeším „časové ztráty“ sběru pracuji s faktem, že každá metoda má „silné a slabé stránky“ z pohledu typu otázek. Proč kombinovat metody sběru dat…
  • 3.
    Úspora nákladů □můžedosahovat až 1/3 (nejvíce při kombinaci s CAWI) Vyšší návratnost □různým respondentům vyhovují různé dotazovací metody (např. seniorům CATI, studentům CAWI…) □komfortnější dotazovací situace □různá délka dotazníku Rychlost □možnost volby vhodné části dne pro dotazování různých skupin respondentů Zvýšení validity dat □eliminace nevýhod jednotlivých metod □kvalitnější pokrytí populace, cílové skupiny □kombinace kontrolních mechanismů (náslechy, nahrávky, visual recording, GPS, ….) …proč kombinovat metody sběru dat…
  • 4.
    2010 + □rychlýtechnologický vývoj □růst dostupnosti internetu v domácnostech (většina „cílové“ populace) □téměř 100% penetrace telefony □sjednocování filosofie dotazovacích scriptů (CATI/CAWI/CAPI), □rozvoj SPAPI (SmartPhone Aided Personal Interviewing) a SPASI (SmartPhone Aided Self- Interviewing) Pozitivní zkušenosti (reference) □v zahraničí: EUROSTAT https://www.destatis.de/EN/AboutUs/Events/DGINS/Document_Destatis_Eurostat.pdf?__blob=publicationFile Estonsko http://www.ssi.ut.ee/sites/default/files/ssi/ess_dace_mixed_mode_ee_report.pdf □SOÚ AV: □v rámci agentur SIMAR …pokrok nezastavíš … Pro smíšený sběr dat je klíčové, že v různých módech působí (společenské a kulturní) normy rozdílnou intenzitou. Je tak třeba si klást otázku, do jaké míry ovlivňuje mód dotazování integritu dat - zda není vhodné kombinovat hlavní metodu sběru s doplňkovou, která by zajistila přesnější odpovědi. Největší roli v tomto případě hraje vliv tazatele. Obecně platí, že čím menší má tazatel vliv na dotazovací situaci, tím je vyšší pocit soukromí u respondenta a tím pak klesají bariéry dané normami. [Martin, Lynn 2011: 10; de Leeuw, Hox 2011: 59; Tourangeau, Smith 1996].
  • 5.
    … a naco si dát pozor... Na vliv tazatele na respondenta (tendence „přibarvovat“ odpovědi za přítomnosti tazatele, větší integrita při samovyplňování ...) Na vyšší míru aktivity on-line panelistů (aktivnější životní styl, vyšší spotřeba médií, menší podíl odpovědí „NEVÍM“) Na odlišnou délku vyplňování dotazníku (CAWI většinou kratší, rychlejší reakce, než při kladení dotazů tazatelem) …na citlivé používání kombinace metod při měření znalosti značky, NPS či penetrace produkty
  • 6.
    CAWI vs CATIa CAPI □CAPI + CATI : možnost doptávání + jemnější a přesnější klasifikace např. produktů při spontánní odpovědi, tazatelé odpovědi rovnou kódují □CAWI: používá se otevřená otázka, kterou je třeba kódovat, nelze již zpětně upřesnit (příklad poslechovost rádií– v CAWI respondenti zaznamenají jen Český rozhlas, ale v CATI se můžou doptat na konkrétní stanici) Přestože spontánní znalost je podobná, navozená znalost značek vychází v CAWI vyšší □Možné důvody: panelisté rádi a rychle klikají (zároveň jsou aktivnější atd.), na druhou stranu tazatelé také (pro mě je méně více, zároveň pokryjí i nižší příjmové skupiny) – kombinací metod můžeme dosáhnout optimální hodnoty Chytáky: □Pozor při netbusu: Pokud za tématem následuje otevřená otázka na jiné téma, respondent nemusí pochopit změnu tématu a může dále odpovídat v duchu předchozího tématu… Srovnání metod CAWI a CAPI/CATI - komentáře
  • 7.
    Mladí versus staršírespondenti □18-45/55 let CAWI (penetrace internetem okolo 90 %) □46/56+ CATI/CAPI(PAPI) (penetrace internetem okolo 50 %) Dotazování obtížně zastižitelných skupin (manažeři, politici, …) □CATI rekrutace s možností alternativního dotazování CAWI/CAPI/CATI Doplňkové metody dotazování (dosběr) □využití členů online panelu pro doplnění požadovaných kvót pro CATI/CAPI (např. klienti menších bank, lidé s půjčkou, lidé využívající alternativní operátory, posluchači menších rádií apod.) Typické situace – modelová řešení kombinace
  • 8.
    1.zvážíme vhodnost kombinacemetod sběru dat 2.stanovíme výchozí požadovanou strukturu vzorku 3.ověříme dostupnost cílových skupin na on-line panelu (ČNP) 4.připravíme script pro jednu z aplikovaných metod, který pak v rámci kompatibility upravíme pro další metody 5.odpilotujeme dotazníky v rámci kombinovaných metod 6.kontrolní vzorek cílové skupiny dotazujeme různými metodami, výsledky srovnáme a případné odlišnosti posoudíme (viz bod 1) 7.operativně upravujeme poměry metod dle rychlosti sběru, kontrolujeme kvalitu sběru, naplnění kvót a kvalitu dat 8.provedeme kontrolní analýzu rozdílů v datech získaných různými metodami sběru Jak to děláme...
  • 9.
    Zkušenosti STEM/MARK (příkladyvyužití)… Česká televize – volební výzkumy (CAPI/CATI/CAWI) Komerční TV - tracking znalosti TV pořadů, testování nových formátů (CAPI/CAWI) Hudební rádia – kontinuální testování songů, hudebního formátu (CATI/CAWI) Telefonní operátoři – satisfakční výzkumy v segmentu B2B (CATI/CAWI/CAPI) Media Projekt – CATI rekrutace obtížně zastižitelných skupin pro CAPI Finanční gramotnost – kombinace CATI/CAWI, celkově oslovena reprezentativní cílová populace Počítačová gramotnost – kombinace CATI/CAWI
  • 10.
    Kombinace kvantity akvality □ např. CAWI lze doplnit o vnořený chat (osobní hlasový, s reálnou osobou) na vybraná témata Modifikace poměrů vzorků sbíraných odlišnými metodami □operativní nastavení dle návratnosti, zásahu cílových skupin □zohlednění kombinace různých metodických přístupů (např. různé indikátory pro konkrétní téma) Budoucí možnosti využití
  • 11.
    Srovnání jednotlivých metod CATI CAPI CAWI PAPI Příprava dotazníku rychlé rychlé rychlé náročnější Spuštění projektu velmi rychlé (jednotky hodin) rychlé (den) rychlé ((jednotky hodin) pomalé (tisk+distribuce) Sběr dat maximálně pod kontrolou pod kontrolou (nahrávání vybr. sekcí dotazníku) závislý na kvalitě panelu omezený průběžný přehled Dotazník stručný, strukturovaný do 20 min. náročný, strukturovaný, do 30 min. stručný, strukturovaný do 20 minut náročný, jednodušeji strukturovaný, složitější baterie (karty) do 30 min. Otázky stručné, jednoduché, zvuk. ukázky bez omezení, multimédia stručné, jednoduché, multimédia bez omezení, pouze tištěné ukázky Méně vhodné pro: muže s nižším vzděláním mladé, manažery seniory, s nižším vzděláním mladé, vyšší příjmové skupiny Hodí se pro: zákaznickou spokojenost (z dtb klienta), NPS mediální průzkumy, testy reklamních a komunikačních kampaní (audio, video, flash, 3D obrázky…) testování reklamy, produktů (audio, video, flash, 3D obrázky…) dotazování seniorů znalost a využívání značek a produktů in hall testy – testy produktů zákaznickou i zaměstnaneckou spokojenost (z dtb klienta) dotazování na ulici, velmi krátké dotazníky, ankety většinu B2B průzkumů - cíl. skupina zaměstnanci, manažeři apod. rozsáhlá celorepubliková šetření většinu B2B průzkumů – cíl. skupina zaměstnanci, manažeři apod. rozsáhlá celorepubliková šetření v domácnostech dotazování s řadou filtrů - strukturovaný dotazník cenové průzkumy cenové průzkumy cenové průzkumy B2B průzkumy na středních a vyšších manažerských pozicích dotazování s řadou filtrů - strukturovaný dotazník testování inovativních služeb a produktů deníkové průzkumy mladší cílové skupiny dotazování s řadou filtrů – strukturovaný dotazník Nehodí se pro: testování reklamy, produktů dotazování na ulici plošnou čtenost časopisů, sledování a poslech médií mediální průzkumy, testy reklamních a komunikačních kampaní složité a dlouhé dotazování velmi krátké dotazníky znalostní/awareness průzkumy dotazování s řadou filtrů - strukturovaný dotazník cenové průzkumy ankety složité a dlouhé dotazování