SlideShare a Scribd company logo
1 of 34
Download to read offline
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
RAPORT
“EFICIENȚA PLATFORMELOR MULTIUSER ONLINE PENTRU
CONSILIEREA ȘI ORIENTAREA PROFESIONALĂ A ELEVILOR”
OBIECTIVE
Studiul de eficiență al intervenției de consiliere vocațională prin platforma CCP urmărește
cuantificarea beneficiilor raportate de elevi și de consilieri școlari prin metode de evaluare
standardizate și practici valide de analiză stastistică descriptivă și inferențială. Scopul
demersului de cercetare este de obține la final răspusuri bazate empiric la următoarele
întrebări cheie:
i. Este intervenția prin CCP eficientă, per ansamblu, pentru elevi?
ii. Pot fi observate efectele intervenției la mai multe categorii de elevi (de
exemplu, elevi din clase diferite sau cu profiluri de învățământ diferite)?
iii. Pot fi observate efectele intervenției în toate aspectele vizate de procesul de
consiliere vocațională (de exemplu, cunoștințe teoretice, autocunoaștere,
cunoașterea lumii ocupațiilor, identificarea ocupațiilor potrivite, autoeficacitate
în luarea deciziilor)?
iv. Este intervenția prin CCP eficientă, per ansamblu, pentru consilieri?
v. Aduce intervenția prin CCP beneficii mai mari decât mijloacele tradiționale de
consiliere vocațională?
vi. Solicită intervenția prin CCP mai puțin efort decât mijloacele tradiționale de
consilere vocațională?
METODE
Studiu pilot.
Înainte de a demara studiul prezent de eficiență, un studiu pilot a fost efectuat pe un
eșantion restrâns de elevi (N=82) și consilieri (N=33) din județul Cluj. Studiul pilot a avut ca
scop testarea designului de cercetare și a procedurilor de lucru, analiza instrumentelor de
evaluare dezvoltate și estimarea timpului de lucru pentru desfășurarea studiului de eficiență
la scală mai largă, precum și planificarea metodelor de prelucrare a datelor și de analiză
statistică care vor fi utilizate ulterior. În urma studiului pilot au fost aduse modificări relevante
în designul de cercetare și conținutul instrumentelor de evaluare, au fost dezvoltate
materiale de instruire a consilierilor implicați în studiu și au fost finalizate procedura de lucru
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
în colectarea datelor și metodele de analiză statistică pentru testarea ipotezelor de
cercetare.
Participanți
Eșantionul de elevi din lotul activ (elevii care au beneficiat de intervenția CCP) este compus
din 2590 elevi din clasele IX-XII din 32 de licee din 18 localități, acoperind patru județe: Bihor
(BH), Bistrița-Năsăud (BN), Cluj (CJ) și Timiș (TM). Liceele au avut clase cu șase profiluri
diferite: artistic, pedagogic, real, tehnologic, teologic și uman.
Clasa IX Clasa X Clasa XI Clasa XII
N 307 460 909 914
% 11.85 17.76 35.1 35.29
Tabel 1. Distribuția elevilor pe clase (N=2590).
BH BN CJ TM
N 1870 61 402 257
% 72.2 2.36 15.52 9.92
Tabel 2. Distribuția elevilor pe județe (N=2590). Localitățile incluse în eșantion (18) sunt: Aleșd (BH),
Beiuș (BH), Borș (BH), Bratca (BH), Marghita (BH), Oradea (BH), Popești (BH), Salonta (BH), Ștei
(BH), Suplacu de Barcău (BH), Vadul Crișului (BH), Bistrița (BN), Năsăud (BN), Cluj-Napoca (CJ),
Buziaș (TM), Gătaia (TM), Giroc (TM), Peciu Nou (TM).
ARTISTIC PEDAGOGIC REAL TEHNOLOGIC TEOLOGIC UMAN
N 60 189 877 712 40 712
% 2.32 7.3 33.86 27.49 1.54 27.49
Tabel 3. Distribuția elevilor în funcție de profilul clasei/liceului (N=2590).
Se poate observa că cei mai mulți elevi provin din clasele XI și XII (împreună reprezintă
70.4% din eșantion). Majoritatea elevilor provin din județul BH (72%). Cei mai mulți elevi
provin din clase cu profil real, uman și tehnologic (88.9% din eșantion), în proporții relativ
egale.
Eșantionul de elevi din lotul de control (elevii care nu au beneficiat de nicio intervenție) este
compus din 148 de elevi din clasele X-XII de la 4 licee din 2 localități din județul CJ. Liceele
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
au avut clase cu două profiluri: real și tehnologic. În tabelul de mai jos sunt prezentate
caracteristicile eșantionului.
Județ Clasă Profil
CJ X XI XII REAL TEHNOLOGIC
N 148 81 45 22 43 105
% 100 54.73 30.41 14.86 29.05 70.95
Tabel 4. Distribuția elevilor din grupul de control (N=148).
Eșantionul de consilieri constă în 44 de consilieri școlari din trei județe în care s-au făcut
intervenții prin CCP: BH (38.6%), CJ (54.5%) și HD (6.8%). Toți consilierii școlari care au
răspuns la chestionarele de eficiență au desfășurat activități de consiliere prin CCP la clase
de elevi, respectând același protocol de intervenție care a fost utilizat în lotul activ de elevi.
Instrumente
Eficiența platformei CCP a fost evaluată prin două instrumente construite și testate în studiul
pilot. Vorbim de Chestionarul de evaluare a eficienței platformei de consiliere și orientare
profesională, în versiunea pentru elevi (CE-E) și versiunea pentru consilieri școlari (CE-CS).
CE-E. Chestionarul pentru elevi are 10 itemi, grupați pe două subscale: subscala de
cunoștințe declarative (itemii 1-4) și subscala de eficiență personală (itemii 6-10). Prima
subscală vizează evaluarea cunoștințelor declarative ale elevilor despre identitatea
vocațională. Cele 4 întrebări cu răspunsuri multiple și un răspuns corect solicită cunoștințele
elevilor despre ce este un profil vocațional, ce sunt interesele vocaționale, ce sunt abilitățile
și valorile legate de muncă, concepte cheie pentru procesul de consiliere în carieră. Itemii
corecți se cotează cu 1 punct, subscala putând avea valori între 0 și 4. Subscala de eficiență
personală în orientarea profesională vizează modul în care elevii își evaluează cunoștințele
despre propriul profil vocațional și despre ce este un profil ocupațional, evaluează măsura în
care elevul cunoaște ocupațiile care i se potrivesc, cât și autoeficacitatea elevilor în privința
deciziilor de carieră. Itemii din această subscală se cotează pe o grilă Likert de la 1 la 7,
scorurile mai mari reflectând un nivel mai ridicat de eficiență personală. Per total, scorurile la
această subscală iau valori între 6 și 42.
CE-CS. Chestionarul pentru consilieri școlari are 8 itemi, care sunt constituiți în două
subscale: valoarea adăugată a utilizării CCP în consiliere versus mijloacele tradiționale
(itemii 1-6) și efortul solicitat de utilizarea CCP versus mijloacele tradiționale (itemii 7-8).
Itemii sunt construiți astfel încât consilierii să compare utilizarea CCP cu mijloacele
tradiționale de consiliere și orientare profesională. Astfel, scorurile minime reflectă lipsa unei
diferențe între CCP și mijloacele tradiționale, iar scorurile maxime reflectă o diferență majoră
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
între cele două metode. Dacă consilierii consideră că platforma CCP este eficientă în munca
lor, ne așteptăm ca la chestionar să observăm scoruri mari pe scala de valoare adăugată și
scoruri mici pe scara de efort.
Design
Pentru testarea eficienței platformei CCP în cazul elevilor s-a utilizat un design bifactorial 2
(condiție) x 2 (timp), cu două eșantionane independente și două măsurători repetate. Cele
două eșantioane sunt: lotul activ (elevi care beneficiază de intervenția de consiliere prin
CCP) și lotul de control (elevi care nu beneficiază de nicio formă de consiliere pe o perioadă
echivalentă cu durata intervenției CCP). Cele două măsurători sunt aplicarea chestionarului
CE-E în pre-test și în post-test, respectiv înainte și după intervenția CCP în lotul activ. În
lotul de control, aceleași măsurători se fac înainte și după startul perioadei de așteptare,
perioadă echivalentă cu durata intervenției CCP.
GRUP Evaluare
pre-test
Intervenție / control
(3-4 săptămâni)
Evaluare
post-test
activ CE-E (I) Consiliere și orientare profesională
prin CCP
CE-E (II)
control CE-E (I) Perioadă de așteptare (nicio
intervenție de consiliere)
CE-E (II)
Tabel 5. Designul de cercetare pentru evaluarea eficienței la elevi.
În cazul consilierilor școlari, evaluarea eficienței se face printr-un design post-hoc cu o
singură măsurătoare, respectiv după încheierea intervenției de consiliere la clase prin CCP
aceștia completează chestionarul CE-CS.
Procedură
Înainte de demararea studiului, toți consilierii școlari implicați în demersul de cercetare au
fost instruiți de coordonatorii studiului, prin training și prin furnizarea unor ghiduri scrise,
despre procedura de lucru cu elevii. Studiul s-a desfășurat în licee. Consilierii școlari au
implicat în studiu elevii cu care își desfășoară în mod normal activitățile, în funcție de orarul
fiecărui liceu. În lotul activ, consilierii școlari au aplicat chestionarele de evaluare pre-test la
clase înainte de a începe orice activitate de consiliere. Elevii au completat chestionarele
folosind un cod format din inițialele numelui lor complet. În continuare, pe parcursul a 3-4
săptămâni elevii au beneficiat de activitățile de consiliere. Intervenția consilierilor
presupunea ghidarea elevilor în platforma CCP, evaluarea elevilor în platformă pentru
identificarea profilului vocațional, descoperirea ocupațiilor potrivite, explorarea profilelor
ocupaționale de interes, apoi consilierea studenților prin oferirea de informații despre
ocupații și pregătirea profesională necesară pentru aceste ocupații. Elevii au avut acces
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
nelimitat la platforma CCP pe parcursul studiului și au beneficiat de minim 4 ore de
consiliere la școală. La finalul perioadei de consiliere, toți elevii au primit încă odată
chestionarul CE-E (în versiune ușor modificată: alternativele de răspuns la întrebările de
cunoștințe au fost reamestecate), pe care l-au completat tot cu un cod format din inițialele
numelui. Tot în această etapă elevii au completat și un chestionar de evaluare a uzabilității
platformei CCP, dar rezultatele de la acest chestionar vor fi descrise în alt studiu. În lotul de
control, consilierii școlari au fost instruiți să aplice chestionarele de evaluare CE-E la mai
multe clase de elevi, la un interval de 3-4 săptămâni, interval echivalent cu durata
intervenției CCP. În acest timp, consilierii școlari nu desfășoară nicio activitate de consiliere
cu acești elevi. Consilierii școlari au fost responsabili de colectarea chestionarelor de la
elevi. Chestionarele erau strânse în plicuri pe clase și livrate prin curier spre coordonatori
pentru a fi introduse în baza de date. Pe parcursul studiului, consilierii nu au fost informați de
rezultatele elevilor la chestionare. După încheierea intervenției în lotul activ, coordonatorii
studiului au distribuit consilierilor școlari chestionarul CE-CS pentru a fi completat.
Analize statistice
Toate datele de la chestionare au fost introduse într-o bază de date electronică în Microsoft
Excel 2007, iar documentele originale au fost scanate în format PDF. Corectitudinea datelor
introduse a fost verificată prin eșantionare de coordonatorii studiului. Tabelele și graficele de
analiză descriptivă au fost realizate în Excel, iar toate testele statistice au fost efectuate în
SPSS 20.
Subscalele chestionarului CE-E (itemii 1-4 și itemii 5-10) au fost analizate separat.
Consistența internă a subscalelor a fost evaluată cu Cronbach alpha. În funcție de distribuția
datelor, teste parametrice (testul t pentru eșantionane dependente) sau neparametrice
(testul de ranguri Wilcoxon) au fost folosite pentru compararea scorurilor pre-test versus
post-test obținute pe cele două subscale. Pragul de semnificație a fost stabilit la p < .05.
Scorurile totale de la subscala de cunoștințe au fost distribuite, conform manualului elaborat
în studiul pilot, în două categorii, împărțind intervalul de valori astfel: cunoștințe scăzute
(valori 0-2) și cunoștințe ridicate (valori 3-4). Testul exact McNemar a fost folosit pentru a
testa dacă există schimbări semnificative pre-test – post-test în ceea ce privește distribuția
scorurilor în aceste categorii. Similar, scorurile totale de la subscala de eficiență au fost
distribuite în trei categorii împărțind intervalul de valori astfel: eficiență scăzută (valori 6-17),
eficiență moderată (valori 18-30) și eficiență ridicată (valori 31-42). Testul exact McNemar a
fost din nou folosit pentru a testa dacă există schimbări semnificative pre-test – post-test.
ANOVA cu măsurători repetate a fost folosită pentru a compara evoluția scorurilor de
eficiență personală în cele două loturi. Au fost evaluate efectele intra-grup, inter-grup și de
interacțiune la pragul .05 de semnificație. Ca analize suplimentare, în lotul activ, ANOVA cu
măsurători repetate a fost folosită pentru a testa diferențele de scoruri pre-test – post-test la
subscala de eficiență, considerând ca factori inter-grup: profilul liceului, județul și clasa.
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
REZULTATE I: EFICIENȚA CCP PENTRU ELEVI
Efectul intervenției CCP la nivelul cunoștințelor declarative (itemii 1-4) în lotul activ
Au fost analizați primii patru itemi din scala CE-E (subscale de cunoștințe declarative) de la
2585 elevi (99.8%) din lotul activ. Nu au fost luate în considerare chestionarele (0.2%) de la
elevii care au lăsat itemi necompletați în pre-test sau post-test. În graficul de mai jos se
poate observa distribuția răspunsurilor corecte la cei patru itemi în pre-test versus post-test.
Figura 1. Distribuția în procente a răspunsurilor corecte date de elevii din lotul activ la subscala de
cunoștințe declarative din chestionarul CE-E (N=2585).
Se observă că există o diferență pozitivă între post-test și pre-test la toți cei patru itemi. Cu
alte cuvinte, mai mulți elevi au răspuns corect la itemii de cunoștințe după utilizarea CCP
(diferențele procentuale sunt: 25.2%, 16.3%, 19% și 12.6%). Pentru a vedea dacă
diferențele în distribuția răspunsurilor corecte și greșite dintre cele două etape de evaluare
sunt semnificative statistic am folosit testul exact McNemar, recomandat pentru eșantioane
dependente. În tabelul de mai jos se poate observa că la fiecare item, diferențele dintre pre-
test și post-test sunt semnificative, în direcția așteptată, respectiv intervenția CCP are un
impact pozitiv semnificativ asupra cunoștințelor declarative evaluate.
43.1 44.3 46.4
56
68.3
60.6
65.4 68.6
0
10
20
30
40
50
60
70
80
ITEM_1 ITEM_2 ITEM_3 ITEM_4
Distribuția răspunsurilor corecte la
subscala de cunoștințe (itemii 1-4)
Pre-test
Post-test
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Nr. item Conținut item Testul McNemar
χ2
p
1 La ce se referă profilul vocațional al unei persoane? 341.225 < .001
2 Ce sunt interesele vocaționale? 153.719 < .001
3 Ce sunt valorile legate de muncă? 204.415 < .001
4 La ce se referă abilitățile unei persoane? 106.596 < .001
Tabel 6. Analiza diferențelor pre-test versus post test la itemii din subscala de cunoștințe din CE-E în
lotul activ de elevi (N=2585).
În continuare am analizat scorurile însumate de la primii patru itemi, respectiv scorul total de
cunoștințe declarative. În tabelul de mai jos sunt trecute datele descriptive ale acestui scor.
Testul de ranguri Wilcoxon a fost utilizat pentru compara diferențele pre-test versus post-
test. Se poate observa că există o diferență semnificativă între cele două etape de evaluare.
Scorul total la subscala de cunoștințe este mai mare în post-test, după intervenția CCP.
N Minim Maxim Medie
Abatere
standard
Mediana Mod
Testul
Wilcoxon
Pre-
test
2585 0 4 1.9 1.215 2
1
(26.9%) Z=20.261,
p < .001Post-
test
2585 0 4 2.63 1.408 3
4
(41.3%)
Tabel 7. Analiza diferențelor pre-test versus post test la scorul total de la subscala de cunoștințe din
CE-E în lotul activ de elevi (N=2585).
Figura 2. Distribuția în procente a scorului total obținut la subscala de cunoștințe declarative din
chestionarul CE-E în lotul activ (N=2585).
13.8
26.9 26.1
22.2
11.110.4
15
16.7 16.6
41.3
0
5
10
15
20
25
30
35
40
45
0 1 2 3 4
Pre-test
Post-test
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
În continuare, am grupat elevii în două categorii pe baza scorurilor totale obținute:
cunoștine scăzute (valori 0-2) și cunoștințe ridicate (valori 3-4). Diferențele în nivelul de
cunoștințe înainte și după utilizarea CCP au fost analizate statistic prin testul McNemar.
Figura 3. Distribuția în procente a elevilor din lotul activ în cele două categorii de performanță la scala
de cunoștințe declarative din chestionarul CE-E (N=2585).
Din nou, se constată diferențe semnificative între pre-test și post test în ceea ce privește
distribuția elevilor în cele două categorii (χ2
=341.716, p< .001). Din tabelul de crostabulare
se observă că 908 elevi (35.12%) au trecut din categoria cunoștințe scăzute în categoria de
cunoștințe ridicate și doar 272 de elevi (10.52%) au trecut înregistrat o trecere în sens opus.
Crostabulare distribuție elevi pe baza scorurilor
de cunoștințe declarative (itemii 1-4)
Testul McNemar
PRE-TEST POST-TEST
χ2
=341.716
p< .001
CUNOȘTINȚE
SCĂZUTE
CUNOȘTINȚE
RIDICATE
CUNOȘTINȚE
SCĂZUTE
821 908
CUNOȘTINȚE
RIDICATE
272 589
Tabel 8. Crostabulare distribuție elevi pe baza scorurilor totale la subscala de cunoștințe declarative
din CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul McNemar (N=2585).
În continuare ne-am uitat dacă efectul pozitiv al intervenției CCP asupra nivelului de
cunoștințe poate fi observat indiferent de profilul clasei din care provin elevii. În tabelul de
mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare profil în parte. Se
66.8
33.2
42.2
57.8
0
10
20
30
40
50
60
70
80
Cunoștințe scăzute
(scor 0-2)
Cunoștințe ridicate
(scor 3-4)
Pre-test
Post-test
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
observă o schimbare pozitivă (o creștere a nivelului de cunoștințe) la 4 din cele 6 profiluri
(96.17% din eșantion): pedagogic, real, tehnologic și uman. Elevii de la 2 profiluri (3.83% din
eșantion) au înregistrat o schimbare negativă (o scădere a nivelului de cunoștințe): artistic și
teologic.
Profilul clasei N
MEDIE
(abatere standard)
Mediana Testul
Wilcoxon
Pre-test Post-test Pre-test Post-test
ARTISTIC 60 2.37 (0.974) 1.93 (1.260) 2 2 Z=2.814
p < 0.01
PEDAGOGIC 189 2.21 (1.265) 2.57 (1.243) 2 3 Z=3.013
p < 0.01
REAL 875 1.95 (1.215) 2.76 (1.379) 2 3 Z=12.653
p < 0.001
TEHNOLOGIC 712 1.59 (1.194) 2.27 (1.428) 1 2 Z=9.868
p < 0.001
TEOLOGIC 39 2.44 (1.231) 1.95 (1.075) 3 2 Z=2.294
p < 0.05
UMAN 710 2 (1.172) 2.95 (1.383) 2 4 Z=13.304
p < 0.001
Tabel 9. Analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din
lotul activ, împărțiți pe baza profilului de învățământ al clasei de proveniență (N=2585).
Am procedat similar pentru a vedea dacă efectul pozitiv al intervenției CCP asupra nivelului
de cunoștințe poate fi identificat indiferent de anul de studiu În tabelul de mai jos sunt
sintetizate diferențele pre-test vs. post-test pentru fiecare clasă în parte. Se observă o
schimbare pozitivă la toate cele 4 clase de liceu incluse în studiu (IX-XII).
Clasa N
MEDIE
(abatere standard)
Mediana Testul
Wilcoxon
Pre-test Post-test Pre-test Post-test
IX 305 1.59 (1.100) 2.22 (1.476) 1 2 Z=5.945
p < 0.001
X 460 1.53 (1.123) 2.40 (1.442) 1 3 Z=10.227
p < 0.001
XI 908 2.07 (1.188) 2.79 (1.380) 2 3 Z=12.204
p < 0.001
XII 890 2.04 (1.266) 2.77 (1.338) 2 3 Z=11.425
p < 0.001
Tabel 10. Analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din
lotul activ, împărțiți pe baza nivelului de studiu al clasei de proveniență (N=2585).
Am continuat cu același demers și în privința județului de proveniență al elevilor. În tabelul
de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare județ în parte. Se
observă o schimbare pozitivă la elevii din 3 din cele 4 județe (97.6% din eșantion): BH, CJ și
TM. Nu s-au observat diferențe semnificative la elevii din județul BN (2.4% din eșantion).
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
JUDEȚ N
MEDIE
(abatere standard)
Mediana Testul
Wilcoxon
Pre-test Post-test Pre-test Post-test
BH 1866 1.78 (1.202) 2.68 (1.374) 2 3 Z=20.705
p < 0.001
BN 61 1.85 (1.123) 1.84 (1.052) 2 2 Z=0.377
p = 0.706
CJ 401 2.54 (1.140) 2.80 (1.319) 3 3 Z=3.732
p < 0.001
TM 257 1.81 (1.124) 2.23 (1.709) 2 3 Z=3.093
p < 0.01
Tabel 11. Analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din
lotul activ, împărțiți pe baza județului de proveniență (N=2585).
Compararea lotului activ cu lotul de control pe scala de cunoștințe declarative
În continuare am analizat scorurile obținute de elevii din lotul de control (N=148) la subscala
de cunoștințe declarative (suma totală a itemilor. În tabelul de mai jos sunt trecute datele
descriptive ale acestui scor. Testul de ranguri Wilcoxon a fost utilizat pentru compara
scorurile din pre-test versus post-test. Spre deosebire de lotul activ, în lotul de control nu
există diferențe semnificative între cele două etape de evaluare (Z= .772, p = .44). Scorul
total la subscala de cunoștințe în post-test, după perioada de așteptare de 3-4 săptămâni,
este echivalent cu cel din pre-test.
N Minim Maxim Medie
Abatere
standard
Mediana Mod
Testul
Wilcoxon
Pre-
test
148 0 4 1.71 1.295 2
1
(27.7%) Z=0.772,
p = .440Post-
test
148 0 4 1.62 1.237 2
1
(32.43%)
Tabel 12. Analiza diferențelor pre-test versus post test la scorul total de la subscala de cunoștințe din
CE-E în lotul de control (N=148).
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 4. Distribuția în procente a scorului total obținut la subscala de cunoștințe declarative din
chestionarul CE-E în lotul de control (N=148).
Analizând scorurile elevilor din lotul de control pe cele două niveluri de cunoștințe (scăzut vs.
ridicat) se constată că există diferențe semnificative între pre-test și post test în ceea ce
privește distribuția elevilor (χ2
=4.694, p< .05). Din tabelul de crostabulare se observă că 11
elevi (7.43%) au trecut din categoria de cunoștințe scăzute în categoria superioară, dar de
două ori mai mulți elevi (25 de elevi, 16.89%) au trecut din categoria de cunoștințe ridicate în
categoria inferioară în lipsa unei intervenții. Din totalul de 148 de elevi din lotul de control, 89
elevi (60.13%) au rămas în categoria de cunoștințe scăzute.
Crostabulare distribuție elevi pe baza scorurilor
de cunoștințe declarative (itemii 1-4)
Testul McNemar
PRE-TEST POST-TEST
χ2
=4.694
p< .05
CUNOȘTINȚE
SCĂZUTE
CUNOȘTINȚE
RIDICATE
CUNOȘTINȚE
SCĂZUTE
89 11
CUNOȘTINȚE
RIDICATE
25 23
Tabel 13. Crostabulare distribuție elevi în lotul de control pe baza scorurilor totale la subscala de
cunoștințe declarative din CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul
McNemar (N=148).
21.62
27.7
18.24
22.97
9.46
19.59
32.43
25
12.16
10.81
0
5
10
15
20
25
30
35
0 1 2 3 4
Pre-test
Post-test
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 5. Distribuția în procente a elevilor din lotul activ în cele două categorii de performanță la scala
de cunoștințe declarative din chestionarul CE-E (N=2585).
Este important de observat că procentul de elevi care în pre-test înregistrează un nivel
scăzut de cunoștințe este echivalent în cele două loturi (activ: 66.8 vs control: 67.6%), dar în
lotul activ doar 31.76% dintre aceștia au rămas în categoria de cunoștințe scăzute în urma
intervenției CCP. În schimb, în lotul de control, aproape de două ori mai mulți elevi (60.13%)
au rămas în această categorie. De asemenea, în lipsa intervenției de consiliere, doar 7.43%
din elevi au trecut din categoria de cunoștințe scăzute în categoria superioară, pe când în
lotul activ 35.12% (aproape de 5 ori mai mulți elevi) au înregistrat acest progres.
Folosind testul U Mann-Whitney pentru eșantioane independente am comparat direct
performanța elevilor din cele două loturi pe scala de cunoștințe declarative. Se poate
observa din tabelul de mai jos că nu sunt diferențe semnificative între grupuri în pre-test, dar
în post-test există diferențe semnificative, elevii din lotul activ având scoruri mai mari.
LOT N
Medie (abatere
standard)
Mediana
Testul U Mann-
Withney
Pre-test Post-test Pre-test Post-test Pre-test
Post-test
***
control 148
1.71
(1.295)
1.62
(1.237)
2 2
Z=1.839,
p = .066
Z=8.535,
p < .001
activ 2585
1.9
(1.215)
2.63
(1.408)
2 3
Tabel 14. Compararea scorurilor de la subscala de cunoștințe declarative între cele două loturi de
elevi.
67.6
32.4
77
23
0
10
20
30
40
50
60
70
80
90
Cunoștințe scăzute
(scor 0-2)
Cunoștințe ridicate
(scor 3-4)
Pre-test
Post-test
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Evoluția diferențială a scorurilor de la scala de cunoștințe declarative în cele două loturi
poate fi observată clar în graficul de mai jos.
Figura 6. Evoluția scorurilor de cunoștințe declarative în cele două loturi de elevi. (*** p < .001)
Efectul intervenției CCP la nivelul eficienței personale (itemii 5-10) în lotul activ
Înainte de a testa efectul intervenției CCP, am analizat proprietățile subscalei de eficiență
personală (itemii 5-10). Consistența internă a scalei este foarte bună (Cronbach alpha =
.871 în pre-test și .890 în post-test) și nu a fost identificat niciun item care, prin eliminarea
sa, ar putea crește valoarea Cronbach alpha. Intercorelațiile dintre itemi (Pearson r) sunt
prezentate în tabelele de mai jos. Se poate observa că toți itemii corelează semnificativ (p <
.001) atât în pre-test, cât și în post-test.
5 6 7 8 9 10
Item 5 .
Item 6 .647 ** .
Item 7 .580 ** .592 ** .
Item 8 .600 ** .542 ** .538 ** .
Item 9 .519 ** .529 ** .477 ** .575 ** .
Item 10 .506 ** .469 ** .538 ** .478 ** .380** .
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Tabel 15. Intercorelații itemi din scala de eficiență personală CE-E, efectuate pe baza măsurătorilor
pre-test din lotul activ (N=2590).
5 6 7 8 9 10
Item 5 .
Item 6 .682 ** .
Item 7 .602 ** .597 ** .
Item 8 .645 ** .608 ** .564 ** .
Item 9 .595 ** .595 ** .525 ** .656 ** .
Item 10 .520 ** .520 ** .517 ** .513 ** .491** .
Tabel 16. Intercorelații itemi din scala de eficiență personală CE-E, efectuate pe baza măsurătorilor
post-test din lotul active (N=2590).
În tabelul de mai jos prezentăm statisticile descriptive pentru toți itemii subscalei, iar apoi
semnificația diferențelor pre-test versus post-test prin testul Wilcoxon.
N Minim Maxim Medie Abatere
standard
Mediana Mod
Item 5 Pre-test 2585 1 7 4.46 1.537 4 4
Post-
test
2584 1 7 5.41 1.250 6 6
Item 6 Pre-test 2584 1 7 4.45 1.558 5 5
Post-
test
2583 1 7 5.40 1.226 6 6
Item 7 Pre-test 2582 1 7 4.99 1.481 5 5
Post-
test
2584 1 7 5.62 1.220 6 6
Item 8 Pre-test 2579 1 7 4.42 1.641 4 4
Post-
test
2583 1 7 5.44 1.308 6 6
Item 9 Pre-test 2583 1 7 3.78 1.550 4 4
Post-
test
2582 1 7 514 1.364 5 6
Item
10
Pre-test 2585 1 7 5.23 1.584 6 6
Post-
test
2577 1 7 5.91 1.199 6 7
Tabel 17 Statistică descriptivă pentru scorurile obținute de elevii din lotul activ la fiecare item din
scala de eficiență personală CE-E.
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Nr. item Conținut item Testul Wilcoxon
Z p
5 Cât de bine îți cunoști interesele vocaționale? 26.628 < .001
6 Cât de bine îți cunoști valorile legate de muncă? 25.705 < .001
7 Cât de bine îți cunoști abilitățile? 18.709 < .001
8 Cât de bine cunoști care ocupații se potrivesc cu profilul
tău vocațional?
25.314 < .001
9 Cât de bine cunoști care sunt elementele unui profil
ocupațional?
31.366 < .001
10 Cât de încrezător/încrezătoare ești că vei alege în viitor o
ocupație potrivită pentru tine?
19.604 < .001
Tabel 18. Analiza diferențelor pre-test vs post-test în lotul activ pentru fiecare item din scala de
eficiență personală CE-E.
Mai departe am continuat prin analiza scorurilor totale de la subscala de eficiență personală
din pre-test și post-test, obținute prin însumarea itemilor 5-10.
N Min Max Medie Abatere standard Mediana Mod
Pre-test 2586 6 42 27.29 7.300 28 27
Post-test 2585 10 42 32.89 6.097 34 36
Tabel 19. Statistică descriptivă pentru scorul total pre-test și post-test în lotul activ la scala de
eficiență personală CE-E.
Pentru a vedea dacă există diferențe semnificative statistic între pre-test și post-test, am
folosit testul nonparametric Wilcoxon. Rezultatul obținut (Z= 32.315, p <.001) arată că există
diferențe semnificative între pretest și post-test în ceea ce privește nivelul de eficiență
personală al elevilor. Mărimea efectului poate fi calculată prin formula r = Z/√N, ceea ce
result un efect mediu (r= .635). Același rezultat a fost obținut însă și prin testul parametric t
pentru eșantioane dependente [ t(2580)= 36.668, p < .001 ]. Cu alte cuvinte, în urma
intervenției prin CCP elevii raportează un nivel mai ridicat de eficiență personală în ceea ce
privește orientarea lor în carieră. Mărimea efectului poate fi calculată prin Cohen d, ajustat
pentru eșantioane dependente în funcție de corelația dintre măsurători (r= .343, p < .001),
ceea ce înseamnă d= .729, respectiv un efect mediu-ridicat.
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 7. Diferența pre-test versus post-test la scorul total de eficiență personală CE-E (N=2585).***
p < .001
O a doua metodă de a compara etapele pre-test și post-test a fost prin distribuirea elevilor în
trei categorii de eficiență personală, pe baza scorurilor de la itemii subscalei. Categoriile au
fost stabilite a priori, împărțind plaja de răspunsuri posibile între minimul și maximul scalei în
trei intervale egale: eficiență scăzută (interval 6-17), eficiență moderată (interval 18-30) și
eficiență ridicată (interval 31-42). Din graficul de mai jos se poate observa clar că în pre-test
majoritatea elevilor (52.4%) este întrunită în categoria de eficiență medie. În contrast, în
post-test, majoritatea elevilor (68.7%) este întrunită în categoria de eficiență ridicată.
Figura 8. Distribuția elevilor din lotul activ în cele trei categorii de eficiență personală definite pe baza
scorurilor totale obținute în pre-test și post-test (N=2585).
27.29
32.89
10
15
20
25
30
35
40
Pre-test Post-test
Scor total eficiență personală
(itemii 5-10)
11.5
52.4
36.1
2
29.2
68.7
0
10
20
30
40
50
60
70
80
Eficiență scăzută
(scor 6-17)
Eficiență moderată
(scor 18-30)
Eficiență ridicată
(scor 31-42)
Pre-test
Post-test
***
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
În pasul următor, testul neparametric McNemar a fost utilizat pentru a compara diferențele
pre-test versus post-test în ceea ce privește distribuția procentelor de elevi în categoriile de
eficiență moderată și ridicată. Rezultatul testului indică o diferență este semnificativă statistic
(χ2
=341.716, p< .001). În tabelul de crostabulare de mai jos se poate observa că 774 de
elevi (34.05%) au trecut din categoria de eficiență moderată (pre-test) în categoria de
eficiență ridicată (post-test). În contrast, doar 100 de elevi (4.39%) au evoluat în direcția
opusă.
Crostabulare distribuție elevi pe baza scorurilor
de eficiență personală (itemii 5-10)
Testul McNemar
PRE-TEST POST-TEST
χ2
=518.225
p< .001
EFICIENȚĂ
MODERATĂ
EFICIENȚĂ
RIDICATĂ
EFICIENȚĂ
MODERATĂ
567 774
EFICIENȚĂ
RIDICATĂ
100 832
Tabel 20. Crostabulare distribuție elevi pe baza scorurilor totale la subscala de eficiență personală din
CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul McNemar(N=2585).
În continuare ne-am uitat dacă efectul pozitiv al intervenției CCP asupra nivelului de eficiență
personală a fost înregistrat la elevii de la fiecare dintre cele 6 profiluri incluse. În tabelul de
mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare profil în parte. Se
observă o schimbare pozitivă (o creștere a nivelului de eficiență personală) la toate cele 6
profiluri din eșantion.
Profilul clasei N
MEDIE
(abatere standard)
Mediana Testul
Wilcoxon
Pre-test Post-test Pre-test Post-test
ARTISTIC 60 29.25
(5.210)
31.13
(5.404)
29 32 Z=5.422
p < 0.001
PEDAGOGIC 189 29.20
(7.891)
33.13
(5.849)
30 34 Z=5.794
p < 0.001
REAL 876 25.77
(7.413)
32.59
(6.273)
26 34 Z=20.637
p < 0.001
TEHNOLOGIC 707 27.74
(7.134)
33.18
(6.322)
28 34 Z=17.355
p < 0.001
TEOLOGIC 40 25.83
(7.038)
27.90
(6.771)
24.5 26 Z=2.869
p < 0.01
UMAN 710 28.11
(6.992)
33.25
(5.586)
28 34 Z=16.315
p < 0.001
Tabel 21. Subscala de eficiență personală: analiza pe subgrupuri a diferențelor pre-test vs.post-test
prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza profilului de învățământ al clasei de
proveniență (N=2582).
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Am procedat similar pentru a vedea dacă efectul pozitiv al intervenției CCP asupra nivelului
de eficiență personală poate fi identificat indiferent la toți anii de studiu În tabelul de mai jos
sunt sintetizate diferențele pre-test vs. post-test pentru fiecare clasă în parte. Se observă o
schimbare pozitivă la toate cele 4 clase de liceu incluse în studiu (IX-XII).
Clasa N
MEDIE
(abatere standard)
Mediana Testul
Wilcoxon
Pre-test Post-test Pre-test Post-test
IX 305 26.62 (7.695) 32.30 (6.772) 27 34 Z=10.469
p < 0.001
X 460 27.03 (7.098) 32.85 (6.265) 28 34 Z=14.384
p < 0.001
XI 905 27.11 (6.950) 32.42 (5.684) 27 33 Z=19.775
p < 0.001
XII 889 27.78 (7.620) 33.63 (6.118) 29 35 Z=18.362
p < 0.001
Tabel 22. Subscala de eficiență personală: analiza pe subgrupuri a diferențelor pre-test vs.post-test
prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza anului de studiu al clasei de proveniență
(N=2559).
Am continuat cu același demers și în privința județului de proveniență al elevilor. În tabelul
de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare județ în parte. Se
observă o schimbare pozitivă la elevii din toate cele 4 județe.
JUDEȚ N
MEDIE
(abatere standard)
Mediana Testul
Wilcoxon
Pre-test Post-test Pre-test Post-test
BH 1861 27.44 (7.578) 33.37 (6.050) 28 34 Z=26.748
p < 0.001
BN 61 24.70 (6.591) 29.98 (7.549) 24 32 Z=6.085
p < 0.001
CJ 402 27.31 (5.829) 31.18 (5.437) 27 32 Z=13.712
p < 0.001
TM 257 26.76 (7.373) 32.79 (6.389) 27 34 Z=10.986
p < 0.001
Tabel 23. Subscala de eficiență personală: analiza pe subgrupuri a diferențelor pre-test vs.post-test
prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza județului de proveniență (N=2581).
Utilizând ANOVA pentru măsurători repetate am comparat în mod direct dacă există
diferențe semnificative în evoluția elevilor din sub-grupurile menționate mai sus. Nu au fost
identificate diferențe semnificative între grupuri în ceea ce privește clasa din care provin
elevii [ F(3, 2555)=26.140, p = .868 ], dar au fost diferențe semnificative pentru județul de
proveniență [ F(3, 2555)=247.180, p < .001 ] și profilul clasei [ F(5, 2553)=290.140, p < .001
]. Graficele de mai jos prezintă evoluția scorurilor de eficiență la sub-grupurile de elevi.
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 9. Evoluția scorurilor de eficiență personală în cele 4 subgrupuri de elevi din lotul activ definite
pe baza clasei de proveniență (N=2577).
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 10. Evoluția scorurilor de eficiență personală în cele 4 subgrupuri de elevi din lotul activ
definite pe baza județului de proveniență (N=2577).
Figura 11. Evoluția scorurilor de eficiență personală în cele 4 subgrupuri de elevi din lotul activ
definite pe baza profilului clasei de proveniență (N=2577).
Un aspect important al intervenției CCP vizează creșterea sentimentului de autoeficacitate la
elevi în ceea ce privește alegerea unei ocupații potrivite. Per ansamblu, am observat deja că
prin utilizarea CCP scorurile de autoeficacitate (itemul 10 din chestionarul CE-E) cresc
semnificativ în lotul activ. O atenție deosebită trebuie însă acordată elevilor din clasa a XII,
cei care sunt cel mai aproape de luarea unei decizii majore de carieră, respectiv finalizarea
studiilor liceale, parcurgerea examenului de bacalaureat și continuarea cu alte programe de
învățământ superior, de formare profesională sau angajarea într-o anumită ocupație. Prin
urmare, în continuare am analizat scorurile din sub-eșantionul de elevi din clasa a XII
(N=890) la itemul de autoeficacitate. Se poate vedea în graficul de mai jos că există o
diferență considerabilă în distribuția scorurilor în pre-test versus post-test. În primul rând,
dacă în pre-test 16.8% din elevi raportau un nivel scăzut de autoeficacitate (scoruri 1-3),
doar 5.7% raportează un nivel scăzut în post-test. La polul opus, dacă 23% din elevi
raportează un nivel foarte ridicat de autoeficacitate în pre-test, 43% raportează același nivel
de autoeficacitate în post-test.
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 12. Distribuția în procente a scorurilor de autoeficacitate în luarea deciziilor (itemul 10 CE-E)
în lotul activ de elevi (N=890).
Compararea lotului activ cu lotul de control pe scala de eficiență personală
Scala de eficiență personală (itemii 5-10) înregistrează o consistență internă foarte ridicată și
în lotul de control (Cronbach alpha = .824 în pre-test și .847 în post-test) și nu a fost
identificat niciun item care, prin eliminarea sa, ar putea crește valoarea Cronbach alpha. În
continuare prezentăm un tabel de statistică descriptivă a scorului total de la această
subscală.
N Minim Maxim Medie Abatere
standard
Mediana Mod
Pre-test 148 11 42 28.73 6.285 29 32
Post-test 148 9 42 28.45 6.697 28 28
Tabel 24. Statistică descriptivă pentru scorul total pre-test și post-test în lotul de control la scala de
eficiență personală CE-E.
Se poate observa din tabel că valorile pre-test și post-test nu diferă foarte mult. Am folosit
din nou testul nonparametric Wilcoxon pentru a vedea dacă există diferențe semnificative
statistic între cele două etape. Rezultatul obținut (Z= 0.675, p =.500) confirmă faptul că nu s-
au înregistrat diferențe semnificative între pretest și post-test în ceea ce privește nivelul de
3.7
5.5
7.6
11.7
20.2
28
23.3
0.3 1
4.4
6.3
15.4
29.1
43.5
0
5
10
15
20
25
30
35
40
45
50
1 2 3 4 5 6 7
Autoeficacitate în alegerea ocupației
potrivite (elevi clasa XII, N=890)
Pre-test
Post-test
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
eficiență personală al elevilor în lotul de control. Același rezultat a fost surprins folosind și
prin testul parametric t pentru eșantioane dependente [ t(147)= 0.860, p = .391 ]. Rezultatele
sunt diferite de cele obținute în lotul activ, unde s-a înregistrat o creștere semnificativă, cu o
mărime medie a efectului, în scorurile de eficiență personală.
Figura 13. Diferența pre-test versus post-test la scorul total de eficiență personală CE-E în lotul de
control (N=148).
Pentru a compara direct evoluția scorurilor de eficiență personală la elevii din cele două
loturi, am utilizat ANOVA cu măsurători repetate: 2 (timp: pre-test vs post-test) x 2 (condiție:
activ vs control). Rezultatele sunt sumarizate în graficul de mai jos. Există un efect
semnificativ al timpului [F(1,2727) = 68.616, p < .001 ], dar se poate observa pe grafic și din
tabelele de statistică descriptivă prezentate mai sus că acest efect este explicat de evoluția
pozitivă a lotului activ și nu de o schimbare semnificativă în lotul de control. Într-adevăr, se
înregistrează și un efect semnificativ timp x condiție [ F(1,2727) = 83.680, p < .001 ] ceea ce
confirmă că evoluția scorurilor în cele două loturi este semnificativ diferită. În mod interesant,
în pre-test se constată diferențe în scorurile de eficiență personală între cele două loturi [
t(170.517)= 2.691, p < .01 ], elevii din lotul activ având per ansamblu scoruri mai scăzute
decât elevii din grupul de control. După intervenția CCP, situația se schimbă, astfel în post-
test elevii din lotul activ înregistrează scoruri mai mari de eficiență personală decât elevii din
lotul de control [t(2728)= 35.755, p < .001 ], cu o diferență medie de 4.44 de puncte.
28.73 28.45
10
15
20
25
30
Pre-test Post-test
Lot control: Scor total eficiență
personală (itemii 5-10)
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 14. Evoluția diferită în cele două loturi de elevi a scorurilor de eficiență personală (** p < .01,
*** p < .001).
Am analizat evoluția scorurilor în lotul de control și prin metoda distribuirii elevilor în trei
categorii de eficiență personală, pe baza scorurilor de la itemii subscalei. Se poate observa
în graficul de mai jos că în lotul de control, ca și în cel activ, majoritatea elevilor este întrunită
în categoria de eficiență moderată. În post-test însă majoritatea elevilor din lotul activ este
întrunită în categoria de eficiență ridicată, pe când în lotul de control situația rămâne aceeași
ca în pre-test.
5.4
56.8
37.8
7.4
52
40.5
0
10
20
30
40
50
60
Eficiență scăzută
(scor 6-17)
Eficiență moderată
(scor 18-30)
Eficiență ridicată
(scor 31-42)
Pre-test
Post-test
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Figura 15. Distribuția elevilor din lotul de control în cele trei categorii de eficiență personală definite
pe baza scorurilor totale obținute în pre-test și post-test (N=148).
Testul neparametric McNemar a fost utilizat din nou pentru a compara diferențele pre-test
versus post-test în ceea ce privește distribuția procentelor de elevi în categoriile de eficiență
moderată și ridicată. Rezultatul testului indică absența unei diferențe semnificative (χ2
=
0.346, p= .556). Se poate observa că 15 elevi (10.13%) din grupul de control au trecut din
categoria de eficiență moderată în categoria superioară în urma perioadei de așteptare. În
lotul activ însă 34.05% din elevi au înregistrat această creștere. În sens invers, 11 elevi
(7.43%) din lotul de control au trecut din categoria de eficiență ridicată în categoria
inferioară. În lotul activ, doar 4.39% au înregistrat această scădere.
Crostabulare distribuție elevi pe baza scorurilor
de eficiență personală (itemii 5-10)
Testul McNemar
PRE-TEST POST-TEST
χ2
=0.346
p = .556
EFICIENȚĂ
MODERATĂ
EFICIENȚĂ
RIDICATĂ
EFICIENȚĂ
MODERATĂ
65 15
EFICIENȚĂ
RIDICATĂ
11 45
Tabel 25. Crostabulare distribuție elevi pe baza scorurilor totale la subscala de eficiență personală din
CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul McNemar (N=148).
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
REZULTATE II: EFICIENȚA CCP PENTRU CONSILIERI ȘCOLARI
Compararea CCP cu mijloacele tradiționale: scala de valoare adăugată (itemii 1-6)
Consistența internă a scalei de valoare adăugată (itemii 1-6) este foarte ridicată (Cronbach
alpha = .898). Intercorelațiile dintre itemi sunt prezentate în tabelul de mai jos. Toate valorile
p sunt semnificative la pragul .05 sau .01.
1 2 3 4 5 6
Item 1 .
Item 2 .595 ** .
Item 3 .885 ** .486 ** .
Item 4 .702 ** .333 * .747 ** .
Item 5 .514 ** .349 * .395 ** .353 * .
Item 6 .885 ** .477* .853 ** .804 ** .510 ** .
Tabel 26. Intercorelații itemi din scala de valoare adăugată CE-CS (N=44).
În tabelul de mai jos prezentăm statisticile descriptive pentru toți itemii subscalei, precum și
pentru scorul global de valoare adăugată. Dat fiind că întrebările din itemi sunt adresate în
comparație cu mijloacele tradiționale de consiliere, valorile mai mari la itemi reflectă un plus
de valoare a utilizării CCP în intervențiile de consiliere.
Conținut item: COMPARATIV CU
MIJLOACELE TRADIȚIONALE...
Min Max Medie SD Mediana Mod
5. Cât de mult v-a ajutat CCP în
identificarea intereselor vocaționale la
elevii cu care lucrați?
3 5 4.73 .544 5 5
2. Cât de mult v-a ajutat CCP în
identificarea valorilor legate de muncă la
elevii cu care lucrați?
3 5 4.66 .568 5 5
3. Cât de mult v-a ajutat CCP în
identificarea abilităților la elevii cu care
lucrați?
3 5 4.7 .553 5 5
4. Cât de mult v-a ajutat CCP în
identificarea ocupațiilor care se potrivesc
cu profilul vocațional al elevilor cu care
lucrați?
3 5 4.77 .565 5 5
5. Cât de mult v-a ajutat CCP în
gestionarea datelor elevilor cu care
lucrați?
3 5 4.8 .462 5 5
6. Per ansamblu, cât de mult v-a ajutat 3 5 4.8 .509 5 5
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
CCP în consilierea vocațională a elevilor
cu care lucrați?
SCOR TOTAL: VALOARE ADĂUGATĂ
CCP
19 30 28.45 2.610 30 30
Tabel 27. Statistică descriptivă pentru cei 6 itemi și scorul total din scala de valoare adăugată a
utilizării CCP în consilierea vocațională comparativ cu mijloacele tradiționale de consiliere (N=44).
Se poate observa foarte clar din tabelul de mai sus că marea majoritate a consilierilor școlari
au considerat că CCP aduce o valoare adăugată foarte mare față de mijloacele tradiționale
de consiliere. Mediana și modul răspunsurilor de la fiecare item se suprapun peste valoarea
maximă a scalei (adică valoarea 5 = “foarte mult”).
Figura 16. Distribuția consilierilor în trei categorii în funcție de scorurile de la scala de valoare
adăugată din CE-CS (N=44).
Un alt mod de a privi aceste rezultate este prin distribuirea consilierilor în funcție de scorul
obținut împărțind plaja de valori în trei intervale, reprezentând nivelul de valoare adăugată al
intervenției prin CCP: valoare adăugată scăzută (scoruri 5-11), moderată (12-23) și ridicată
(24-30). Se poate observa în graficul de mai sus că 95.5% din consilierii școlari se întrunesc
în categoria valoare adăugată ridicată, 4.5% în categoria intermediară și 0% în categoria
inferioară (lipsa de valoare adăugată față de metodele tradiționale).
Compararea CCP cu mijloacele tradiționale: scala de efort solicitat (itemii 7-8)
Scala de efort solicitat pentru realizarea activităților de consiliere constă în doi itemi, primul
care evaluează efortul solicitat de mijloacele tradiționale, iar al doilea vizează efortul solicitat
de utilizarea CCP. Scorul total la această subscală se obține împărțind primul item la al
doilea, obținându-se astfel un index al efortului solicitat de CCP în raport cu mijloacele
tradiționale, valorile maxime reflectând un efort mai mare solicitat de mijloacele tradiționale.
0 4.5
95.5
0
20
40
60
80
100
120
Scăzută (scor 5-11) Moderată (scor 12-23) Ridicată (scor 24-30)
Valoarea adăugată a utilizării CCP (față de mijloacele
tradiționale) în consilierea elevilor (N=44)
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
În tabelul de mai jos sunt prezentate statisticile descriptive ale celor doi itemi, precum și a
indexului de efort.
Conținut item Min Max Medie SD Mediana Mod
7. Cât de mult efort vă solicită efectuarea
activităților de consiliere vocațională prin
utilizarea mijloacelor tradiționale?
1 7 5.77 1.612 6.5 7
8. Cât de mult efort vă solicită efectuarea
activităților de consiliere vocațională prin
utilizarea platformei CCP?
1 6 1.98 1.267 2 1
SCOR TOTAL: INDEX EFORT
SOLICITAT
.33 7 4.13 2.610 2.503 7
Tabel 28. Statistică descriptivă pentru cei 2 itemi din scala de efort solicitat și indexul de efort al
utilizării mijloacelor tradiționale versus CCP (N=44).
Se poate observa din tabel că CCP înregistrează un scor mai mic pe itemul de efort
(M=1.98) decât mijloacele tradiționale (M=5.77), diferență statistică semnificativă conform
rezultatului de la testul Wilcoxon (Z= 5.401, p < .001). De asemenea, se poate observa că
indexul de efort are o valoare medie de 4.13, adică efortul solicitat de mijloacele tradiționale
în consilierea elevilor este de 4 ori mai mare decât efortul solicitat de utilizarea CCP.
Luând la un loc rezultatele de pe cele două scale, faptul că CCP aduce o valoare adăugată
ridicată față de mijloacele tradiționale și că efortul solicitat de CCP este de 4 ori mai mic față
de acestea, putem conchide că utilizarea CCP este foarte eficientă pentru consilierii școlari.
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
DISCUȚII
Elevii din lotul activ au înregistrat o evoluție pozitivă semnificativă în urma întervenției de
consiliere și orientare profesională prin platforma CCP. Beneficiile obținute de acești elevi
pot fi observate atât la nivelul cunoștințelor despre identitatea vocațională, precum și la
nivelul eficienței personale cu privire la orientarea profesională. În contrast, elevii din lotul de
control nu au înregistrat nicio îmbunătățire în scorurile de la cele două subscale.
Cunoștințele despre identitatea vocațională sunt importante pentru autonomia elevilor în
orientarea lor profesională. Elevii trebuie să cunoască elementele identității vocaționale și să
înțeleagă motivația pentru care sunt îndemnați să își descopere propriul profil vocațional.
Rezultatele studiului de față arată că intervenția prin CCP ajută elevii să cunoască mai bine
conceptele cheie ale procesului de orientare în carieră, respectiv: ce este un profil
vocațional, ce sunt interesele, ce sunt abilitățile și ce sunt valorile legate de muncă. La finalul
intervenției, 41.3% din elevi au răspuns corect la toate cele patru întrebări de cunoștințe și
35% din elevi au promovat de la un nivel scăzut de cunoștințe la un nivel ridicat. Rezultatele
sunt încurajatoare cu atât mai mult cu cât această evoluție pozitivă a fost înregistrată la toate
cele patru clase de studiu (IX-XII), la elevi din 4 profiluri de învățământ (real, uman,
tehnologic și pedagogic – cuprinzând 96.17% din eșantion) și din 3 județe (BH, CJ și TM -
97.6% din eșantion). Această evoluție pozitivă a fost înregistrată nu doar la subscala de
cunoștințe per ansamblu, ci la fiecare item în parte. Prin urmare, putem afirma că utilizarea
CCP este eficientă pentru ca elevii să învețe conceptele cheie din procesul de consiliere
profesională.
Elevii au însă nevoie mai mult decât cunoștințe teoretice despre obiectivele și conceptele din
consilierea vocațională. Considerăm eficientă o intervenție de consiliere atunci când elevul
își cunoaște propriul profil vocațional, ocupațiile care i se potrivesc și are încredere că poate
să aleagă în continuare drumul spre o ocupație potrivită. Evoluția elevilor din lotul activ
înregistrată pe subscala de eficiență personală arată foarte clar beneficiile intervenției prin
CCP. Dacă în pre-test majoritatea elevilor este întrunită în categoria de eficiență medie, în
post-test, majoritatea elevilor (68.7%) este întrunită în categoria de eficiență ridicată. Mai
exact, 34% din elevi au trecut în categoria de eficiență ridicată în urma intervenției CCP. Per
ansamblu, intervenția CCP are un efect pozitiv mediu spre ridicat, iar îmbunătățirea
scorurilor poate fi observată pe toți itemii subscalei, la toate clasele de elevi (IX-XII), din
toate cele șase profiluri de învățământ (artistic, pedagogic, real, tehnologic, teologic și
uman), din toate cele patru județe (BH, BN, CJ și TM). Cu alte cuvinte, elevii din toate
subgrupurile acestui eșantion au raportat o cunoaștere mai bună a propriului profil
vocațional, a ocupațiilor care li se potrivesc, a elementelor importante dintr-un profil
ocupațional, precum și un nivel mai ridicat de autoeficacitate în luarea deciziilor de carieră.
O atenție specială trebuie acordată studenților din clasa a XII, cei care sunt pe cale de a lua
o decizie majoră de carieră, privind continuarea drumului după finalizarea studiilor liceale.
Privind scorurile raportate de acești elevi (35.29% din eșantion) la itemul de autoeficacitate
observăm că în urma intervenției CCP aproximativ de 3 ori mai puțini elevi raportează
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
niveluri scăzute și aproximativ de 2 ori mai mulți elevi raportează un nivel foarte ridicat de
autoeficacitate.
Consilierii școlari au apreciat de asemenea utilitatea CCP în activitatea lor. Comparativ cu
mijloacele tradiționale, 95% din consilierii școlari au raportat că CCP aduce o valoare
adăugată ridicată, care constă în o mai bună evaluare a profilului vocațional al elevului, o
identificare mai bună a ocupațiilor potrivite, precum și o gestionare mai ușoară a datelor
colectate de la elevi. Consilierii școlari au apreciat totodată că efortul solicitat de utilizarea
CCP în consilerea elevilor este în medie de 4 ori mai mic (38.6% au raportat de 7 ori mai
mic) decât efortul solicitat de mijloacele tradiționale. Luând aceste rezultate împreună, o
valoare adăugată ridicată și un efort redus, reflectă o eficiență crescută a platformei CCP în
practica consilierilor școlari.
Concluzii
Intervenția de consiliere și orientare profesională prin intermediul platformei CCP este
eficientă pentru atât pentru dezvoltarea cunoștințelor teoretice ale elevilor despre elementele
importante ale procesului de consiliere, cât și pentru, mai important, dezvoltarea identității
vocaționale, cunoașterea ocupațiilor potrivite și dezvoltarea autoeficacității în luarea
deciziilor de carieră. Eficiența intervenției prin CCP poate fi observată în toate categoriile
elevi studiate, respectiv elevi din toate clasele de liceu, de la șase profiluri de învățământ,
acoperind patru județe. Luând în considerarea mărimea și diversitatea eșantionului de elevi
studiat, ne așteptăm ca aceleași rezultate pozitive să fie observate și într-o populație exinsă
de elevi, la nivel național. Eficiența platformei CCP se reflectă de asemenea în practica
consilierilor școlari, aceștia obținând o mai bună evaluare a profilului vocațional al elevilor, o
identificare mai acurată a ocupațiilor potrivite și o gestionare mai ușoară a datelor elevilor,
toate cu un efort mai redus față de mijloacele tradiționale.
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
BIBLIOGRAFIE
Albu, M. (1998). Construirea și utilizarea testelor psihologice. Cluj-Napoca: Editura Clusium.
Sava, F. A. (2011). Analiza datelor în cercetarea psihologică (Ediția a doua). Cluj-Napoca:
Editura ASCR.
ANEXE
Anexa 1. Chestionar privind eficiența platformelor multiuser online de consiliere profesională
– scala CE-E (10 itemi) – pentru elevi.
Anexa 2. Chestionar privind eficiența platformelor multiuser online de consiliere profesională
– scala CE-CS (8 itemi) – pentru consilieri școlari
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
ANEXA 1. Chestionar privind eficiența platformelor multiuser online de consiliere
profesională – scala CE-E-I (10 itemi) – pentru elevi
Instrucțiuni. Citește cu atenție enunțurile de mai jos și alege pentru fiecare întrebare un
singur răspuns dintre alternativele a,b,c și d.
1. La ce se referă profilul vocațional al unei persoane?
A. un curriculum vitae (CV) cu traseul educațional și profesional;
B. listă cu locurile de muncă ideale pe care și le dorește o persoană;
C. totalitatea ocupațiilor în care o persoană s-ar descurca bine;
D. acele interese, valori și abilități care caracterizează o persoană;
2. Ce sunt interesele vocaționale?
A. orice stârnește curiozitatea unei persoane;
B. preferințele stabile ale unei persoane pentru anumite tipuri de activități;
C. totalitatea cunoștintelor pe care le are o persoană despre un domeniu de activitate;
D. locurile de muncă pe care și le dorește o persoană;
3. Ce sunt valorile legate de muncă?
A. se referă la rata de salarizare pe care o are un anumit loc de muncă;
B. totalitatea rezultatelor pozitive pe care le-a obținut o persoană în munca sa;
C. principiile dupa care o persoană stabilește ce este important în munca sa și care o
motivează să lucreze;
D. lucrurile importante pe care trebuie să le respecte un angajat la un anumit loc de
muncă;
4. La ce se referă abilitățile unei persoane?
A. totalitatea cunoștințelor pe care le-a dobândit cineva prin educație;
B. capacitatea unei persoane de a se adapta la orice loc de muncă;
C. totalitatea materiilor școlare la care o persoană a luat note mari;
D. capacitățile unei persoane de a realiza anumite tipuri de activități;
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Instrucțiuni. În continuare, răspunde la întrebările de mai jos alegând un număr între 1 și 7.
Alege numărul care descrie cel mai bine răspunsul tău în raport cu scala de la fiecare
întrebare.
Te rugăm să răspunzi la aceste întrebări gândindu-te la cât de bine te cunoști în acest
moment.
1. Cât de bine îți cunoști interesele vocaționale?
1 2 3 4 5 6 7
deloc
foarte
bine
2. Cât de bine îți cunoști valorile legate de muncă?
1 2 3 4 5 6 7
deloc
foarte
bine
3. Cât de bine îți cunoști abilitățile?
1 2 3 4 5 6 7
deloc
foarte
bine
4. Cât de bine cunoști care ocupații se potrivesc cu profilul tău vocațional?
1 2 3 4 5 6 7
deloc
foarte
bine
5. Cât de bine cunoști care sunt elementele unui profil ocupațional?
1 2 3 4 5 6 7
deloc
foarte
bine
6. Cât de încrezător/încrezătoare ești că vei alege în viitor o ocupație potrivită pentru
tine?
1 2 3 4 5 6 7
deloc
foarte
mult
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
ANEXA 2. Chestionar privind eficiența platformelor multiuser online de consiliere
profesională – scala CE-CS (8 itemi) – pentru consilieri școlari
Instrucțiuni. Vă rugăm să evaluați beneficiile pe care vi le-a adus utilizarea CCP în consilierea
vocațională a elevilor comparativ cu mijloacele tradiționale utilizate anterior. Gândiți-vă la experiența
dvs. cu ambele metode și răspundeți la întrebările de mai jos folosind o scală de la 1 la 5, unde:
1 = deloc sau niciun beneficiu față de mijloacele tradiționale
5 = foarte mult sau beneficii foarte mari față de mijloacele tradiționale
COMPARATIV CU MIJLOACELE TRADIȚIONALE ... :
1. Cât de mult v-a ajutat CCP în identificarea intereselor vocaționale la elevii cu care lucrați?
1 2 3 4 5
deloc
foarte
mult
2. Cât de mult v-a ajutat CCP în identificarea valorilor legate de muncă la elevii cu care lucrați?
1 2 3 4 5
deloc
foarte
mult
3. Cât de mult v-a ajutat CCP în identificarea abilităților la elevii cu care lucrați?
1 2 3 4 5
deloc
foarte
mult
4. Cât de mult v-a ajutat CCP în identificarea ocupațiilor care se potrivesc cu profilul vocațional
al elevilor cu care lucrați?
1 2 3 4 5
deloc
foarte
mult
5. Cât de mult v-a ajutat CCP în gestionarea datelor elevilor cu care lucrați?
1 2 3 4 5
deloc
foarte
mult
6. Per ansamblu, cât de mult v-a ajutat CCP în consilierea vocațională a elevilor cu care lucrați?
1 2 3 4 5
deloc
foarte
mult
“Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane
2007– 2013” Investeşte în oameni!
Următoarele două întrebări se referă la efortul pe care trebuie să-l depuneți per ansamblu pentru a
realiza activitățile de consiliere vocațională cu elevii, respectiv activitățile de identificare a intereselor,
valorilor și abilităților, identificarea ocupațiilor potrivite, familiarizarea elevilor cu profilele ocupaționale
care li se potrivesc, menținerea evidenței elevilor și gestionarea datelor etc.
Estimați efortul pe care vi-l solicită aceste activități folosind o scală de la 1 la 7, unde:
1 = deloc sau absența efortului
7 = foarte mult efort
7. Cât de mult efort vă solicită efectuarea activităților de consiliere vocațională prin utilizarea
mijloacelor tradiționale?
1 2 3 4 5 6 7
deloc
foarte
mult
8. Cât de mult efort vă solicită efectuarea activităților de consiliere vocațională prin utilizarea
platformei CCP?
1 2 3 4 5 6 7
deloc
foarte
mult

More Related Content

Similar to Studiu eficienta-ccponline

9.-Craciun-Cerasella_Metode transdisciplinaritate.pdf
9.-Craciun-Cerasella_Metode transdisciplinaritate.pdf9.-Craciun-Cerasella_Metode transdisciplinaritate.pdf
9.-Craciun-Cerasella_Metode transdisciplinaritate.pdfIulia Inglis
 
Cercetare pedagogica cosma
Cercetare pedagogica cosmaCercetare pedagogica cosma
Cercetare pedagogica cosmaDiana Borleanu
 
Suport_curs_formare_INSAM_2
Suport_curs_formare_INSAM_2Suport_curs_formare_INSAM_2
Suport_curs_formare_INSAM_2Ana Tudor
 
Ciubrei Silvia: Formarea culturii informaţiei a utili...
Ciubrei Silvia: Formarea culturii informaţiei                         a utili...Ciubrei Silvia: Formarea culturii informaţiei                         a utili...
Ciubrei Silvia: Formarea culturii informaţiei a utili...DIB ULIM
 
Diseminare comenius turcia sept 2013
Diseminare comenius turcia sept 2013Diseminare comenius turcia sept 2013
Diseminare comenius turcia sept 2013Mihaela Achim
 
Brosura reusita in cariera didactica
Brosura reusita in cariera didacticaBrosura reusita in cariera didactica
Brosura reusita in cariera didacticaLarisa Caragi
 
Culegere_de_bune_practici-1.pdf
Culegere_de_bune_practici-1.pdfCulegere_de_bune_practici-1.pdf
Culegere_de_bune_practici-1.pdfCristinaIani1
 
Planificare dirigentie clasa a x a
Planificare dirigentie clasa a x aPlanificare dirigentie clasa a x a
Planificare dirigentie clasa a x aPingacorina
 
Proiect educațional Antreprenor de nota 10.pptx
Proiect educațional Antreprenor de nota 10.pptxProiect educațional Antreprenor de nota 10.pptx
Proiect educațional Antreprenor de nota 10.pptxElenaLovtov
 
Modul_2_evaluare_final.pdf
Modul_2_evaluare_final.pdfModul_2_evaluare_final.pdf
Modul_2_evaluare_final.pdfSorinZaharia7
 
Profilul Centrului Lingvistic American
Profilul Centrului Lingvistic AmericanProfilul Centrului Lingvistic American
Profilul Centrului Lingvistic AmericanDaniela Munca-Aftenev
 
Ziua 1 test
Ziua 1 testZiua 1 test
Ziua 1 testmsorin
 
Conceptia evaluarii performantelor scolare (proiect)
Conceptia evaluarii performantelor scolare (proiect)Conceptia evaluarii performantelor scolare (proiect)
Conceptia evaluarii performantelor scolare (proiect)Serghei Urban
 
Didactica ariei curriculare om si societate
Didactica ariei curriculare om si societateDidactica ariei curriculare om si societate
Didactica ariei curriculare om si societatelucianivascu3
 
resurse_educationale_deschise.docx
resurse_educationale_deschise.docxresurse_educationale_deschise.docx
resurse_educationale_deschise.docxElenaCiubotaru4
 
Jurnalul unui-cdi-nr.1
Jurnalul unui-cdi-nr.1Jurnalul unui-cdi-nr.1
Jurnalul unui-cdi-nr.1Monica Olteanu
 

Similar to Studiu eficienta-ccponline (20)

9.-Craciun-Cerasella_Metode transdisciplinaritate.pdf
9.-Craciun-Cerasella_Metode transdisciplinaritate.pdf9.-Craciun-Cerasella_Metode transdisciplinaritate.pdf
9.-Craciun-Cerasella_Metode transdisciplinaritate.pdf
 
Cercetare pedagogica cosma
Cercetare pedagogica cosmaCercetare pedagogica cosma
Cercetare pedagogica cosma
 
Suport_curs_formare_INSAM_2
Suport_curs_formare_INSAM_2Suport_curs_formare_INSAM_2
Suport_curs_formare_INSAM_2
 
activ 1.3..DOCX
activ 1.3..DOCXactiv 1.3..DOCX
activ 1.3..DOCX
 
Ciubrei Silvia: Formarea culturii informaţiei a utili...
Ciubrei Silvia: Formarea culturii informaţiei                         a utili...Ciubrei Silvia: Formarea culturii informaţiei                         a utili...
Ciubrei Silvia: Formarea culturii informaţiei a utili...
 
Activitati proiect
Activitati proiectActivitati proiect
Activitati proiect
 
Diseminare comenius turcia sept 2013
Diseminare comenius turcia sept 2013Diseminare comenius turcia sept 2013
Diseminare comenius turcia sept 2013
 
Brosura reusita in cariera didactica
Brosura reusita in cariera didacticaBrosura reusita in cariera didactica
Brosura reusita in cariera didactica
 
Culegere_de_bune_practici-1.pdf
Culegere_de_bune_practici-1.pdfCulegere_de_bune_practici-1.pdf
Culegere_de_bune_practici-1.pdf
 
Planificare dirigentie clasa a x a
Planificare dirigentie clasa a x aPlanificare dirigentie clasa a x a
Planificare dirigentie clasa a x a
 
Proiect educațional Antreprenor de nota 10.pptx
Proiect educațional Antreprenor de nota 10.pptxProiect educațional Antreprenor de nota 10.pptx
Proiect educațional Antreprenor de nota 10.pptx
 
0 cdlprofilservicii
0 cdlprofilservicii0 cdlprofilservicii
0 cdlprofilservicii
 
Modul_2_evaluare_final.pdf
Modul_2_evaluare_final.pdfModul_2_evaluare_final.pdf
Modul_2_evaluare_final.pdf
 
Profilul Centrului Lingvistic American
Profilul Centrului Lingvistic AmericanProfilul Centrului Lingvistic American
Profilul Centrului Lingvistic American
 
Prezentare proiect
Prezentare proiectPrezentare proiect
Prezentare proiect
 
Ziua 1 test
Ziua 1 testZiua 1 test
Ziua 1 test
 
Conceptia evaluarii performantelor scolare (proiect)
Conceptia evaluarii performantelor scolare (proiect)Conceptia evaluarii performantelor scolare (proiect)
Conceptia evaluarii performantelor scolare (proiect)
 
Didactica ariei curriculare om si societate
Didactica ariei curriculare om si societateDidactica ariei curriculare om si societate
Didactica ariei curriculare om si societate
 
resurse_educationale_deschise.docx
resurse_educationale_deschise.docxresurse_educationale_deschise.docx
resurse_educationale_deschise.docx
 
Jurnalul unui-cdi-nr.1
Jurnalul unui-cdi-nr.1Jurnalul unui-cdi-nr.1
Jurnalul unui-cdi-nr.1
 

Studiu eficienta-ccponline

  • 1. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! RAPORT “EFICIENȚA PLATFORMELOR MULTIUSER ONLINE PENTRU CONSILIEREA ȘI ORIENTAREA PROFESIONALĂ A ELEVILOR” OBIECTIVE Studiul de eficiență al intervenției de consiliere vocațională prin platforma CCP urmărește cuantificarea beneficiilor raportate de elevi și de consilieri școlari prin metode de evaluare standardizate și practici valide de analiză stastistică descriptivă și inferențială. Scopul demersului de cercetare este de obține la final răspusuri bazate empiric la următoarele întrebări cheie: i. Este intervenția prin CCP eficientă, per ansamblu, pentru elevi? ii. Pot fi observate efectele intervenției la mai multe categorii de elevi (de exemplu, elevi din clase diferite sau cu profiluri de învățământ diferite)? iii. Pot fi observate efectele intervenției în toate aspectele vizate de procesul de consiliere vocațională (de exemplu, cunoștințe teoretice, autocunoaștere, cunoașterea lumii ocupațiilor, identificarea ocupațiilor potrivite, autoeficacitate în luarea deciziilor)? iv. Este intervenția prin CCP eficientă, per ansamblu, pentru consilieri? v. Aduce intervenția prin CCP beneficii mai mari decât mijloacele tradiționale de consiliere vocațională? vi. Solicită intervenția prin CCP mai puțin efort decât mijloacele tradiționale de consilere vocațională? METODE Studiu pilot. Înainte de a demara studiul prezent de eficiență, un studiu pilot a fost efectuat pe un eșantion restrâns de elevi (N=82) și consilieri (N=33) din județul Cluj. Studiul pilot a avut ca scop testarea designului de cercetare și a procedurilor de lucru, analiza instrumentelor de evaluare dezvoltate și estimarea timpului de lucru pentru desfășurarea studiului de eficiență la scală mai largă, precum și planificarea metodelor de prelucrare a datelor și de analiză statistică care vor fi utilizate ulterior. În urma studiului pilot au fost aduse modificări relevante în designul de cercetare și conținutul instrumentelor de evaluare, au fost dezvoltate materiale de instruire a consilierilor implicați în studiu și au fost finalizate procedura de lucru
  • 2. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! în colectarea datelor și metodele de analiză statistică pentru testarea ipotezelor de cercetare. Participanți Eșantionul de elevi din lotul activ (elevii care au beneficiat de intervenția CCP) este compus din 2590 elevi din clasele IX-XII din 32 de licee din 18 localități, acoperind patru județe: Bihor (BH), Bistrița-Năsăud (BN), Cluj (CJ) și Timiș (TM). Liceele au avut clase cu șase profiluri diferite: artistic, pedagogic, real, tehnologic, teologic și uman. Clasa IX Clasa X Clasa XI Clasa XII N 307 460 909 914 % 11.85 17.76 35.1 35.29 Tabel 1. Distribuția elevilor pe clase (N=2590). BH BN CJ TM N 1870 61 402 257 % 72.2 2.36 15.52 9.92 Tabel 2. Distribuția elevilor pe județe (N=2590). Localitățile incluse în eșantion (18) sunt: Aleșd (BH), Beiuș (BH), Borș (BH), Bratca (BH), Marghita (BH), Oradea (BH), Popești (BH), Salonta (BH), Ștei (BH), Suplacu de Barcău (BH), Vadul Crișului (BH), Bistrița (BN), Năsăud (BN), Cluj-Napoca (CJ), Buziaș (TM), Gătaia (TM), Giroc (TM), Peciu Nou (TM). ARTISTIC PEDAGOGIC REAL TEHNOLOGIC TEOLOGIC UMAN N 60 189 877 712 40 712 % 2.32 7.3 33.86 27.49 1.54 27.49 Tabel 3. Distribuția elevilor în funcție de profilul clasei/liceului (N=2590). Se poate observa că cei mai mulți elevi provin din clasele XI și XII (împreună reprezintă 70.4% din eșantion). Majoritatea elevilor provin din județul BH (72%). Cei mai mulți elevi provin din clase cu profil real, uman și tehnologic (88.9% din eșantion), în proporții relativ egale. Eșantionul de elevi din lotul de control (elevii care nu au beneficiat de nicio intervenție) este compus din 148 de elevi din clasele X-XII de la 4 licee din 2 localități din județul CJ. Liceele
  • 3. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! au avut clase cu două profiluri: real și tehnologic. În tabelul de mai jos sunt prezentate caracteristicile eșantionului. Județ Clasă Profil CJ X XI XII REAL TEHNOLOGIC N 148 81 45 22 43 105 % 100 54.73 30.41 14.86 29.05 70.95 Tabel 4. Distribuția elevilor din grupul de control (N=148). Eșantionul de consilieri constă în 44 de consilieri școlari din trei județe în care s-au făcut intervenții prin CCP: BH (38.6%), CJ (54.5%) și HD (6.8%). Toți consilierii școlari care au răspuns la chestionarele de eficiență au desfășurat activități de consiliere prin CCP la clase de elevi, respectând același protocol de intervenție care a fost utilizat în lotul activ de elevi. Instrumente Eficiența platformei CCP a fost evaluată prin două instrumente construite și testate în studiul pilot. Vorbim de Chestionarul de evaluare a eficienței platformei de consiliere și orientare profesională, în versiunea pentru elevi (CE-E) și versiunea pentru consilieri școlari (CE-CS). CE-E. Chestionarul pentru elevi are 10 itemi, grupați pe două subscale: subscala de cunoștințe declarative (itemii 1-4) și subscala de eficiență personală (itemii 6-10). Prima subscală vizează evaluarea cunoștințelor declarative ale elevilor despre identitatea vocațională. Cele 4 întrebări cu răspunsuri multiple și un răspuns corect solicită cunoștințele elevilor despre ce este un profil vocațional, ce sunt interesele vocaționale, ce sunt abilitățile și valorile legate de muncă, concepte cheie pentru procesul de consiliere în carieră. Itemii corecți se cotează cu 1 punct, subscala putând avea valori între 0 și 4. Subscala de eficiență personală în orientarea profesională vizează modul în care elevii își evaluează cunoștințele despre propriul profil vocațional și despre ce este un profil ocupațional, evaluează măsura în care elevul cunoaște ocupațiile care i se potrivesc, cât și autoeficacitatea elevilor în privința deciziilor de carieră. Itemii din această subscală se cotează pe o grilă Likert de la 1 la 7, scorurile mai mari reflectând un nivel mai ridicat de eficiență personală. Per total, scorurile la această subscală iau valori între 6 și 42. CE-CS. Chestionarul pentru consilieri școlari are 8 itemi, care sunt constituiți în două subscale: valoarea adăugată a utilizării CCP în consiliere versus mijloacele tradiționale (itemii 1-6) și efortul solicitat de utilizarea CCP versus mijloacele tradiționale (itemii 7-8). Itemii sunt construiți astfel încât consilierii să compare utilizarea CCP cu mijloacele tradiționale de consiliere și orientare profesională. Astfel, scorurile minime reflectă lipsa unei diferențe între CCP și mijloacele tradiționale, iar scorurile maxime reflectă o diferență majoră
  • 4. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! între cele două metode. Dacă consilierii consideră că platforma CCP este eficientă în munca lor, ne așteptăm ca la chestionar să observăm scoruri mari pe scala de valoare adăugată și scoruri mici pe scara de efort. Design Pentru testarea eficienței platformei CCP în cazul elevilor s-a utilizat un design bifactorial 2 (condiție) x 2 (timp), cu două eșantionane independente și două măsurători repetate. Cele două eșantioane sunt: lotul activ (elevi care beneficiază de intervenția de consiliere prin CCP) și lotul de control (elevi care nu beneficiază de nicio formă de consiliere pe o perioadă echivalentă cu durata intervenției CCP). Cele două măsurători sunt aplicarea chestionarului CE-E în pre-test și în post-test, respectiv înainte și după intervenția CCP în lotul activ. În lotul de control, aceleași măsurători se fac înainte și după startul perioadei de așteptare, perioadă echivalentă cu durata intervenției CCP. GRUP Evaluare pre-test Intervenție / control (3-4 săptămâni) Evaluare post-test activ CE-E (I) Consiliere și orientare profesională prin CCP CE-E (II) control CE-E (I) Perioadă de așteptare (nicio intervenție de consiliere) CE-E (II) Tabel 5. Designul de cercetare pentru evaluarea eficienței la elevi. În cazul consilierilor școlari, evaluarea eficienței se face printr-un design post-hoc cu o singură măsurătoare, respectiv după încheierea intervenției de consiliere la clase prin CCP aceștia completează chestionarul CE-CS. Procedură Înainte de demararea studiului, toți consilierii școlari implicați în demersul de cercetare au fost instruiți de coordonatorii studiului, prin training și prin furnizarea unor ghiduri scrise, despre procedura de lucru cu elevii. Studiul s-a desfășurat în licee. Consilierii școlari au implicat în studiu elevii cu care își desfășoară în mod normal activitățile, în funcție de orarul fiecărui liceu. În lotul activ, consilierii școlari au aplicat chestionarele de evaluare pre-test la clase înainte de a începe orice activitate de consiliere. Elevii au completat chestionarele folosind un cod format din inițialele numelui lor complet. În continuare, pe parcursul a 3-4 săptămâni elevii au beneficiat de activitățile de consiliere. Intervenția consilierilor presupunea ghidarea elevilor în platforma CCP, evaluarea elevilor în platformă pentru identificarea profilului vocațional, descoperirea ocupațiilor potrivite, explorarea profilelor ocupaționale de interes, apoi consilierea studenților prin oferirea de informații despre ocupații și pregătirea profesională necesară pentru aceste ocupații. Elevii au avut acces
  • 5. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! nelimitat la platforma CCP pe parcursul studiului și au beneficiat de minim 4 ore de consiliere la școală. La finalul perioadei de consiliere, toți elevii au primit încă odată chestionarul CE-E (în versiune ușor modificată: alternativele de răspuns la întrebările de cunoștințe au fost reamestecate), pe care l-au completat tot cu un cod format din inițialele numelui. Tot în această etapă elevii au completat și un chestionar de evaluare a uzabilității platformei CCP, dar rezultatele de la acest chestionar vor fi descrise în alt studiu. În lotul de control, consilierii școlari au fost instruiți să aplice chestionarele de evaluare CE-E la mai multe clase de elevi, la un interval de 3-4 săptămâni, interval echivalent cu durata intervenției CCP. În acest timp, consilierii școlari nu desfășoară nicio activitate de consiliere cu acești elevi. Consilierii școlari au fost responsabili de colectarea chestionarelor de la elevi. Chestionarele erau strânse în plicuri pe clase și livrate prin curier spre coordonatori pentru a fi introduse în baza de date. Pe parcursul studiului, consilierii nu au fost informați de rezultatele elevilor la chestionare. După încheierea intervenției în lotul activ, coordonatorii studiului au distribuit consilierilor școlari chestionarul CE-CS pentru a fi completat. Analize statistice Toate datele de la chestionare au fost introduse într-o bază de date electronică în Microsoft Excel 2007, iar documentele originale au fost scanate în format PDF. Corectitudinea datelor introduse a fost verificată prin eșantionare de coordonatorii studiului. Tabelele și graficele de analiză descriptivă au fost realizate în Excel, iar toate testele statistice au fost efectuate în SPSS 20. Subscalele chestionarului CE-E (itemii 1-4 și itemii 5-10) au fost analizate separat. Consistența internă a subscalelor a fost evaluată cu Cronbach alpha. În funcție de distribuția datelor, teste parametrice (testul t pentru eșantionane dependente) sau neparametrice (testul de ranguri Wilcoxon) au fost folosite pentru compararea scorurilor pre-test versus post-test obținute pe cele două subscale. Pragul de semnificație a fost stabilit la p < .05. Scorurile totale de la subscala de cunoștințe au fost distribuite, conform manualului elaborat în studiul pilot, în două categorii, împărțind intervalul de valori astfel: cunoștințe scăzute (valori 0-2) și cunoștințe ridicate (valori 3-4). Testul exact McNemar a fost folosit pentru a testa dacă există schimbări semnificative pre-test – post-test în ceea ce privește distribuția scorurilor în aceste categorii. Similar, scorurile totale de la subscala de eficiență au fost distribuite în trei categorii împărțind intervalul de valori astfel: eficiență scăzută (valori 6-17), eficiență moderată (valori 18-30) și eficiență ridicată (valori 31-42). Testul exact McNemar a fost din nou folosit pentru a testa dacă există schimbări semnificative pre-test – post-test. ANOVA cu măsurători repetate a fost folosită pentru a compara evoluția scorurilor de eficiență personală în cele două loturi. Au fost evaluate efectele intra-grup, inter-grup și de interacțiune la pragul .05 de semnificație. Ca analize suplimentare, în lotul activ, ANOVA cu măsurători repetate a fost folosită pentru a testa diferențele de scoruri pre-test – post-test la subscala de eficiență, considerând ca factori inter-grup: profilul liceului, județul și clasa.
  • 6. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! REZULTATE I: EFICIENȚA CCP PENTRU ELEVI Efectul intervenției CCP la nivelul cunoștințelor declarative (itemii 1-4) în lotul activ Au fost analizați primii patru itemi din scala CE-E (subscale de cunoștințe declarative) de la 2585 elevi (99.8%) din lotul activ. Nu au fost luate în considerare chestionarele (0.2%) de la elevii care au lăsat itemi necompletați în pre-test sau post-test. În graficul de mai jos se poate observa distribuția răspunsurilor corecte la cei patru itemi în pre-test versus post-test. Figura 1. Distribuția în procente a răspunsurilor corecte date de elevii din lotul activ la subscala de cunoștințe declarative din chestionarul CE-E (N=2585). Se observă că există o diferență pozitivă între post-test și pre-test la toți cei patru itemi. Cu alte cuvinte, mai mulți elevi au răspuns corect la itemii de cunoștințe după utilizarea CCP (diferențele procentuale sunt: 25.2%, 16.3%, 19% și 12.6%). Pentru a vedea dacă diferențele în distribuția răspunsurilor corecte și greșite dintre cele două etape de evaluare sunt semnificative statistic am folosit testul exact McNemar, recomandat pentru eșantioane dependente. În tabelul de mai jos se poate observa că la fiecare item, diferențele dintre pre- test și post-test sunt semnificative, în direcția așteptată, respectiv intervenția CCP are un impact pozitiv semnificativ asupra cunoștințelor declarative evaluate. 43.1 44.3 46.4 56 68.3 60.6 65.4 68.6 0 10 20 30 40 50 60 70 80 ITEM_1 ITEM_2 ITEM_3 ITEM_4 Distribuția răspunsurilor corecte la subscala de cunoștințe (itemii 1-4) Pre-test Post-test
  • 7. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Nr. item Conținut item Testul McNemar χ2 p 1 La ce se referă profilul vocațional al unei persoane? 341.225 < .001 2 Ce sunt interesele vocaționale? 153.719 < .001 3 Ce sunt valorile legate de muncă? 204.415 < .001 4 La ce se referă abilitățile unei persoane? 106.596 < .001 Tabel 6. Analiza diferențelor pre-test versus post test la itemii din subscala de cunoștințe din CE-E în lotul activ de elevi (N=2585). În continuare am analizat scorurile însumate de la primii patru itemi, respectiv scorul total de cunoștințe declarative. În tabelul de mai jos sunt trecute datele descriptive ale acestui scor. Testul de ranguri Wilcoxon a fost utilizat pentru compara diferențele pre-test versus post- test. Se poate observa că există o diferență semnificativă între cele două etape de evaluare. Scorul total la subscala de cunoștințe este mai mare în post-test, după intervenția CCP. N Minim Maxim Medie Abatere standard Mediana Mod Testul Wilcoxon Pre- test 2585 0 4 1.9 1.215 2 1 (26.9%) Z=20.261, p < .001Post- test 2585 0 4 2.63 1.408 3 4 (41.3%) Tabel 7. Analiza diferențelor pre-test versus post test la scorul total de la subscala de cunoștințe din CE-E în lotul activ de elevi (N=2585). Figura 2. Distribuția în procente a scorului total obținut la subscala de cunoștințe declarative din chestionarul CE-E în lotul activ (N=2585). 13.8 26.9 26.1 22.2 11.110.4 15 16.7 16.6 41.3 0 5 10 15 20 25 30 35 40 45 0 1 2 3 4 Pre-test Post-test
  • 8. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! În continuare, am grupat elevii în două categorii pe baza scorurilor totale obținute: cunoștine scăzute (valori 0-2) și cunoștințe ridicate (valori 3-4). Diferențele în nivelul de cunoștințe înainte și după utilizarea CCP au fost analizate statistic prin testul McNemar. Figura 3. Distribuția în procente a elevilor din lotul activ în cele două categorii de performanță la scala de cunoștințe declarative din chestionarul CE-E (N=2585). Din nou, se constată diferențe semnificative între pre-test și post test în ceea ce privește distribuția elevilor în cele două categorii (χ2 =341.716, p< .001). Din tabelul de crostabulare se observă că 908 elevi (35.12%) au trecut din categoria cunoștințe scăzute în categoria de cunoștințe ridicate și doar 272 de elevi (10.52%) au trecut înregistrat o trecere în sens opus. Crostabulare distribuție elevi pe baza scorurilor de cunoștințe declarative (itemii 1-4) Testul McNemar PRE-TEST POST-TEST χ2 =341.716 p< .001 CUNOȘTINȚE SCĂZUTE CUNOȘTINȚE RIDICATE CUNOȘTINȚE SCĂZUTE 821 908 CUNOȘTINȚE RIDICATE 272 589 Tabel 8. Crostabulare distribuție elevi pe baza scorurilor totale la subscala de cunoștințe declarative din CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul McNemar (N=2585). În continuare ne-am uitat dacă efectul pozitiv al intervenției CCP asupra nivelului de cunoștințe poate fi observat indiferent de profilul clasei din care provin elevii. În tabelul de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare profil în parte. Se 66.8 33.2 42.2 57.8 0 10 20 30 40 50 60 70 80 Cunoștințe scăzute (scor 0-2) Cunoștințe ridicate (scor 3-4) Pre-test Post-test
  • 9. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! observă o schimbare pozitivă (o creștere a nivelului de cunoștințe) la 4 din cele 6 profiluri (96.17% din eșantion): pedagogic, real, tehnologic și uman. Elevii de la 2 profiluri (3.83% din eșantion) au înregistrat o schimbare negativă (o scădere a nivelului de cunoștințe): artistic și teologic. Profilul clasei N MEDIE (abatere standard) Mediana Testul Wilcoxon Pre-test Post-test Pre-test Post-test ARTISTIC 60 2.37 (0.974) 1.93 (1.260) 2 2 Z=2.814 p < 0.01 PEDAGOGIC 189 2.21 (1.265) 2.57 (1.243) 2 3 Z=3.013 p < 0.01 REAL 875 1.95 (1.215) 2.76 (1.379) 2 3 Z=12.653 p < 0.001 TEHNOLOGIC 712 1.59 (1.194) 2.27 (1.428) 1 2 Z=9.868 p < 0.001 TEOLOGIC 39 2.44 (1.231) 1.95 (1.075) 3 2 Z=2.294 p < 0.05 UMAN 710 2 (1.172) 2.95 (1.383) 2 4 Z=13.304 p < 0.001 Tabel 9. Analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza profilului de învățământ al clasei de proveniență (N=2585). Am procedat similar pentru a vedea dacă efectul pozitiv al intervenției CCP asupra nivelului de cunoștințe poate fi identificat indiferent de anul de studiu În tabelul de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare clasă în parte. Se observă o schimbare pozitivă la toate cele 4 clase de liceu incluse în studiu (IX-XII). Clasa N MEDIE (abatere standard) Mediana Testul Wilcoxon Pre-test Post-test Pre-test Post-test IX 305 1.59 (1.100) 2.22 (1.476) 1 2 Z=5.945 p < 0.001 X 460 1.53 (1.123) 2.40 (1.442) 1 3 Z=10.227 p < 0.001 XI 908 2.07 (1.188) 2.79 (1.380) 2 3 Z=12.204 p < 0.001 XII 890 2.04 (1.266) 2.77 (1.338) 2 3 Z=11.425 p < 0.001 Tabel 10. Analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza nivelului de studiu al clasei de proveniență (N=2585). Am continuat cu același demers și în privința județului de proveniență al elevilor. În tabelul de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare județ în parte. Se observă o schimbare pozitivă la elevii din 3 din cele 4 județe (97.6% din eșantion): BH, CJ și TM. Nu s-au observat diferențe semnificative la elevii din județul BN (2.4% din eșantion).
  • 10. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! JUDEȚ N MEDIE (abatere standard) Mediana Testul Wilcoxon Pre-test Post-test Pre-test Post-test BH 1866 1.78 (1.202) 2.68 (1.374) 2 3 Z=20.705 p < 0.001 BN 61 1.85 (1.123) 1.84 (1.052) 2 2 Z=0.377 p = 0.706 CJ 401 2.54 (1.140) 2.80 (1.319) 3 3 Z=3.732 p < 0.001 TM 257 1.81 (1.124) 2.23 (1.709) 2 3 Z=3.093 p < 0.01 Tabel 11. Analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza județului de proveniență (N=2585). Compararea lotului activ cu lotul de control pe scala de cunoștințe declarative În continuare am analizat scorurile obținute de elevii din lotul de control (N=148) la subscala de cunoștințe declarative (suma totală a itemilor. În tabelul de mai jos sunt trecute datele descriptive ale acestui scor. Testul de ranguri Wilcoxon a fost utilizat pentru compara scorurile din pre-test versus post-test. Spre deosebire de lotul activ, în lotul de control nu există diferențe semnificative între cele două etape de evaluare (Z= .772, p = .44). Scorul total la subscala de cunoștințe în post-test, după perioada de așteptare de 3-4 săptămâni, este echivalent cu cel din pre-test. N Minim Maxim Medie Abatere standard Mediana Mod Testul Wilcoxon Pre- test 148 0 4 1.71 1.295 2 1 (27.7%) Z=0.772, p = .440Post- test 148 0 4 1.62 1.237 2 1 (32.43%) Tabel 12. Analiza diferențelor pre-test versus post test la scorul total de la subscala de cunoștințe din CE-E în lotul de control (N=148).
  • 11. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 4. Distribuția în procente a scorului total obținut la subscala de cunoștințe declarative din chestionarul CE-E în lotul de control (N=148). Analizând scorurile elevilor din lotul de control pe cele două niveluri de cunoștințe (scăzut vs. ridicat) se constată că există diferențe semnificative între pre-test și post test în ceea ce privește distribuția elevilor (χ2 =4.694, p< .05). Din tabelul de crostabulare se observă că 11 elevi (7.43%) au trecut din categoria de cunoștințe scăzute în categoria superioară, dar de două ori mai mulți elevi (25 de elevi, 16.89%) au trecut din categoria de cunoștințe ridicate în categoria inferioară în lipsa unei intervenții. Din totalul de 148 de elevi din lotul de control, 89 elevi (60.13%) au rămas în categoria de cunoștințe scăzute. Crostabulare distribuție elevi pe baza scorurilor de cunoștințe declarative (itemii 1-4) Testul McNemar PRE-TEST POST-TEST χ2 =4.694 p< .05 CUNOȘTINȚE SCĂZUTE CUNOȘTINȚE RIDICATE CUNOȘTINȚE SCĂZUTE 89 11 CUNOȘTINȚE RIDICATE 25 23 Tabel 13. Crostabulare distribuție elevi în lotul de control pe baza scorurilor totale la subscala de cunoștințe declarative din CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul McNemar (N=148). 21.62 27.7 18.24 22.97 9.46 19.59 32.43 25 12.16 10.81 0 5 10 15 20 25 30 35 0 1 2 3 4 Pre-test Post-test
  • 12. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 5. Distribuția în procente a elevilor din lotul activ în cele două categorii de performanță la scala de cunoștințe declarative din chestionarul CE-E (N=2585). Este important de observat că procentul de elevi care în pre-test înregistrează un nivel scăzut de cunoștințe este echivalent în cele două loturi (activ: 66.8 vs control: 67.6%), dar în lotul activ doar 31.76% dintre aceștia au rămas în categoria de cunoștințe scăzute în urma intervenției CCP. În schimb, în lotul de control, aproape de două ori mai mulți elevi (60.13%) au rămas în această categorie. De asemenea, în lipsa intervenției de consiliere, doar 7.43% din elevi au trecut din categoria de cunoștințe scăzute în categoria superioară, pe când în lotul activ 35.12% (aproape de 5 ori mai mulți elevi) au înregistrat acest progres. Folosind testul U Mann-Whitney pentru eșantioane independente am comparat direct performanța elevilor din cele două loturi pe scala de cunoștințe declarative. Se poate observa din tabelul de mai jos că nu sunt diferențe semnificative între grupuri în pre-test, dar în post-test există diferențe semnificative, elevii din lotul activ având scoruri mai mari. LOT N Medie (abatere standard) Mediana Testul U Mann- Withney Pre-test Post-test Pre-test Post-test Pre-test Post-test *** control 148 1.71 (1.295) 1.62 (1.237) 2 2 Z=1.839, p = .066 Z=8.535, p < .001 activ 2585 1.9 (1.215) 2.63 (1.408) 2 3 Tabel 14. Compararea scorurilor de la subscala de cunoștințe declarative între cele două loturi de elevi. 67.6 32.4 77 23 0 10 20 30 40 50 60 70 80 90 Cunoștințe scăzute (scor 0-2) Cunoștințe ridicate (scor 3-4) Pre-test Post-test
  • 13. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Evoluția diferențială a scorurilor de la scala de cunoștințe declarative în cele două loturi poate fi observată clar în graficul de mai jos. Figura 6. Evoluția scorurilor de cunoștințe declarative în cele două loturi de elevi. (*** p < .001) Efectul intervenției CCP la nivelul eficienței personale (itemii 5-10) în lotul activ Înainte de a testa efectul intervenției CCP, am analizat proprietățile subscalei de eficiență personală (itemii 5-10). Consistența internă a scalei este foarte bună (Cronbach alpha = .871 în pre-test și .890 în post-test) și nu a fost identificat niciun item care, prin eliminarea sa, ar putea crește valoarea Cronbach alpha. Intercorelațiile dintre itemi (Pearson r) sunt prezentate în tabelele de mai jos. Se poate observa că toți itemii corelează semnificativ (p < .001) atât în pre-test, cât și în post-test. 5 6 7 8 9 10 Item 5 . Item 6 .647 ** . Item 7 .580 ** .592 ** . Item 8 .600 ** .542 ** .538 ** . Item 9 .519 ** .529 ** .477 ** .575 ** . Item 10 .506 ** .469 ** .538 ** .478 ** .380** .
  • 14. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Tabel 15. Intercorelații itemi din scala de eficiență personală CE-E, efectuate pe baza măsurătorilor pre-test din lotul activ (N=2590). 5 6 7 8 9 10 Item 5 . Item 6 .682 ** . Item 7 .602 ** .597 ** . Item 8 .645 ** .608 ** .564 ** . Item 9 .595 ** .595 ** .525 ** .656 ** . Item 10 .520 ** .520 ** .517 ** .513 ** .491** . Tabel 16. Intercorelații itemi din scala de eficiență personală CE-E, efectuate pe baza măsurătorilor post-test din lotul active (N=2590). În tabelul de mai jos prezentăm statisticile descriptive pentru toți itemii subscalei, iar apoi semnificația diferențelor pre-test versus post-test prin testul Wilcoxon. N Minim Maxim Medie Abatere standard Mediana Mod Item 5 Pre-test 2585 1 7 4.46 1.537 4 4 Post- test 2584 1 7 5.41 1.250 6 6 Item 6 Pre-test 2584 1 7 4.45 1.558 5 5 Post- test 2583 1 7 5.40 1.226 6 6 Item 7 Pre-test 2582 1 7 4.99 1.481 5 5 Post- test 2584 1 7 5.62 1.220 6 6 Item 8 Pre-test 2579 1 7 4.42 1.641 4 4 Post- test 2583 1 7 5.44 1.308 6 6 Item 9 Pre-test 2583 1 7 3.78 1.550 4 4 Post- test 2582 1 7 514 1.364 5 6 Item 10 Pre-test 2585 1 7 5.23 1.584 6 6 Post- test 2577 1 7 5.91 1.199 6 7 Tabel 17 Statistică descriptivă pentru scorurile obținute de elevii din lotul activ la fiecare item din scala de eficiență personală CE-E.
  • 15. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Nr. item Conținut item Testul Wilcoxon Z p 5 Cât de bine îți cunoști interesele vocaționale? 26.628 < .001 6 Cât de bine îți cunoști valorile legate de muncă? 25.705 < .001 7 Cât de bine îți cunoști abilitățile? 18.709 < .001 8 Cât de bine cunoști care ocupații se potrivesc cu profilul tău vocațional? 25.314 < .001 9 Cât de bine cunoști care sunt elementele unui profil ocupațional? 31.366 < .001 10 Cât de încrezător/încrezătoare ești că vei alege în viitor o ocupație potrivită pentru tine? 19.604 < .001 Tabel 18. Analiza diferențelor pre-test vs post-test în lotul activ pentru fiecare item din scala de eficiență personală CE-E. Mai departe am continuat prin analiza scorurilor totale de la subscala de eficiență personală din pre-test și post-test, obținute prin însumarea itemilor 5-10. N Min Max Medie Abatere standard Mediana Mod Pre-test 2586 6 42 27.29 7.300 28 27 Post-test 2585 10 42 32.89 6.097 34 36 Tabel 19. Statistică descriptivă pentru scorul total pre-test și post-test în lotul activ la scala de eficiență personală CE-E. Pentru a vedea dacă există diferențe semnificative statistic între pre-test și post-test, am folosit testul nonparametric Wilcoxon. Rezultatul obținut (Z= 32.315, p <.001) arată că există diferențe semnificative între pretest și post-test în ceea ce privește nivelul de eficiență personală al elevilor. Mărimea efectului poate fi calculată prin formula r = Z/√N, ceea ce result un efect mediu (r= .635). Același rezultat a fost obținut însă și prin testul parametric t pentru eșantioane dependente [ t(2580)= 36.668, p < .001 ]. Cu alte cuvinte, în urma intervenției prin CCP elevii raportează un nivel mai ridicat de eficiență personală în ceea ce privește orientarea lor în carieră. Mărimea efectului poate fi calculată prin Cohen d, ajustat pentru eșantioane dependente în funcție de corelația dintre măsurători (r= .343, p < .001), ceea ce înseamnă d= .729, respectiv un efect mediu-ridicat.
  • 16. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 7. Diferența pre-test versus post-test la scorul total de eficiență personală CE-E (N=2585).*** p < .001 O a doua metodă de a compara etapele pre-test și post-test a fost prin distribuirea elevilor în trei categorii de eficiență personală, pe baza scorurilor de la itemii subscalei. Categoriile au fost stabilite a priori, împărțind plaja de răspunsuri posibile între minimul și maximul scalei în trei intervale egale: eficiență scăzută (interval 6-17), eficiență moderată (interval 18-30) și eficiență ridicată (interval 31-42). Din graficul de mai jos se poate observa clar că în pre-test majoritatea elevilor (52.4%) este întrunită în categoria de eficiență medie. În contrast, în post-test, majoritatea elevilor (68.7%) este întrunită în categoria de eficiență ridicată. Figura 8. Distribuția elevilor din lotul activ în cele trei categorii de eficiență personală definite pe baza scorurilor totale obținute în pre-test și post-test (N=2585). 27.29 32.89 10 15 20 25 30 35 40 Pre-test Post-test Scor total eficiență personală (itemii 5-10) 11.5 52.4 36.1 2 29.2 68.7 0 10 20 30 40 50 60 70 80 Eficiență scăzută (scor 6-17) Eficiență moderată (scor 18-30) Eficiență ridicată (scor 31-42) Pre-test Post-test ***
  • 17. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! În pasul următor, testul neparametric McNemar a fost utilizat pentru a compara diferențele pre-test versus post-test în ceea ce privește distribuția procentelor de elevi în categoriile de eficiență moderată și ridicată. Rezultatul testului indică o diferență este semnificativă statistic (χ2 =341.716, p< .001). În tabelul de crostabulare de mai jos se poate observa că 774 de elevi (34.05%) au trecut din categoria de eficiență moderată (pre-test) în categoria de eficiență ridicată (post-test). În contrast, doar 100 de elevi (4.39%) au evoluat în direcția opusă. Crostabulare distribuție elevi pe baza scorurilor de eficiență personală (itemii 5-10) Testul McNemar PRE-TEST POST-TEST χ2 =518.225 p< .001 EFICIENȚĂ MODERATĂ EFICIENȚĂ RIDICATĂ EFICIENȚĂ MODERATĂ 567 774 EFICIENȚĂ RIDICATĂ 100 832 Tabel 20. Crostabulare distribuție elevi pe baza scorurilor totale la subscala de eficiență personală din CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul McNemar(N=2585). În continuare ne-am uitat dacă efectul pozitiv al intervenției CCP asupra nivelului de eficiență personală a fost înregistrat la elevii de la fiecare dintre cele 6 profiluri incluse. În tabelul de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare profil în parte. Se observă o schimbare pozitivă (o creștere a nivelului de eficiență personală) la toate cele 6 profiluri din eșantion. Profilul clasei N MEDIE (abatere standard) Mediana Testul Wilcoxon Pre-test Post-test Pre-test Post-test ARTISTIC 60 29.25 (5.210) 31.13 (5.404) 29 32 Z=5.422 p < 0.001 PEDAGOGIC 189 29.20 (7.891) 33.13 (5.849) 30 34 Z=5.794 p < 0.001 REAL 876 25.77 (7.413) 32.59 (6.273) 26 34 Z=20.637 p < 0.001 TEHNOLOGIC 707 27.74 (7.134) 33.18 (6.322) 28 34 Z=17.355 p < 0.001 TEOLOGIC 40 25.83 (7.038) 27.90 (6.771) 24.5 26 Z=2.869 p < 0.01 UMAN 710 28.11 (6.992) 33.25 (5.586) 28 34 Z=16.315 p < 0.001 Tabel 21. Subscala de eficiență personală: analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza profilului de învățământ al clasei de proveniență (N=2582).
  • 18. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Am procedat similar pentru a vedea dacă efectul pozitiv al intervenției CCP asupra nivelului de eficiență personală poate fi identificat indiferent la toți anii de studiu În tabelul de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare clasă în parte. Se observă o schimbare pozitivă la toate cele 4 clase de liceu incluse în studiu (IX-XII). Clasa N MEDIE (abatere standard) Mediana Testul Wilcoxon Pre-test Post-test Pre-test Post-test IX 305 26.62 (7.695) 32.30 (6.772) 27 34 Z=10.469 p < 0.001 X 460 27.03 (7.098) 32.85 (6.265) 28 34 Z=14.384 p < 0.001 XI 905 27.11 (6.950) 32.42 (5.684) 27 33 Z=19.775 p < 0.001 XII 889 27.78 (7.620) 33.63 (6.118) 29 35 Z=18.362 p < 0.001 Tabel 22. Subscala de eficiență personală: analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza anului de studiu al clasei de proveniență (N=2559). Am continuat cu același demers și în privința județului de proveniență al elevilor. În tabelul de mai jos sunt sintetizate diferențele pre-test vs. post-test pentru fiecare județ în parte. Se observă o schimbare pozitivă la elevii din toate cele 4 județe. JUDEȚ N MEDIE (abatere standard) Mediana Testul Wilcoxon Pre-test Post-test Pre-test Post-test BH 1861 27.44 (7.578) 33.37 (6.050) 28 34 Z=26.748 p < 0.001 BN 61 24.70 (6.591) 29.98 (7.549) 24 32 Z=6.085 p < 0.001 CJ 402 27.31 (5.829) 31.18 (5.437) 27 32 Z=13.712 p < 0.001 TM 257 26.76 (7.373) 32.79 (6.389) 27 34 Z=10.986 p < 0.001 Tabel 23. Subscala de eficiență personală: analiza pe subgrupuri a diferențelor pre-test vs.post-test prin testul Wilcoxon la elevii din lotul activ, împărțiți pe baza județului de proveniență (N=2581). Utilizând ANOVA pentru măsurători repetate am comparat în mod direct dacă există diferențe semnificative în evoluția elevilor din sub-grupurile menționate mai sus. Nu au fost identificate diferențe semnificative între grupuri în ceea ce privește clasa din care provin elevii [ F(3, 2555)=26.140, p = .868 ], dar au fost diferențe semnificative pentru județul de proveniență [ F(3, 2555)=247.180, p < .001 ] și profilul clasei [ F(5, 2553)=290.140, p < .001 ]. Graficele de mai jos prezintă evoluția scorurilor de eficiență la sub-grupurile de elevi.
  • 19. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 9. Evoluția scorurilor de eficiență personală în cele 4 subgrupuri de elevi din lotul activ definite pe baza clasei de proveniență (N=2577).
  • 20. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 10. Evoluția scorurilor de eficiență personală în cele 4 subgrupuri de elevi din lotul activ definite pe baza județului de proveniență (N=2577). Figura 11. Evoluția scorurilor de eficiență personală în cele 4 subgrupuri de elevi din lotul activ definite pe baza profilului clasei de proveniență (N=2577). Un aspect important al intervenției CCP vizează creșterea sentimentului de autoeficacitate la elevi în ceea ce privește alegerea unei ocupații potrivite. Per ansamblu, am observat deja că prin utilizarea CCP scorurile de autoeficacitate (itemul 10 din chestionarul CE-E) cresc semnificativ în lotul activ. O atenție deosebită trebuie însă acordată elevilor din clasa a XII, cei care sunt cel mai aproape de luarea unei decizii majore de carieră, respectiv finalizarea studiilor liceale, parcurgerea examenului de bacalaureat și continuarea cu alte programe de învățământ superior, de formare profesională sau angajarea într-o anumită ocupație. Prin urmare, în continuare am analizat scorurile din sub-eșantionul de elevi din clasa a XII (N=890) la itemul de autoeficacitate. Se poate vedea în graficul de mai jos că există o diferență considerabilă în distribuția scorurilor în pre-test versus post-test. În primul rând, dacă în pre-test 16.8% din elevi raportau un nivel scăzut de autoeficacitate (scoruri 1-3), doar 5.7% raportează un nivel scăzut în post-test. La polul opus, dacă 23% din elevi raportează un nivel foarte ridicat de autoeficacitate în pre-test, 43% raportează același nivel de autoeficacitate în post-test.
  • 21. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 12. Distribuția în procente a scorurilor de autoeficacitate în luarea deciziilor (itemul 10 CE-E) în lotul activ de elevi (N=890). Compararea lotului activ cu lotul de control pe scala de eficiență personală Scala de eficiență personală (itemii 5-10) înregistrează o consistență internă foarte ridicată și în lotul de control (Cronbach alpha = .824 în pre-test și .847 în post-test) și nu a fost identificat niciun item care, prin eliminarea sa, ar putea crește valoarea Cronbach alpha. În continuare prezentăm un tabel de statistică descriptivă a scorului total de la această subscală. N Minim Maxim Medie Abatere standard Mediana Mod Pre-test 148 11 42 28.73 6.285 29 32 Post-test 148 9 42 28.45 6.697 28 28 Tabel 24. Statistică descriptivă pentru scorul total pre-test și post-test în lotul de control la scala de eficiență personală CE-E. Se poate observa din tabel că valorile pre-test și post-test nu diferă foarte mult. Am folosit din nou testul nonparametric Wilcoxon pentru a vedea dacă există diferențe semnificative statistic între cele două etape. Rezultatul obținut (Z= 0.675, p =.500) confirmă faptul că nu s- au înregistrat diferențe semnificative între pretest și post-test în ceea ce privește nivelul de 3.7 5.5 7.6 11.7 20.2 28 23.3 0.3 1 4.4 6.3 15.4 29.1 43.5 0 5 10 15 20 25 30 35 40 45 50 1 2 3 4 5 6 7 Autoeficacitate în alegerea ocupației potrivite (elevi clasa XII, N=890) Pre-test Post-test
  • 22. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! eficiență personală al elevilor în lotul de control. Același rezultat a fost surprins folosind și prin testul parametric t pentru eșantioane dependente [ t(147)= 0.860, p = .391 ]. Rezultatele sunt diferite de cele obținute în lotul activ, unde s-a înregistrat o creștere semnificativă, cu o mărime medie a efectului, în scorurile de eficiență personală. Figura 13. Diferența pre-test versus post-test la scorul total de eficiență personală CE-E în lotul de control (N=148). Pentru a compara direct evoluția scorurilor de eficiență personală la elevii din cele două loturi, am utilizat ANOVA cu măsurători repetate: 2 (timp: pre-test vs post-test) x 2 (condiție: activ vs control). Rezultatele sunt sumarizate în graficul de mai jos. Există un efect semnificativ al timpului [F(1,2727) = 68.616, p < .001 ], dar se poate observa pe grafic și din tabelele de statistică descriptivă prezentate mai sus că acest efect este explicat de evoluția pozitivă a lotului activ și nu de o schimbare semnificativă în lotul de control. Într-adevăr, se înregistrează și un efect semnificativ timp x condiție [ F(1,2727) = 83.680, p < .001 ] ceea ce confirmă că evoluția scorurilor în cele două loturi este semnificativ diferită. În mod interesant, în pre-test se constată diferențe în scorurile de eficiență personală între cele două loturi [ t(170.517)= 2.691, p < .01 ], elevii din lotul activ având per ansamblu scoruri mai scăzute decât elevii din grupul de control. După intervenția CCP, situația se schimbă, astfel în post- test elevii din lotul activ înregistrează scoruri mai mari de eficiență personală decât elevii din lotul de control [t(2728)= 35.755, p < .001 ], cu o diferență medie de 4.44 de puncte. 28.73 28.45 10 15 20 25 30 Pre-test Post-test Lot control: Scor total eficiență personală (itemii 5-10)
  • 23. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 14. Evoluția diferită în cele două loturi de elevi a scorurilor de eficiență personală (** p < .01, *** p < .001). Am analizat evoluția scorurilor în lotul de control și prin metoda distribuirii elevilor în trei categorii de eficiență personală, pe baza scorurilor de la itemii subscalei. Se poate observa în graficul de mai jos că în lotul de control, ca și în cel activ, majoritatea elevilor este întrunită în categoria de eficiență moderată. În post-test însă majoritatea elevilor din lotul activ este întrunită în categoria de eficiență ridicată, pe când în lotul de control situația rămâne aceeași ca în pre-test. 5.4 56.8 37.8 7.4 52 40.5 0 10 20 30 40 50 60 Eficiență scăzută (scor 6-17) Eficiență moderată (scor 18-30) Eficiență ridicată (scor 31-42) Pre-test Post-test
  • 24. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Figura 15. Distribuția elevilor din lotul de control în cele trei categorii de eficiență personală definite pe baza scorurilor totale obținute în pre-test și post-test (N=148). Testul neparametric McNemar a fost utilizat din nou pentru a compara diferențele pre-test versus post-test în ceea ce privește distribuția procentelor de elevi în categoriile de eficiență moderată și ridicată. Rezultatul testului indică absența unei diferențe semnificative (χ2 = 0.346, p= .556). Se poate observa că 15 elevi (10.13%) din grupul de control au trecut din categoria de eficiență moderată în categoria superioară în urma perioadei de așteptare. În lotul activ însă 34.05% din elevi au înregistrat această creștere. În sens invers, 11 elevi (7.43%) din lotul de control au trecut din categoria de eficiență ridicată în categoria inferioară. În lotul activ, doar 4.39% au înregistrat această scădere. Crostabulare distribuție elevi pe baza scorurilor de eficiență personală (itemii 5-10) Testul McNemar PRE-TEST POST-TEST χ2 =0.346 p = .556 EFICIENȚĂ MODERATĂ EFICIENȚĂ RIDICATĂ EFICIENȚĂ MODERATĂ 65 15 EFICIENȚĂ RIDICATĂ 11 45 Tabel 25. Crostabulare distribuție elevi pe baza scorurilor totale la subscala de eficiență personală din CE-E și testarea semnificației diferențelor pre-test vs.post-test prin testul McNemar (N=148).
  • 25. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! REZULTATE II: EFICIENȚA CCP PENTRU CONSILIERI ȘCOLARI Compararea CCP cu mijloacele tradiționale: scala de valoare adăugată (itemii 1-6) Consistența internă a scalei de valoare adăugată (itemii 1-6) este foarte ridicată (Cronbach alpha = .898). Intercorelațiile dintre itemi sunt prezentate în tabelul de mai jos. Toate valorile p sunt semnificative la pragul .05 sau .01. 1 2 3 4 5 6 Item 1 . Item 2 .595 ** . Item 3 .885 ** .486 ** . Item 4 .702 ** .333 * .747 ** . Item 5 .514 ** .349 * .395 ** .353 * . Item 6 .885 ** .477* .853 ** .804 ** .510 ** . Tabel 26. Intercorelații itemi din scala de valoare adăugată CE-CS (N=44). În tabelul de mai jos prezentăm statisticile descriptive pentru toți itemii subscalei, precum și pentru scorul global de valoare adăugată. Dat fiind că întrebările din itemi sunt adresate în comparație cu mijloacele tradiționale de consiliere, valorile mai mari la itemi reflectă un plus de valoare a utilizării CCP în intervențiile de consiliere. Conținut item: COMPARATIV CU MIJLOACELE TRADIȚIONALE... Min Max Medie SD Mediana Mod 5. Cât de mult v-a ajutat CCP în identificarea intereselor vocaționale la elevii cu care lucrați? 3 5 4.73 .544 5 5 2. Cât de mult v-a ajutat CCP în identificarea valorilor legate de muncă la elevii cu care lucrați? 3 5 4.66 .568 5 5 3. Cât de mult v-a ajutat CCP în identificarea abilităților la elevii cu care lucrați? 3 5 4.7 .553 5 5 4. Cât de mult v-a ajutat CCP în identificarea ocupațiilor care se potrivesc cu profilul vocațional al elevilor cu care lucrați? 3 5 4.77 .565 5 5 5. Cât de mult v-a ajutat CCP în gestionarea datelor elevilor cu care lucrați? 3 5 4.8 .462 5 5 6. Per ansamblu, cât de mult v-a ajutat 3 5 4.8 .509 5 5
  • 26. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! CCP în consilierea vocațională a elevilor cu care lucrați? SCOR TOTAL: VALOARE ADĂUGATĂ CCP 19 30 28.45 2.610 30 30 Tabel 27. Statistică descriptivă pentru cei 6 itemi și scorul total din scala de valoare adăugată a utilizării CCP în consilierea vocațională comparativ cu mijloacele tradiționale de consiliere (N=44). Se poate observa foarte clar din tabelul de mai sus că marea majoritate a consilierilor școlari au considerat că CCP aduce o valoare adăugată foarte mare față de mijloacele tradiționale de consiliere. Mediana și modul răspunsurilor de la fiecare item se suprapun peste valoarea maximă a scalei (adică valoarea 5 = “foarte mult”). Figura 16. Distribuția consilierilor în trei categorii în funcție de scorurile de la scala de valoare adăugată din CE-CS (N=44). Un alt mod de a privi aceste rezultate este prin distribuirea consilierilor în funcție de scorul obținut împărțind plaja de valori în trei intervale, reprezentând nivelul de valoare adăugată al intervenției prin CCP: valoare adăugată scăzută (scoruri 5-11), moderată (12-23) și ridicată (24-30). Se poate observa în graficul de mai sus că 95.5% din consilierii școlari se întrunesc în categoria valoare adăugată ridicată, 4.5% în categoria intermediară și 0% în categoria inferioară (lipsa de valoare adăugată față de metodele tradiționale). Compararea CCP cu mijloacele tradiționale: scala de efort solicitat (itemii 7-8) Scala de efort solicitat pentru realizarea activităților de consiliere constă în doi itemi, primul care evaluează efortul solicitat de mijloacele tradiționale, iar al doilea vizează efortul solicitat de utilizarea CCP. Scorul total la această subscală se obține împărțind primul item la al doilea, obținându-se astfel un index al efortului solicitat de CCP în raport cu mijloacele tradiționale, valorile maxime reflectând un efort mai mare solicitat de mijloacele tradiționale. 0 4.5 95.5 0 20 40 60 80 100 120 Scăzută (scor 5-11) Moderată (scor 12-23) Ridicată (scor 24-30) Valoarea adăugată a utilizării CCP (față de mijloacele tradiționale) în consilierea elevilor (N=44)
  • 27. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! În tabelul de mai jos sunt prezentate statisticile descriptive ale celor doi itemi, precum și a indexului de efort. Conținut item Min Max Medie SD Mediana Mod 7. Cât de mult efort vă solicită efectuarea activităților de consiliere vocațională prin utilizarea mijloacelor tradiționale? 1 7 5.77 1.612 6.5 7 8. Cât de mult efort vă solicită efectuarea activităților de consiliere vocațională prin utilizarea platformei CCP? 1 6 1.98 1.267 2 1 SCOR TOTAL: INDEX EFORT SOLICITAT .33 7 4.13 2.610 2.503 7 Tabel 28. Statistică descriptivă pentru cei 2 itemi din scala de efort solicitat și indexul de efort al utilizării mijloacelor tradiționale versus CCP (N=44). Se poate observa din tabel că CCP înregistrează un scor mai mic pe itemul de efort (M=1.98) decât mijloacele tradiționale (M=5.77), diferență statistică semnificativă conform rezultatului de la testul Wilcoxon (Z= 5.401, p < .001). De asemenea, se poate observa că indexul de efort are o valoare medie de 4.13, adică efortul solicitat de mijloacele tradiționale în consilierea elevilor este de 4 ori mai mare decât efortul solicitat de utilizarea CCP. Luând la un loc rezultatele de pe cele două scale, faptul că CCP aduce o valoare adăugată ridicată față de mijloacele tradiționale și că efortul solicitat de CCP este de 4 ori mai mic față de acestea, putem conchide că utilizarea CCP este foarte eficientă pentru consilierii școlari.
  • 28. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! DISCUȚII Elevii din lotul activ au înregistrat o evoluție pozitivă semnificativă în urma întervenției de consiliere și orientare profesională prin platforma CCP. Beneficiile obținute de acești elevi pot fi observate atât la nivelul cunoștințelor despre identitatea vocațională, precum și la nivelul eficienței personale cu privire la orientarea profesională. În contrast, elevii din lotul de control nu au înregistrat nicio îmbunătățire în scorurile de la cele două subscale. Cunoștințele despre identitatea vocațională sunt importante pentru autonomia elevilor în orientarea lor profesională. Elevii trebuie să cunoască elementele identității vocaționale și să înțeleagă motivația pentru care sunt îndemnați să își descopere propriul profil vocațional. Rezultatele studiului de față arată că intervenția prin CCP ajută elevii să cunoască mai bine conceptele cheie ale procesului de orientare în carieră, respectiv: ce este un profil vocațional, ce sunt interesele, ce sunt abilitățile și ce sunt valorile legate de muncă. La finalul intervenției, 41.3% din elevi au răspuns corect la toate cele patru întrebări de cunoștințe și 35% din elevi au promovat de la un nivel scăzut de cunoștințe la un nivel ridicat. Rezultatele sunt încurajatoare cu atât mai mult cu cât această evoluție pozitivă a fost înregistrată la toate cele patru clase de studiu (IX-XII), la elevi din 4 profiluri de învățământ (real, uman, tehnologic și pedagogic – cuprinzând 96.17% din eșantion) și din 3 județe (BH, CJ și TM - 97.6% din eșantion). Această evoluție pozitivă a fost înregistrată nu doar la subscala de cunoștințe per ansamblu, ci la fiecare item în parte. Prin urmare, putem afirma că utilizarea CCP este eficientă pentru ca elevii să învețe conceptele cheie din procesul de consiliere profesională. Elevii au însă nevoie mai mult decât cunoștințe teoretice despre obiectivele și conceptele din consilierea vocațională. Considerăm eficientă o intervenție de consiliere atunci când elevul își cunoaște propriul profil vocațional, ocupațiile care i se potrivesc și are încredere că poate să aleagă în continuare drumul spre o ocupație potrivită. Evoluția elevilor din lotul activ înregistrată pe subscala de eficiență personală arată foarte clar beneficiile intervenției prin CCP. Dacă în pre-test majoritatea elevilor este întrunită în categoria de eficiență medie, în post-test, majoritatea elevilor (68.7%) este întrunită în categoria de eficiență ridicată. Mai exact, 34% din elevi au trecut în categoria de eficiență ridicată în urma intervenției CCP. Per ansamblu, intervenția CCP are un efect pozitiv mediu spre ridicat, iar îmbunătățirea scorurilor poate fi observată pe toți itemii subscalei, la toate clasele de elevi (IX-XII), din toate cele șase profiluri de învățământ (artistic, pedagogic, real, tehnologic, teologic și uman), din toate cele patru județe (BH, BN, CJ și TM). Cu alte cuvinte, elevii din toate subgrupurile acestui eșantion au raportat o cunoaștere mai bună a propriului profil vocațional, a ocupațiilor care li se potrivesc, a elementelor importante dintr-un profil ocupațional, precum și un nivel mai ridicat de autoeficacitate în luarea deciziilor de carieră. O atenție specială trebuie acordată studenților din clasa a XII, cei care sunt pe cale de a lua o decizie majoră de carieră, privind continuarea drumului după finalizarea studiilor liceale. Privind scorurile raportate de acești elevi (35.29% din eșantion) la itemul de autoeficacitate observăm că în urma intervenției CCP aproximativ de 3 ori mai puțini elevi raportează
  • 29. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! niveluri scăzute și aproximativ de 2 ori mai mulți elevi raportează un nivel foarte ridicat de autoeficacitate. Consilierii școlari au apreciat de asemenea utilitatea CCP în activitatea lor. Comparativ cu mijloacele tradiționale, 95% din consilierii școlari au raportat că CCP aduce o valoare adăugată ridicată, care constă în o mai bună evaluare a profilului vocațional al elevului, o identificare mai bună a ocupațiilor potrivite, precum și o gestionare mai ușoară a datelor colectate de la elevi. Consilierii școlari au apreciat totodată că efortul solicitat de utilizarea CCP în consilerea elevilor este în medie de 4 ori mai mic (38.6% au raportat de 7 ori mai mic) decât efortul solicitat de mijloacele tradiționale. Luând aceste rezultate împreună, o valoare adăugată ridicată și un efort redus, reflectă o eficiență crescută a platformei CCP în practica consilierilor școlari. Concluzii Intervenția de consiliere și orientare profesională prin intermediul platformei CCP este eficientă pentru atât pentru dezvoltarea cunoștințelor teoretice ale elevilor despre elementele importante ale procesului de consiliere, cât și pentru, mai important, dezvoltarea identității vocaționale, cunoașterea ocupațiilor potrivite și dezvoltarea autoeficacității în luarea deciziilor de carieră. Eficiența intervenției prin CCP poate fi observată în toate categoriile elevi studiate, respectiv elevi din toate clasele de liceu, de la șase profiluri de învățământ, acoperind patru județe. Luând în considerarea mărimea și diversitatea eșantionului de elevi studiat, ne așteptăm ca aceleași rezultate pozitive să fie observate și într-o populație exinsă de elevi, la nivel național. Eficiența platformei CCP se reflectă de asemenea în practica consilierilor școlari, aceștia obținând o mai bună evaluare a profilului vocațional al elevilor, o identificare mai acurată a ocupațiilor potrivite și o gestionare mai ușoară a datelor elevilor, toate cu un efort mai redus față de mijloacele tradiționale.
  • 30. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! BIBLIOGRAFIE Albu, M. (1998). Construirea și utilizarea testelor psihologice. Cluj-Napoca: Editura Clusium. Sava, F. A. (2011). Analiza datelor în cercetarea psihologică (Ediția a doua). Cluj-Napoca: Editura ASCR. ANEXE Anexa 1. Chestionar privind eficiența platformelor multiuser online de consiliere profesională – scala CE-E (10 itemi) – pentru elevi. Anexa 2. Chestionar privind eficiența platformelor multiuser online de consiliere profesională – scala CE-CS (8 itemi) – pentru consilieri școlari
  • 31. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! ANEXA 1. Chestionar privind eficiența platformelor multiuser online de consiliere profesională – scala CE-E-I (10 itemi) – pentru elevi Instrucțiuni. Citește cu atenție enunțurile de mai jos și alege pentru fiecare întrebare un singur răspuns dintre alternativele a,b,c și d. 1. La ce se referă profilul vocațional al unei persoane? A. un curriculum vitae (CV) cu traseul educațional și profesional; B. listă cu locurile de muncă ideale pe care și le dorește o persoană; C. totalitatea ocupațiilor în care o persoană s-ar descurca bine; D. acele interese, valori și abilități care caracterizează o persoană; 2. Ce sunt interesele vocaționale? A. orice stârnește curiozitatea unei persoane; B. preferințele stabile ale unei persoane pentru anumite tipuri de activități; C. totalitatea cunoștintelor pe care le are o persoană despre un domeniu de activitate; D. locurile de muncă pe care și le dorește o persoană; 3. Ce sunt valorile legate de muncă? A. se referă la rata de salarizare pe care o are un anumit loc de muncă; B. totalitatea rezultatelor pozitive pe care le-a obținut o persoană în munca sa; C. principiile dupa care o persoană stabilește ce este important în munca sa și care o motivează să lucreze; D. lucrurile importante pe care trebuie să le respecte un angajat la un anumit loc de muncă; 4. La ce se referă abilitățile unei persoane? A. totalitatea cunoștințelor pe care le-a dobândit cineva prin educație; B. capacitatea unei persoane de a se adapta la orice loc de muncă; C. totalitatea materiilor școlare la care o persoană a luat note mari; D. capacitățile unei persoane de a realiza anumite tipuri de activități;
  • 32. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Instrucțiuni. În continuare, răspunde la întrebările de mai jos alegând un număr între 1 și 7. Alege numărul care descrie cel mai bine răspunsul tău în raport cu scala de la fiecare întrebare. Te rugăm să răspunzi la aceste întrebări gândindu-te la cât de bine te cunoști în acest moment. 1. Cât de bine îți cunoști interesele vocaționale? 1 2 3 4 5 6 7 deloc foarte bine 2. Cât de bine îți cunoști valorile legate de muncă? 1 2 3 4 5 6 7 deloc foarte bine 3. Cât de bine îți cunoști abilitățile? 1 2 3 4 5 6 7 deloc foarte bine 4. Cât de bine cunoști care ocupații se potrivesc cu profilul tău vocațional? 1 2 3 4 5 6 7 deloc foarte bine 5. Cât de bine cunoști care sunt elementele unui profil ocupațional? 1 2 3 4 5 6 7 deloc foarte bine 6. Cât de încrezător/încrezătoare ești că vei alege în viitor o ocupație potrivită pentru tine? 1 2 3 4 5 6 7 deloc foarte mult
  • 33. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! ANEXA 2. Chestionar privind eficiența platformelor multiuser online de consiliere profesională – scala CE-CS (8 itemi) – pentru consilieri școlari Instrucțiuni. Vă rugăm să evaluați beneficiile pe care vi le-a adus utilizarea CCP în consilierea vocațională a elevilor comparativ cu mijloacele tradiționale utilizate anterior. Gândiți-vă la experiența dvs. cu ambele metode și răspundeți la întrebările de mai jos folosind o scală de la 1 la 5, unde: 1 = deloc sau niciun beneficiu față de mijloacele tradiționale 5 = foarte mult sau beneficii foarte mari față de mijloacele tradiționale COMPARATIV CU MIJLOACELE TRADIȚIONALE ... : 1. Cât de mult v-a ajutat CCP în identificarea intereselor vocaționale la elevii cu care lucrați? 1 2 3 4 5 deloc foarte mult 2. Cât de mult v-a ajutat CCP în identificarea valorilor legate de muncă la elevii cu care lucrați? 1 2 3 4 5 deloc foarte mult 3. Cât de mult v-a ajutat CCP în identificarea abilităților la elevii cu care lucrați? 1 2 3 4 5 deloc foarte mult 4. Cât de mult v-a ajutat CCP în identificarea ocupațiilor care se potrivesc cu profilul vocațional al elevilor cu care lucrați? 1 2 3 4 5 deloc foarte mult 5. Cât de mult v-a ajutat CCP în gestionarea datelor elevilor cu care lucrați? 1 2 3 4 5 deloc foarte mult 6. Per ansamblu, cât de mult v-a ajutat CCP în consilierea vocațională a elevilor cu care lucrați? 1 2 3 4 5 deloc foarte mult
  • 34. “Proiect cofinanțat din FONDUL SOCIAL EUROPEAN prin Programul Operaţional Sectorial Dezvoltarea Resurselor Umane 2007– 2013” Investeşte în oameni! Următoarele două întrebări se referă la efortul pe care trebuie să-l depuneți per ansamblu pentru a realiza activitățile de consiliere vocațională cu elevii, respectiv activitățile de identificare a intereselor, valorilor și abilităților, identificarea ocupațiilor potrivite, familiarizarea elevilor cu profilele ocupaționale care li se potrivesc, menținerea evidenței elevilor și gestionarea datelor etc. Estimați efortul pe care vi-l solicită aceste activități folosind o scală de la 1 la 7, unde: 1 = deloc sau absența efortului 7 = foarte mult efort 7. Cât de mult efort vă solicită efectuarea activităților de consiliere vocațională prin utilizarea mijloacelor tradiționale? 1 2 3 4 5 6 7 deloc foarte mult 8. Cât de mult efort vă solicită efectuarea activităților de consiliere vocațională prin utilizarea platformei CCP? 1 2 3 4 5 6 7 deloc foarte mult