Laboratoire de Sciences Cognitives et Psycholinguistique, EHESS-ENS-CNRS, Paris
Departement d’Etudes Cognitives, ENS
Difficultés persistantes dans la
perception des sons étrangers
Emmanuel Dupoux
Groupe Compas 2008
Les bases biologiques du langage
(Lenneberg 1967)
langage parlé langage écrit
• dans toutes les sociétés + -
• éducation nécessaire - +
• acquisition explosive + -
• correlation avec QI - +
! période critique pour le langage parlé (puberté)
! latéralisation progressive dans l’hémisphère gauche
Les différents niveaux de traitement
Sémantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique
Acquisition d’une 1ère langue
Acquisition d’une 1ère langue
Apprentissage d’une première langue:
L’Hypothèse Bottom-Up
Sémantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique
Apprentissage d’une première langue:
L’Hypothèse Bottom-Up
Sémantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique
Apprentissage d’une première langue:
L’Hypothèse Bottom-Up
Semantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique
Apprentissage d’une seconde langue:
une stratégie top-down?
Semantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique
• Hypothèse: les niveaux de traitement acquis
très tôt pendant l ’enfance sont difficile à
changer dans l ’acquisition d ’une langue
étrangère.
Le traitement des sons linguistiques
1. les catégories segmentales
Code lexical
Segmentation et
identification
des mots
Code prélexical
Décodage
Phonétique
Code acoustique/phonétique
Les bébés perçoivent la parole
de façon catégorielle
/ba/ /da/
Intra Inter
Contrôle
test de t
Contrôle Inter
Intra
Eimas et al, 1971 test de t
test de t
Dehaene-Lambertz & Baillet, NeuroReport, 1998
Les catégories dépendent des langues
L ’émergence des catégories
phonémiques
6-8mois 8-10mois 10-12mois 10-12mois
Werker & Tees (1984)
Les catégories phonémiques:
• sont formées pendants la première année de vie
• sur la base de l ’input acoustique disponible
• elles déterminent notre perception des Maye and Gerken (2002)
contrastes maternels et étrangers
Les voyelles
3 vowels systems 20 vowels systems
~
~
i u i~ u
i u ~
I U I U
~
e -- õ
e -- o
o õ
a
e~
æa D ã ãD
(Aranda, Greenlandic) (Panjabi)
Kuhl (1996): learning at 6 months
La mise en route du langage
Naissance
1 discrimination de langues/rythme (Mehler et al. 1988)
2
segmentation en syntagmes intonationels (Hirsh-Pasek et
3 al. 1987)
4 catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)
5 segmentation statistique des mots (Jusczyk & Aslin 1995)
6
segmentation en syntagmes phonologiques (Gerken et al.
7 1994)
8 contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk
9 et al. 1993, 1994)
10 mots de function (Shady 1996)
11 répertoire de consonnes (Werker & Tees 1984)
12
début du lexique
(mois)
Le traitement des segments
Code lexical
Segmentation et
identification
des mots
Catalan
Japonais Espagnol
[‰a] [e,\"]
[\"] Code prélexical
Assimile au segment
phonétiquement le plus Prototypes
Décodage
proche
consonnes et
Phonétique voyelles
|e, \"| Code acoustique/phonétique
|e, \"|
|la, ®a|
Apprentissage d’une L2
Spanish-Catalan bilinguals (L2 started at age 4) (Pallier et al, 1998)
[e] vs [\"] classification Lexical decision: long term repetition priming
[pera] ... [pera]
[p\"ra] ... [pera]
Apprentissage d’une L2
Spanish-Catalan bilinguals (L2 started at age 4) (Pallier et al, 1998)
[e] vs [\"] classification Lexical decision: long term repetition priming
[pera] ... [pera]
[p\"ra] ... [pera]
2. Les suprasegments
• l’accent tonique durée pitch qualité
– espagnol: bébe vs bebé !
– italien: ‘ancora vs anc‘ora ! !
– anglais: record vs record ! !
• la gémination
– japonais: to vs too
kita vs kitta
• les tons
– chinois, suédois
Spécialisation de la perception des
suprasegments
– Difficulties for English hearers with
Chinese tones (Wang et al. 2000)
– Tokyo dialect versus non-accented Mito &
Kumamoto dialect (Otake & Cutler, 1999).
• significantly less sensitivity to pitch accent in making
lexical judgments
• more reliance on guessing (based on vocabulary statistics)
– Duration ‘ deafness’: (Dupoux et al. 1997)
• tookjoo ! tokjo
• kjooto ! kjoto
Spanish
French
– Stress ‘ deafness ’
• ABX discrimination task (Dupoux, Pallier, Sebastian, Mehler, 1997)
Spécialisation suprasegmentale à 9
mois
20
18
16
Mean looking time (sec)
14
12
Switch
10
Same
8
6
4
2
0
Spanish (n=24) French (n=24) French (n=24)
Skoruppa, K., Pons, F. Christophe, A., Bosch, L. Dupoux, E.,
Sebastián-Gallés, N., Limissuri, R.A., Peperkamp, S. (submitted)
La mise en route du langage
Naissance
1 discrimination de langues/rythme (Mehler et al. 1988)
2
segmentation en syntagmes intonationels (Hirsh-Pasek et
3 al. 1987)
4 catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)
5 segmentation statistique des mots (Jusczyk & Aslin 1995)
6
spécialisation suprasegmentale (Jusczyk et al, Skoruppa et al)
7
segmentation en syntagmes phonologiques (Gerken et al.
8 1994)
9 contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk
10 et al. 1993, 1994)
mots de function (Shady 1996)
11
12 répertoire de consonnes (Werker & Tees 1984)
(mois)
début du lexique
Le traitement des suprasegments
French Spanish
[bébe, bebé]
[bebe] Phonological
Code
Assimilate to the closest phonetic
Suprasegmental
legal form Phonetic syllables
Prototypes
Decoding
|bébe, bebé|
|bébe, bebé|
Acoustic/Phonetic Code
French (N=32) Late learners (N=51) Spanish (N=32)
Total amount of exposure to Spanish
small (N=16) moderate (N=18) large (N=17) all late learners
Biographic data
Mean age 25 26 27 30 28 22
Country of testing
N=18 (35%)
France N=32 (100%) N=4 (25%) N=6 (33%) N=8 (47%) 0%
Spain N=0 (0%) N=12 (75%) N=12 (67%) N=9 (53%) N=33 (65%) 100%
Language background
16.1
Mean age of acquisition n.a. 17 17.1 14.3 n.a.
2.0
Mean number of years spent in a Hispanic country n.a. 0.6 1.8 3.4 n.a.
76%
Learned Spanish in school n.a. 80% 67% 88% n.a.
73%
Learned Spanish at university n.a. 75% 56% 88% n.a.
54%
Regularly visits Hispanic countries n.a. 9% 56% 94% n.a.
51%
Regularly speaks Spanish in private life n.a. 13% 64% 74% n.a.
96%
Regular speaks Spanish in professional/student life n.a. 94% 94% 100% n.a.
Subjective assessment
Importance of Spanish (1: no importance - 10:extremely important )
Mean n.a. 8.94 8.94 9.35 9.08 n.a.
0.15
SE n.a. 0.28 0.31 0.12 n.a.
Pronunciation (1: extremely poor - 10: perfect)
6.92
Mean n.a. 6.25 6.61 7.88 n.a.
SE n.a. 0.50 0.41 0.24 0.25 n.a.
Grammar (1: extremely poor - 10: perfect)
7.24
Mean n.a. 6.75 7.00 7.94 n.a.
SE n.a. 0.43 0.28 0.29 0.20 n.a.
Vocabulary (1: extremely poor - 10: perfect)
7.37
Mean n.a. 6.94 7.22 7.94 n.a.
SE n.a. 0.31 0.37 0.20 0.18 n.a.
Production
Native-like accent (1: extremely poor - 6: perfect)
2.90
Mean n.a. 2.03 2.78 3.80 5.67
0.19
SE n.a. 0.28 0.25 0.32 0.09
Stress errors
12.1%
Mean n.a. 16.4% 14.9% 4.5% 0.0%
2.0
SE n.a. 3.8 3.2 2.5 0.0
Lexicon
Errors in Lexical Decision
10.7%
Mean na. 14.6% 10.5% 5.9% 1.7%
1.3
SE na. 2.6 2.0 1.5 0.5
French (N=32) Late learners (N=51) Spanish (N=32)
Total amount of exposure to Spanish
small (N=16) moderate (N=18) large (N=17) all late learners
Biographic data
Mean age 25 26 27 30 28 22
Country of testing
N=18 (35%)
France N=32 (100%) N=4 (25%) N=6 (33%) N=8 (47%) 0%
Spain N=0 (0%) N=12 (75%) N=12 (67%) N=9 (53%) N=33 (65%) 100%
Language background
16.1
Mean age of acquisition n.a. 17 17.1 14.3 n.a.
2.0
Mean number of years spent in a Hispanic country n.a. 0.6 1.8 3.4 n.a.
76%
Learned Spanish in school n.a. 80% 67% 88% n.a.
73%
Learned Spanish at university n.a. 75% 56% 88% n.a.
54%
Regularly visits Hispanic countries n.a. 9% 56% 94% n.a.
51%
Regularly speaks Spanish in private life n.a. 13% 64% 74% n.a.
96%
Regular speaks Spanish in professional/student life n.a. 94% 94% 100% n.a.
Subjective assessment
Importance of Spanish (1: no importance - 10:extremely important )
Mean n.a. 8.94 8.94 9.35 9.08 n.a.
0.15
SE n.a. 0.28 0.31 0.12 n.a.
Pronunciation (1: extremely poor - 10: perfect)
6.92
Mean n.a. 6.25 6.61 7.88 n.a.
SE n.a. 0.50 0.41 0.24 0.25 n.a.
Grammar (1: extremely poor - 10: perfect)
7.24
Mean n.a. 6.75 7.00 7.94 n.a.
SE n.a. 0.43 0.28 0.29 0.20 n.a.
Vocabulary (1: extremely poor - 10: perfect)
7.37
Mean n.a. 6.94 7.22 7.94 n.a.
SE n.a. 0.31 0.37 0.20 0.18 n.a.
Production
Native-like accent (1: extremely poor - 6: perfect)
2.90
Mean n.a. 2.03 2.78 3.80 5.67
0.19
SE n.a. 0.28 0.25 0.32 0.09
Stress errors
12.1%
Mean n.a. 16.4% 14.9% 4.5% 0.0%
2.0
SE n.a. 3.8 3.2 2.5 0.0
Lexicon
Errors in Lexical Decision
10.7%
Mean na. 14.6% 10.5% 5.9% 1.7%
1.3
SE na. 2.6 2.0 1.5 0.5
90
80 Phoneme
Stress
70
60
Percent Error
50
40
30
20
10
0
Training Test Training Test Training Test Training Test Training Test
French Beginners Intermediate Advanced Spanish
Bilinguals
STM task: sequence recall
90
80 Phoneme
Stress
70
60
Percent Error
50
40
30
20
10
0
Training Test Training Test Training Test Training Test Training Test
French Beginners Intermediate Advanced Spanish
Bilinguals
STM task: sequence recall
Stress ‘deafness’ in good bilinguals 1
sequence repetition
recall
100
80
% error (stress minus
60
phoneme)
40
20
0
-20
-40
-60
French 'bad' 'good' Spanish
monolinguals bilinguals bilinguals monlinguals
73% 27%
Stress ‘deafness’ in good bilinguals 2
lexical decision
100
80
% error (stress minus
60
phoneme)
40
20
0
-20
-40
French 'bad' 'good' Spanish
monolinguals bilinguals bilinguals monlinguals
73% 27%
3. la structure syllabique:
(ou les illusions phonologiques)
• Japonais
syllabes légales: V, CV, VN, CVN
syllabes illégales: *CVC, *CCV, ...
! insérer /u/ après une
emprunts:
consonne de coda, ou
! [sufi˜kusu]
“Sphinx” dans un cluster d’onset
(insérer /o/ après une
“Christmas” ! [kurisutomasu]
stop dentale)
• Français
syllabes légales: CCV: dra, pnØ
syllabes illégales: CCV: *dla, * npØ, ...
• Berber
Les voyelles fantômes
Détection de voyelle Tâche ABX
time
% u detection
100
S1 S2 S3
Response
A B A
80
B
A B A or B
Japanese
female voice male voice
60
40
Conditions:
cluster: ebuzo-ebzo
French
20
ebu zo
vowel length: ebuzo-ebu…
0
Other No 0ms 14ms 29ms 44ms 58ms Full
Cluster - Vowel score (%)
50
[ebazo] [ebzo] [ebuzo]
0
-50
French Japanese
Dupoux, Kakehi, Hirose, Pallier, & Mehler (1997)
ERPs de haute densité
600 ms
Ebuzo …Ebizo
Time
Ebzo … Ebizo
r
ist
D
S4
S3
S2
S1 S5 Ebuzo … Ebzo
B
B
B
B A Deviant Ebzo … Ebuzo
nt
ia
ev
A
A
A
A A
D
Control
Ebuzo …Ebuzo
6 female voices male voice
l
ro
Ebzo … Ebzo
t
on
0 25 50 75 100
C
Japanese French #v
+
400
-400
800
[ebuzo] 200
vs _
+
[ebzo] Mismatch Negativity
+
.001 .01 .05 .05 .01 .001
p
Dehaene-Lambertz, Dupoux & Gout (2000)
Où? IRMf
Phonological Acoustic
p<.001
Phonological - Acoustic
Supramaginal Gyrus
L
Superior Temporal Gyrus
p<.005
Jacquemot, Pallier, Dehaene, Lebihan and Dupoux (submitted)
illusion phonologique à 14 mois
12
Same
Switch
*
10
† **
8
Looking time (sec)
6
4
2
0
French infants Japanese infants French infants Japanese infants
8 month-olds 14 month-olds
Average looking times during same and switch trials for French and Japanese 8 and 14 month-old infants
† p= .053 * p< .03 ** p< .003
La mise en route du langage
Naissance
1 discrimination de langues/rythme (Mehler et al. 1988)
2
segmentation en syntagmes intonationels (Hirsh-Pasek et
3 al. 1987)
4 catégories de voyelles (Kuhl et al. 1992; Polka & Werker 1994)
5 segmentation statistique des mots (Jusczyk & Aslin 1995)
6
segmentation en syntagmes phonologiques (Gerken et al.
7 1994)
8 contraintes phonotactiques (Friederici & Wessels 1993; Jusczyk
9 et al. 1993, 1994)
10 mots de function (Shady 1996)
11 répertoire de consonnes (Werker & Tees 1984)
12
début du lexique
(mois)
Le role de la structure syllabique
Code lexical
Segmentation et
identification
des mots
Portugais
Japonais
Brésilien
[e.bu.zo, en.zo] [e.bi.zo]
Code prélexical
Assimile à la plus proche Prototypes
Décodage
syllabe
syllabiques
Phonétique
Code acoustique/phonétique
|ebzo, enzo| |ebzo|
Apprentissage d’une L2:
la persistence des voyelles fantomes
• Japanese Monolinguals (N=10)
• French Monolinguals (N=12)
• Japanese-French Late learners (N=20)
– French after 12
– more than 1.5 year outside Japan
• Perception: /u/ detection on a ebzo-ebuzo
continuum
• Production: imitation of tokens from continuum;
scoring by two phoneticians
100% 100%
%u perceived
80%
%u produced
80%
Japanese
60% 60%
Late
learners
40% 40%
French
20% 20%
0% 0%
ne
ll
r
0
3
4
1
2
er
he
ne
l
fu
4
1
2
0
3
ful
no
oth
ot
no
duration of /u/
duration of /u/
• French-Japanese late learners (N=16)
– native Japanese speakers
– late learners of French
– between 2 and 7 years in France
lexical decision (french stimuli)
60
sequence repetition
50
100 40
error rate
80
percent error
30
60
20
40
10
20
0 0
ebiza vs eboza ebza vs ebuza policier plicier boulanger blanger
contrast V insertion V deletion
Nakamura & Dupoux (work in progress)
epenthese en decision lexicale versus en short term
memory
100
80
short term task (seq=4) (Errs)
60
40
Français
Japonais
20
0
-20 0 20 40 60
-20
-40
blanger/aluphabet - plicier/alaphabet (Errs)
Le traitement des sons linguistiques
le filtre phonologique
Code lexical
Segmentation et
identification
des mots
Code prélexical
« Surdité »
Pas plastique!
phonologique
Décodage
Phonétique
Code acoustique/phonétique
Apprentissage d’une seconde langue:
une stratégie top-down?
Semantique
Syntaxe
Lexique
Mots de fonction
Intervention?
Phonologie
Acoustique
Apprentissage d’une seconde langue:
une stratégie top-down?
Semantique
Syntaxe
Lexique
Mots de fonction
Phonologie
Acoustique
Age d’acquisition et accent étranger
Flege, Yeni-
Komshian, & Liu
(1999).
! pourquoi?
• Peu de plasticité pour une langue apprise
‘ tardivement ’:
– Compétition entre le système phonologique maternel et
le système de la L2
– Période critique
• Stratégies de compensation
– relative plasticité de la phonétique en production, par
rapport à la perception
– existence de modes de traitement alternatifs (l ’écriture)
– compensation par le contexte
• Degrés de plasticité différents en fonction du
niveau de traitement
– grande plasticité lexicale
– relative plasticité syntaxique (Neville et al 1994, Flege et al,
1999)
Conclusions
• Certain tasks show plasticity, others not
– perception tasks:
• good performances:
– /u/ detection,
• bad performances:
– /u/ classification,
– STM encoding /u/ vs 0
– standard lexical decision
– lexical decision catches /u/ vs 0
– production tasks
• good performances:
– imitation,
– reading
– naming
• Problems in perception and not in production ….
aha … !
Lexical Code Lexical Code
Word Form Word Form
Identification Retrieval
Short Term
Phonological store
Input Output
Phonological Code Phonological Code
Phonetic Phonetic
Decoding
Non plastic
Encoding
Quite plastic
Articulatory/Phonetic
Acoustic/Phonetic
Code
Code
Lexical Code Lexical Code
Word Form Word Form
Identification Retrieval
Short Term
Phonological store
Input Output
Phonological Code Phonological Code
L2 specific
Phonetic expertise
Phonetic Phonetic
Decoding
Non plastic
Encoding
Quite plastic
Acoustic-
Articulatory/Phonetic
Acoustic/Phonetic Articulatory
Code
Code Conversion
Quite plastic
Why do late learners have a foreign
accent?
Flege, Yeni-
Komshian, & Liu
(1999).
0 comments
Post a comment