コメントの指摘を受けて修正しました(2014/1/14)

1. アラビア語とペルシャ語の
見分け方
DSIRNLP#5 2014/1/11
Nakatani Shuyo @ Cybozu Labs

2. アラビア語とペルシャ語を
見分ける一番簡単な方法
5

3. Chrome で開く

4. ダメ？
7

5. 「ペルシャ語……
ペルシャってまだあったっけ」
なんて人いませんよね？

6. ペルシャ語はイランの公用語
• 4000万人以上の話者
– タジキスタンのタジク語、アフガニスタンの
ダリー語もほぼペルシャ語
via http://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%82%A4%E3%83%AB:MapOfPersianSpeakers.png

7. アラビア語とペルシャ語とか
wktk が止まらないよね
読める？

8. 読める？
• wktk
• ktkr
• kwsk
• mjsk
• mjd
全部読めちゃった人は
生活を見直しましょう
• gkbr
• ggrks
11

9. 母音を補完
• wktk → wAkUtEkA
→ わくてか
• ktkr
→ きたこれ
→ kItAkOrE
• kwsk → kUwAsIkU
→ くわしく
• mjsk → mAjIsUkA
→ まじすか
• mjd
→ まじで
→ mAjIdE
• gkbr → gAkUbUrU
→ がくぶる
• ggrks → gUgUrEkAsU → ぐぐれかす
12

10. 実はアラビア語は
「全文 wktk 状態」
13

11. アラビア文字
• 原則子音のみ表記し、母音は文脈から推定
– クルアーン（コーラン）や子供向け文章には母音記
号が付加される
– ウイグル語など一部は母音にも文字を割り当て
アラビア語
綴り
読み
意味
‫كتب‬
‫مكتب‬
‫مكتبة‬
ktb
kataba
book
mktb
makitab
office/desk
mktbẗ
maktabaa
library
14

12. アラビア文字
• 右から左に書く＆続け書きで形が変わる
–‫ع ل ى‬
→ ‫على‬
–‫ك ت ب‬
→ ‫كتب‬
–‫ل ا‬
→ ‫ال‬
15

13. アラビア語とペルシャ語
• どっちがどっち？
‫من یک گربه‬
‫أنا لست القط‬
• 難しそう？
– そうでもないよ！
16

14. アラビア語とペルシャ語
• 文法はぜんぜん違う
– アラビア語はアフロ・アジア語族
• 語順は VSO型、be動詞にあたるものはない
– ペルシャ語はインド・ヨーロッパ語族
• 語順は SOV型、名詞の性や格変化はない
– が、言語の区別にはあまり役立たないかな…
17

15. アラビア語とペルシャ語
• 文字セットは一部違う
– 基本２８字は両方で用いる
– アラビア語のみ用いる：ハムザ ‫( ء‬ハムザ付き文字含む)
とター・マルブータ ‫ة‬
– ペルシャ語のみ用いる：ペルシャ語で追加された６文字
（‫）ی گ ک ژ چ پ‬
– いずれも頻度の高い文字が含まれるので、十分役に立つ
• 数字セットも違うが……
– 「アラビア文字の数字」より「アラビア数字」の方がもっ
ぱら使われるので役には立たない
18

16. アラビア語とペルシャ語
• 語彙はぜんぜん違う（特に機能語）
– アラビア語起源の単語もそれなりにある（特にイ
スラム関連）が、異なる機能語が圧倒的に多いの
で見分けるのは意外と容易
– たまたま両言語共通の頻出単語 ‫( من‬mn) でも
• アラビア語では min と読んで from の意味
• ペルシャ語では man と読んで I(一人称単数)の意味
19

17. アラビア語とペルシャ語は
文字と単語でだいたい見分けられる
20

18. 見分け文字
アラビア語
‫ء‬
‫أ‬
‫ؤ‬
‫إ‬
‫ئ‬
‫ة‬
U+0621
U+0623
U+0624
U+0625
U+0626
U+0629
ペルシャ語
‫پ‬
‫چ‬
‫ژ‬
‫ک‬
‫گ‬
‫ی‬
U+067e
U+0686
U+0698
U+06a9
U+06af
U+06cc

19. 見分け単語
アラビア語
‫في‬
‫ال‬
‫هللا‬
‫على‬
‫كل‬
‫أن‬
‫وال‬
in
no
God
to
each
that
or
ペルシャ語
‫که‬
‫از‬
‫تو‬
‫رو‬
‫در‬
‫این‬
‫با‬
that
from
you
(face)
in
this
with
22

20. まとめ
• ６個の文字＆７個の単語をカウントする
だけで
– アラビア語ツイートは82%くらい
– ペルシャ語ツイートは97%くらい
• 判別できます
23