Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
486
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
3
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 『自然言語処理の基礎』1章 自然言語処理概論 梶原 智之
  • 2. 1.1 自然言語処理自然言語処理 (NLP : natural language processing) ・ コンピュータに「ことば」を理解させる ・ コンピュータ上で「ことば」を処理する
  • 3. 1.2 4つの解析ステップ1.形態素解析 (morphological analysis) テキストを単語に分割 単語を原型に戻す 単語の品詞を決定する2.構文解析 (syntactic analysis) 単語間の構文的関係を決定する3.意味解析 (semantic analysis) 単語や文の意味を決定する4.文脈解析 (contextual analysis) 複数の文にまたがる処理を行う
  • 4. 1.2 4つの解析ステップa. 入力されたものが正しいかどうか判定b. 正しいものに対して可能な解析結果を数え上げるc. その中から妥当な結果を選択し解析結果を得る
  • 5. 1.3 自然言語処理の概要文法性 (grammaticality), 容認度 (acceptability) ・ 文法的 (grammatical) ・ 非文法的 (ungrammatical) → 非文 (ungrammatical sentence) : 正しくない文 例 : 東京で行く
  • 6. 1.3 自然言語処理の概要制約 (constraint) これに反するものを非文として排除する 例 : 否定の接尾辞「ない」は用言の直後にはあらわれるが 体言の直後にはあらわれないという規則 → 「さかない」に対して 咲かない「さか(動詞:咲く)+ない」の可能性を残して 坂ない「さか(名詞:坂)+ない」の可能性を排除する選好 (preference) もっともらしい解を優先するという規則 例 : 「このひとこと」に対して この一言「この(連体詞)+ひとこと(名詞:一言)」 この日と事「ひ(名詞:日)+と(助詞)+こと(名詞:事)」
  • 7. 1.3 自然言語処理の概要曖昧性 (ambiguity), 多義性 (polysemy) 可能な解析結果が複数得られること ・ 語彙的曖昧性 (lexical ambiguity) 多義である語が使われている場合 例 : 涙を飲む ・ 構造的曖昧性 (structural ambiguity) 特定の語の曖昧性ではなく、集まり方による曖昧性 例 : 白い犬の小屋漠然性 (vagueness) そもそも単語の意味が確定していないこと 例 : 品格