Providing very basic information about Chinese string processing: segmentation and tokenization 提供中文斷詞(分詞、切詞)的基本資訊。。。

1. 國立政治大學
資訊科學系、語言學研究所
羅國峯、劉昭麟
2015年4月25日

2.  中文斷詞(又稱分詞、切詞)，是把中文連續
漢字分割成有意義的詞彙的工作
 這是一個不容易的問題，直到今日，都沒
有計算模型可以提供完美的斷詞
 或許您可以考慮一些公開、半公開的斷詞
軟體工具來處理這一問題
 您可以使用您所欲研究的部分文本資料，
來測試個別軟體工具的斷詞成效，然後選
擇最適合該文本特性的斷詞工具
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-2

3.  如果您的研究團隊具備程式設計能力，或許可
以進一步整合不同工具的斷詞結果，以達成某
種形式的 “最佳化”
 在這一份投影片中，我們提供一些由政大資科
所研究生羅國峯先生在2015年一月所進行的比
較結果
 請留意、每一個軟體工具都可能隨時在改進，
因此請自行另外進行測試
 這一份投影片原本由羅國峯所準備，之後再經
劉昭麟於四月份稍加編排而成
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-3

4.  中研院中文斷詞系統
 http://ckipsvr.iis.sinica.edu.tw/
 如果您所研究的語料是中文繁體資料，我們特別推薦這一選項
 Stanford Word Segmenter
 http://nlp.stanford.edu/software/segmenter.shtml
 Python Jieba中文分詞
 https://pypi.python.org/pypi/jieba/
 Rwordseg
 https://r-forge.r-project.org/R/?group_id=1054
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-4

5.  我們以少量不同屬性的文本考驗不同斷詞工具的成效
 使用的語料如下
1. 繁體文言文：三國演義
2. 繁體白話文：一般新聞資料
3. 簡體文言文：三國演義
4. 簡體白話文：一般小說
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-5

6. 原文： 滾滾長江東逝水，浪花淘盡英雄。是非成敗轉頭空：青山依舊在，
幾度夕陽紅。白髮漁樵江渚上，慣看秋月春風。一壺濁酒喜相逢：古今多少
事，都付笑談中。
1.中研院斷詞系統
滾滾(VH) 長江(Nc) 東逝水(Na) ，浪花(Na) 淘盡(VJ) 英雄(Na) 。是非(Na) 成敗(Na) 轉
頭(VA) 空(VHC) ：青山(Na) 依舊(D) 在(P) ， (COMMACATEGORY) 幾度(D) 夕陽(Na) 紅
(VH) 。白髮(Na) 漁樵江渚(Nc) 上(Ncd) ，(COMMACATEGORY) 慣(VH) 看(VC) 秋月(Nd) 春
風(Na) 。一(Neu) 壺(Nf) 濁酒(Na) 喜相逢(VA) ：古今(Nd) 多少(Neqa) 事(Na) ，都(D)
付(VD) 笑談(Na) 中(Ng) 。
2. Stanford Word Segmenter
滾滾長 江東 逝水 ， 浪花 淘盡 英雄 。是非 成 敗轉 頭空 ： 青山 依舊 在 ， 幾度 夕 陽紅 。
白髮漁 樵江 渚上 ， 慣 看 秋月 春風 。一 壺濁 酒 喜相 逢 ： 古今 多少 事 ， 都 付 笑 談中 。
3. Jieba中文分詞
滾滾長 江東 逝水 ， 浪花 淘盡 英雄 。 是非 成敗 轉頭空 ： 青山 依舊 在 ， 幾度 夕陽紅 。
白 髮 漁樵江 渚 上 ， 慣看 秋月 春風 。 一壺 濁 酒 喜相逢 ： 古今 多少 事 ， 都 付笑 談中 。
4. Rwordseg
滾滾 長江 東 逝 水， 浪花 淘 盡 英雄。是非 成敗 轉頭 空 青山 依舊 在 幾度 夕陽紅。白髮
漁 樵 江 渚 上， 慣 看 秋 月 春風。一 壺 濁酒 喜 相逢 ：古今 多少 事， 都 付笑談 中。
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-6

7. 原文: 近期與台北市長柯文哲互摃，愈來愈低調的鴻海集團董事長郭台銘，
今天上午悄悄現身桃園罹難勇消的靈堂前，向家屬致意，鴻海集團表示，
郭台銘是以中華民國義消總會總顧問身分出席，並且以個人名義，捐贈
600萬元，慰問6位罹難的消防人員家屬，各100萬元撫慰金。另外，永安
分隊消防員陳鳳翔的兩位子女，永齡基金會未來將協助完成學業。
1.中研院斷詞系統
近期(Nd) 與(Caa) 台北市長(Na) 柯(Nb) 文哲(Na) 互摃(VC)，愈來愈(Dfa) 低調(VH) 的(DE) 鴻
海(Nb) 集團(Na) 董事長(Na) 郭台銘(Nb)，今天(Nd) 上午(Nd) 悄悄(D) 現身(VA) 桃園(Nc) 罹難
(VH) 勇消(Na) 的(DE) 靈堂(Nc) 前(Ncd) ，向(P) 家屬(Na) 致意(VB)，鴻海(Nb) 集團(Na) 表示
(VE)，郭台銘(Nb) 是以(Cbb) 中華民國(Nc) 義消(Na) 總會(Nc) 總顧問(Na) 身分(Na) 出席(VC)，
並且(Cbb) 以(P) 個人(Na) 名義(Na)，捐贈(VD) ６００萬(Neu) 元(Nf)， 慰問(VC) ６(Neu) 位
(Nf) 罹難(VH) 的(DE) 消防(A) 人員(Na) 家屬(Na)，各(Nes) １００萬(Neu) 元(Nf) 撫慰(VC)
金(Na)。另外(Cbb)，永安(Nc) 分隊(Na) 消防員(Na) 陳鳳翔(Nb) 的(DE) 兩(Neu) 位(Nf) 子女(Na)，
永齡(Nb) 基金會(Nc) 未來(Nd) 將(D) 協助(VC) 完成(VC) 學業(Na)。
2. Stanford Word Segmenter
近期 與 台北市 長柯文哲 互摃 ， 愈 來愈 低調 的 鴻海 集團 董事長 郭台銘 ， 今天 上午 悄悄 現
身 桃園 罹難 勇 消 的 靈堂 前 ， 向 家屬 致意 ， 鴻海 集團 表示 ， 郭台銘 是 以 中華民國 義消總
會總顧問 身分 出席 ， 並且 以 個人 名 義 ， 捐贈 600 萬元 ， 慰問 6 位 罹難 的 消防人 員家屬 ，
各 100 萬元撫 慰金 。 另外 ， 永 安分隊 消防員 陳鳳翔 的 兩 位 子女 ， 永齡 基金 會未來將協 助
完成 學業 。
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-7

8. 3. Jieba中文分詞
近期 與 台北市 長 柯文 哲互 摃 ， 愈來 愈 低調 的 鴻 海集團 董事 長 郭台銘 ， 今天上午 悄悄 現身 桃園
罹難 勇消 的 靈堂 前 ， 向家屬 致意 ， 鴻海 集團 表示 ， 郭台銘 是 以 中華民國義消 總會 總顧問 身分
出席 ， 並且 以個 人 名義 ， 捐贈 600 萬元 ， 慰問 6 位 罹難 的 消防人 員家屬 ， 各 100 萬元 撫慰 金 。
另外 ， 永安 分隊 消防 員陳鳳翔 的 兩位 子女 ， 永齡 基金 會未來 將協助 完成 學
業 。
4. Rwordseg
近期 與 台北市 長 柯文哲 互 摃 愈來愈 低調 的 鴻 海 集團 董事長 郭台銘 今天 上午 悄悄 現身 桃園 罹難
勇 消 的 靈堂 前 向 家屬 致意 鴻 海 集團 表示 郭台銘 是 以 中華民國 義 消 總會 總 顧問 身分 出席 並且
以 個人 名義 捐贈 600萬元 慰問 6位 罹難 的 消防 人員 家屬 各 100萬元 撫慰 金 另外 永安 分隊 消防 員 陳
鳳翔 的 兩位 子女 永 齡 基金會 未來 將 協助 完成 學業
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-8

9. 原文：滚滚长江东逝水，浪花淘尽英雄。是非成败转头空：青山依旧在，
几度夕阳红。白发渔樵江渚上，惯看秋月春风。一壶浊酒喜相逢：古今
多少事，都付笑谈中。
1. Stanford Word Segmenter
滚滚 长江 东 逝水 ， 浪花 淘尽 英雄 。是非 成败 转头 空 ： 青山 依旧 在 ， 几 度 夕 阳红 。白发 渔樵
江渚 上 ， 惯 看 秋月 春风 。一 壶 浊酒 喜相 逢 ： 古今 多少 事 ， 都 付 笑谈 中 。
2. Jieba中文分詞
滚滚 长江 东 逝水 ， 浪花 淘尽 英雄 。 是非成败 转头 空 ： 青山 依旧 在 ， 几度 夕阳红 。 白发 渔樵
江渚上 ， 惯看 秋月春风 。 一壶 浊酒 喜相逢 ： 古今 多少 事 ， 都 付笑谈 中 。
3. Rwordseg
滚滚 长江 东 逝 水， 浪花 淘 尽 英雄。是非 成败 转头 空：青山 依旧 在， 几度 夕阳红
白发 渔 樵 江 渚 上， 惯 看 秋 月 春风。一 壶 浊酒 喜 相逢： 古今 多少 事， 都 付笑谈 中。
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-9

10. 原文：这老者一拳，竟打出了一个巨大的漩涡，这漩涡中心黑色，如同一个黑
洞，形成恐怖的吸力，扭曲四周的虚无时，呼啸直奔孟浩身前的金寒宗老祖。
金寒宗老祖尽管神色茫然，但毕竟是问道巅峰的修为，挥手间身前雾气翻滚，
形成一把雾剑，直奔漩涡而去。 李家第三祖，身影飘渺，脚下有阵法光芒环
绕，所过之处，立刻封印之力浩荡，眨眼环绕一圈，直接将那老者以及鳄鱼封
印在内。
1. Stanford Word Segmenter
这 老者 一 拳 ， 竟 打出 了 一 个 巨大 的 漩涡 ， 这 漩涡 中心 黑色 ， 如同 一 个 黑洞 ， 形成 恐怖
的 吸力 扭曲 四周 的 虚无 时 ， 呼啸 直奔 孟浩 身前 的 金 寒 宗 老祖 。 金寒宗 老祖 尽管 神色 茫然 ，
但 毕竟 是 问道 巅峰 的 修 为 ， 挥手 间 身前 雾气 翻滚 ， 形成 一 把 雾 剑 ， 直 奔 漩涡 而 去 。李
家 第三 祖 ， 身影 飘渺 ， 脚 下有 阵法 光芒 环绕 ， 所 过 之 处 ， 立刻 封印 之 力 浩荡 ， 眨眼 环绕 一
圈 ， 直接 将 那 老者 以及 鳄鱼 封印 在内 。
2. Jieba中文分詞
这 老者 一拳 ， 竟 打出 了 一个 巨大 的 漩涡 ， 这 漩涡 中心 黑色 ， 如同 一个 黑洞 ， 形成 恐怖 的 吸力 ， 扭
曲 四周 的 虚无 时 ， 呼啸 直奔 孟浩身 前 的 金寒宗 老祖 。 金寒宗 老祖 尽管 神色 茫然 ， 但 毕竟 是 问道 巅峰
的 修为 ， 挥手 间 身前 雾气 翻滚 ， 形成 一把 雾 剑 ， 直奔 漩涡 而 去 。 李家 第三 祖 ， 身影 飘渺 ， 脚下 有
阵法 光芒 环绕 ， 所过 之处 ， 立刻 封印 之力 浩荡 ， 眨眼 环绕 一圈 ， 直接 将 那 老者 以及 鳄鱼 封印 在内 。
3. Rwordseg
这 老者 一拳， 竟 打 出 了 一个 巨大 的 漩涡， 这 漩涡 中 心 黑色， 如同 一个 黑洞， 形成 恐怖 的 吸力， 扭曲
四周 的 虚无 时， 呼啸 直奔 孟浩身 前 的 金寒宗 老 祖。金寒宗 老 祖 尽管 神色 茫然， 但 毕竟 是 问道 巅峰 的
修 为， 挥手 间 身 前 雾气 翻滚， 形成 一把 雾 剑 直奔 漩涡 而 去。李家第三 祖， 身影 飘渺， 脚下 有 阵法 光
芒 环绕， 所 过 之 处， 立刻 封 印之力 浩荡， 眨眼 环绕 一圈， 直接 将 那 老者 以及 鳄鱼 封 印 在 内。
2015年4月25日 臺灣數位人文小小讚 中文斷詞基本資料-10