テキストファイルの話

1. テキストファイルの話

2. ・文字化けで読めないページがある・受け取った文書ファイルが開けない・ウムラウト記号が壊れた・「髙橋」という入力が弾かれた・ ①って書いたら怒られた・ etc. →なんで？　どういう原理で？

3. 001100010011100000101110001000000100100001100101011011100110001101100101001000000111010001101 000011001010010000001110011011000010111100101101001011011100110011100111010001000000010000001 とあるファイル 001001011001100010000001111001011011110111010100100000011010110110111001101111011101110010000 001110100011010000110010100100000011001010110111001100101011011010111100100001101000010100010 000000100000001000000010000001100001011011100110010000100000011010110110111001101111011101110 010000001111001011011110111010101110010011100110110010101101100011001100010110000100000011110 010110111101110101001000000110111001100101011001010110010000100000011011100110111101110100001 000000110011001100101011000010111001000100000011101000110100001100101001000000111001001100101 011100110111010101101100011101000010000001101111011001100010000001100001000011010000101000100 000001000000010000000100000011010000111010101101110011001000111001001100101011001000010000001 100010011000010111010001110100011011000110010101110011001011100010000000100000010010010110011 000100000011110010110111101110101001000000110101101101110011011110111011100100000011110010110 111101110101011100100111001101100101011011000110011000100000011000100111010101110100001000000 110111001101111011101000010000001110100011010000110010100100000011001010110111001100101011011 010111100100101100000011010000101000100000001000000010000000100000011001100110111101110010001 000000110010101110110011001010111001001111001001000000111011001101001011000110111010001101111 011100100111100100100000011001110110000101101001011011100110010101100100001000000111100101101 111011101010010000001110111011010010110110001101100001000000110000101101100011100110110111100 100000011100110111010101100110011001100110010101110010001000000110000100100000011001000110010 101100110011001010110000101110100001011100010000000001101000010100010000000100000001000000010 000001001001011001100010000001111001011011110111010100100000011010110110111001101111011101110 010000001101110011001010110100101110100011010000110010101110010001000000111010001101000011001 010010000001100101011011100110010101101101011110010010000001101110011011110111001000100000011 110010110111101110101011100100111001101100101011011000110011000101100001000000111100101101111 011101010010000001110111011010010110110001101100000011010000101000100000001000000010000000100 000011100110111010101100011011000110111010101101101011000100010000001101001011011100010000001 100101011101100110010101110010011110010010000001100010011000010111010001110100011011000110010 1001011100000110100001010

4. 00110001 00111000 00101110 00100000 01001000 01100101 01101110 01100011 01100101 00100000 01110100 01101000 01100101 00100000 01110011 01100001 01111001 01101001 01101110 01100111 00111010 00100000 00100000 01001001 01100110 00100000 01111001 01101111 01110101 00100000 01101011 01101110 01101111 01110111 00100000 01110100 01101000 01100101 00100000 01100101 01101110 01100101 01101101 01111001 00001101 00001010 00100000 00100000 00100000 00100000 01100001 01101110 01100100 00100000 01101011 01101110 01101111 01110111 00100000 01111001 01101111 01110101 01110010 01110011 01100101 01101100 01100110 00101100 00100000 01111001 01101111 01110101 00100000 01101110 01100101 01100101 01100100 00100000 01101110 01101111 01110100 00100000 01100110 01100101 01100001 01110010 00100000 01110100 01101000 01100101 00100000 01110010 01100101 01110011 01110101 01101100 01110100 00100000 01101111 01100110 00100000 01100001 00001101 00001010 00100000 00100000 00100000 00100000 01101000 01110101 01101110 01100100 01110010 01100101 01100100 00100000 01100010 01100001 01110100 01110100 01101100 01100101 01110011 00101110 00100000 00100000 01001001 01100110 00100000 01111001 01101111 01110101 00100000 01101011 01101110 01101111 01110111 00100000 01111001 01101111 01110101 01110010 01110011 01100101 01101100 01100110 00100000 01100010 01110101 01110100 00100000 01101110 01101111 01110100 00100000 01110100 01101000 01100101 00100000 01100101 01101110 01100101 01101101 01111001 00101100 00001101 00001010 00100000 00100000 00100000 00100000 01100110 01101111 01110010 00100000 01100101 01110110 01100101 01110010 01111001 00100000 01110110 01101001 01100011 01110100 01101111 01110010 01111001 00100000 01100111 01100001 01101001 01101110 01100101 01100100 00100000 01111001 01101111 01110101 00100000 01110111 01101001 01101100 01101100 00100000 01100001 01101100 01110011 01101111 00100000 01110011 01110101 01100110 01100110 01100101 01110010 00100000 01100001 00100000 01100100 01100101 01100110 01100101 01100001 01110100 00101110 00100000 00001101 00001010 00100000 00100000 00100000 00100000 01001001 01100110 00100000 01111001 01101111 01110101 00100000 01101011 01101110 01101111 01110100 8桁に区切ってみる 01110111 01101000 00100000 01100101 01101110 00100000 01100101 01100101 01101001 01101110 01110100 01100101 01101000 01101101 01100101 01111001 01110010 00100000 00100000 01101110 01101111 01110010 00100000 01111001 01101111 01110101 01110010 01110011 01100101 01101100 01100110 00101100 00100000 01111001 01101111 01110101 00100000 01110111 01101001 01101100 01101100 00001101 00001010 00100000 00100000 00100000 00100000 01110011 01110101 01100011 01100011 01110101 01101101 01100010 00100000 01101001 01101110 00100000 01100101 01110110 01100101 01110010 01111001 00100000 01100010 01100001 01110100 01110100 01101100 01100101 00101110 00001101 00001010

5. 00110111 八つの 0/1 の並び方は、全部で256通りある

6. 49 56 46 32 72 101 110 99 101 32 116 104 101 32 115 97 121 105 110 103 58 32 32 73 102 32 121 111 117 32 107 110 111 119 32 116 104 101 32 101 110 101 109 121 13 10 32 32 32 32 97 110 100 32 107 110 111 119 32 121 111 117 114 115 101 108 102 44 32 121 111 117 32 110 101 101 100 32 110 111 116 32 102 101 97 114 32 116 104 101 32 114 101 115 117 108 116 32 111 102 32 97 13 10 32 32 32 32 104 117 110 100 114 101 100 32 98 97 116 116 108 101 115 46 32 32 73 102 32 121 111 117 32 107 110 111 119 32 121 111 117 114 115 101 108 102 32 98 117 116 32 110 111 116 32 116 104 101 32 101 110 101 109 121 44 13 10 32 32 32 32 102 111 114 32 101 118 101 114 121 32 118 105 99 116 111 114 121 32 103 97 105 110 101 100 32 121 111 117 32 119 105 108 108 32 97 108 115 111 32 115 117 102 102 101 114 32 97 32 100 101 102 101 97 116 46 32 13 10 32 32 32 32 73 102 32 121 111 117 32 107 110 111 119 32 110 101 105 116 104 101 114 32 116 104 101 32 101 110 101 109 121 32 110 111 114 32 121 111 117 114 115 101 108 102 44 32 121 111 117 32 119 105 108 108 13 10 32 32 32 32 115 117 99 99 117 109 98 32 105 110 32 101 118 101 114 121 32 98 97 116 116 108 101 46 13 10 さっきの8桁づつを、対応する数字に直す

7. ASCII表という変換ルール 0～31は制御文字。たとえば10とか13は改行をあらわす

8. 18. Hence the saying: If you know the enemy and know yourself, you need not fear the result of a hundred battles. If you know yourself but not the enemy, for every victory gained you will also suffer a defeat. If you know neither the enemy nor yourself, you will succumb in every battle. 故に曰わく、彼れを知りて己れを知れば、百戦して殆うからず。彼れを知らずして己れを知れば、一勝一負す。彼れを知らず己れを知らざれば、戦う毎に必らず殆うし。（岩波文庫『孫子の兵法』から引用）英文は、『Project Gutenberg』　より

9. 日本語の文字は、256通りでは表現できない。常用漢字だけでも 1,945文字ｶﾅﾀﾞｹｦﾋｮｳｼﾞｻｾﾃ 256 ﾄｵﾘﾆｵｼｺﾝﾀﾞｺﾄﾓｱｯﾀｹﾄﾞ

10. それじゃあ、0～256を二つあわせて一文字ってことにすれば？ [49 56] [46 32] [72 101] [110 99] … 　山　　　　本　　　　　哲　　　　也　　　　とかいった風に。これなら 256の2乗 = 65,536 文字まで表せそう… 今まで書いてきたASCII文書との互換性がなくなっちゃうからダメ

11. 0～127 が来たらASCII、 128～255が来たら「次とあわせて」日本語とみなす。 49 56 46 32 72 [201 220] 99 … a b c d e ^^^^^^^^ ここだけ日本語（1文字）これなら、ASCII文字とその他の日本語も共存できそう。

12. ASCII文書に日本語を混ぜるための具体的なルールが、シフトJIS とか、EUC とか呼ばれるもの。エンコーディングともいう。一種類で済んでいればよかったのに。

13. シフトJIS 0～127が来たら、ASCIIと同じ文字。 129～159 または 224～239 が来たら、　次のデータをくっつけて日本語文字のどれかにあてる。 160～223は、半角ｶﾅというものにあてられる。「あ」を表すデータは、130, 160。 EUC（日本語EUC） 0～127が来たら、ASCIIと同じ文字。 160～255が来たら、次のデータをくっつけて日本語文字の　どれかにあてる。 143が来たら、次のデータは半角ｶﾅという目印。「あ」を表すデータは、164, 162。

14. シフトJIS で書いたつもりのファイルを EUCと間違えて解読したら… 13 10 32 32 137 186 139 シフトJISかな？ 76 130 204 151 118 151 204 130 201 130 168 130 162 130 196 129 67 13 10 129 117 144 125 143 145 138 217 144 69 136 アタリ 245 139 179 136 231 131 118 131 141 131 79 131 137 131 128 40 73 84 140 164 143 67 41 129 118 130 240 13 10 142 192 142 123 130 162 130 189 130 181 130 220 130 183 129 66 13 10 13 10 EUCかな？ 13 10 ハズレ

15. 「エンコーディング」と、「文字セット」という概念使える文字一覧（文字セット）※符号化文字集合とも言うんだってこれらの文字からチョイスして、 abcABC データの並びに落とすルールがエンコーディング 012345 亜阿唖… 本日は晴天なり … 13 10 32 32 137 186 139 76 130 204 151 …

16. 文字セットとして主に知っているべきもの JIS（JISX0208、6897字）制定後に多少の変動があったが、最終バージョンではこれ？ JIS第一水準とか第二水準とか。日本語専用。記号含む。区点コードという背番号を文字に振っている UNICODE 世界中のすべての文字を収録することにした。何万字？シフトJIS とか EUC は、この文字セットをエンコードできない。 UTF-8というエンコーディングがこれを扱える。

17. UTF-8 UNICODEが扱えて、しかもASCII文書と互換性がある。 0～127が来たら、ASCIIと同じ文字。 192～223が来たら、次のデータとあわせて一文字分。 224～239が来たら、次と次のデータをあわせて一文字分。「あ」を表すデータは、227, 129, 130。（たった一文字で3バイトか…）

18. 使っている文字セットとエンコーディングさえわかれば、テキストファイルは必ず読める。わからなくても、ある程度推定はできる

19. 機種依存文字・外字 JISで決めているのは6897文字、シフトJISで表現できる文字数は、実はこれより数百文字多い。(EUCも) → JISで漏れた文字とかも、うちの製品では　　サービスで混ぜてあげよう。きっと便利だよ。例：

20. 機種依存文字・外字(2) → 独自の文字を作る機能をつけてあげたら？　　どうせ枠があまってるんだから、活用活用。例：

21. 結果：文書を書いたそのコンピュータ上でないと、完全な文書が読めない →将来にわたって読めるという保証が　　なくなるおそれ　　せっかくテキストファイルなのに。機種依存文字や外字には注意。

22. テキストファイルと一般的なワープロソフトで作った文書ファイルについて一般的なワープロソフト… 　　Microsoft Word? 　　JUSTシステム一太郎? 　　富士通 OASIS? 共通点：テキストだけでなく、書式なども指定できる。　　　　　　図形やイラストも混在できる。　　　　　　レイアウト機能が充実している。　　　　　　ソフトごとに、様々なセールスポイント。　　　　　　頻繁なバージョンアップ。

23. ワープロと違って、テキストファイルだけを扱うソフトを、エディタというメモ帳秀丸エディタ TeraPad vi などなど。特徴：文字の大きさや色を変えた文書は作れない基本的に、どのソフトでも互いに文書をやりとりできる

24. ワープロで作った文書ファイルは、テキストファイルとして見られるか？特に意識しない限り、そのワープロソフトでしか認識できない特殊な形式でファイルに保存する。これを読むためのルールは一般利用者には知らされない、または簡単には理解できないのが普通。開発した会社が勝手にルールを変えちゃう権利もある

25. Wordで文書作って…

26. メモ帳で読み込んでみた

27. テキストファイル形式の保存に対応している

28. 謎の引継ぎ文書

29. 謎の添付ファイル

30. 解決法… ・　印刷＆FAX ・　必ず同じソフトを使わせる・　文字だけなら、テキスト化・　PDFに変換してしまうのも可　　（あとで編集するのは難しいが）

31. PDFは正確にはテキストファイルではないが、仕様がはっきり公開されている。これに沿ったプログラムさえ作れば、読める。

32. 補足的なルールを持ったテキストファイル・　◆ ・　HTML ・　CSV ・　XML etc.

33. その他の話題・　TAB記号・　全角スペース・全角英数字・　保存する媒体・　「みんなが読めない文書」を望む人も　　いるのでは？ etc.

テキストファイルの話

You are reading a preview.

テキストファイルの話

More Related Content

Featured

Related Books

Related Audiobooks