Download as PDF, PPTX
Uploaded byKatsuhiro Morishita
Pandas利用上のエラーとその対策
Pythonの便利ライブラリの一つであるpandasを使っているうちに出てくる文字コード由来のエラーとその対策についてまとめました 。
Pandas利用上のエラーとその対策
- 1. pandas利用上のエラーと その対策 ver. 1.1 主に文字列のエラーを扱います。 厳密には異なる部分もあると思いますが、鉞を投げないで下さい。 なお、特に断りがなければ、Windows10, Office 2016の環境です。 2017-07-19 森下功啓
- 2. 更新履歴 • 2017-07-11 ver.1.0 公開開始 • 2017-07-19 ver. 1.1 解決策を追加
- 3.
- 4. コンピュータの中の日本語 • 文字をコンピュータで扱うには文字コードセットが利用される • 数値と文字を紐づけることで文字を表示している •ASCIIコードが有名 • 日本語は、Windowsではshift-jisが使われている • Macや他のOSではUTF-8が標準的 • 影響はファイルの中身だけでなく、ファイル名にも及ぶ
- 5. UTF-8とShift-jis 同じ文面でも、文字コードが異なると数値の配列が変わる。 Sublime textで編集した日本 語を含むテキストファイル （UTF-8） ↑のファイルをFCCheckerを 使って文字コードをShift-jis に変換したテキストファイル （ Shift-jis） Stirling（バイナリエディタ）で閲覧したテキストファイル Stirling（バイナリエディタ）で閲覧したテキストファイル
- 6. ソフトウェアとデフォルトの文字コード • ソフトウェアによって、標準的な文字コードが異なる • SublimetextはUTF-8が標準 • WindowsのExcelは、csvを作成するときはShift-jisが標準 Win Excelを使って作った csvファイル（ Shift-jis ） Sublime textでは 文字化け Sublime textを使って作った csvファイル（UTF-8） Excelでは 文字化け
- 7. ExcelにUTF-8のcsvファイルを読み込ませる • Sublime textで作ったテキストファイルはBOM無のUTF-8 •BOMは文字コードを区別する3byteのバイナリデータ • Win版ExcelはBOM付きUTF-8を読み込むことができる KanjiTranslatorなどを使って BOM付きに変換する Excelでファイルを開いても 文字化けしていない Sublime textを使って作った csvファイル（UTF-8）
- 8.
- 9.
- 10.
- 11. Excelを使って列名を日本語にしてみた @Win10 Sublime textでは文字化けしている とあるデータ 列名が英語である。 症状：‘utf-8’ codeccan‘t decode byte・・・略 ↓utf-8のcodecがデータをデコード できなかったと訴えています。 実行してみると
- 12.
- 13.
- 14.