昨年のAliEaters#18の勉強会で発表したいと思い作成したスライド。

1. Alibaba Cloud Developers MeetUp #18 AliEaters
OSS SDK compatible with Japanese
2021.07.14

2. const myself : Introduction = {
name: {
handle : "うし",
},
gender : "bull",
assignment : "AliEaters Sendai Organaizer",
role: {
title : "system engineer",
development : ["PHP", "Java", "JS ", "node.js", "DENO", "LISP", "Ruby", "Golang", "TypeScript", etc … ]
},
SNS : {
twitter : "@tangniuwan",
blog : "arcturus.hateblo.jp"
},
comment : "about 4years have passed since I first met Alibaba Cloud",
remark : "Alibaba Cloud MVP was awarded in Sep. 2019. ",
characteristic : "some developed language lover"
};
* The remarks are personal and not the official views of the organization to which they belong.
Self Introduction

3. １. SDK of OSS（Object Storage Service）
OSSのSDKを使った
２. Japanese and Chinese
日本語と中国語（繁体字と簡体字）の共通の漢字
３. Fix it
日本語に対応する様にした
４. Wrap Up
まとめ
Agenda
議題

4. クライアント様がCMで使用する動画を一般公募する為、
動画のアップロードを実施するサイトを構築しました。
〇構成
ECS
Lang : PHP7.x
SDK of OSS（Object Storage Service）
OSSのSDK
OSS SDK
（aliyun-oss-php-
sdk）
OS : CentOS7.x
OSS
Cloud
Monitor
Function
Compute

5. OSSのSDKでやったこと
ECSからOSS SDK（aliyun-oss-php-sdk）を使用して
投稿された動画ファイルをOSSへアップロードしました。
ちなみにソースコードは、
ドキュメントセンターにあるものを
使用させて頂きました。
via. https://www.alibabacloud.com/help/ja/doc-detail/88473.htm
SDK of OSS（Object Storage Service）
OSSのSDK

6. が、いざ動作させてテストをしていると
「そんなファイルないよ。 」とエラーが返却されます。
アップロードファイル アップロード処理結果
北海道testテスト.png → testƥ.png file does not exist
見て頂いて分かる通り、日本語が消え文字化けを起こしています。
SDK of OSS（Object Storage Service）
OSSのSDK

7. なして？
SDK of OSS（Object Storage Service）
OSSのSDK

8. ということで、GitHubを確認（https://github.com/aliyun/aliyun-oss-php-sdk/）
SDK of OSS（Object Storage Service）
OSSのSDK

9. ソースコードを追っかけると
OssUtil.php（PATH: /oss-sdk-php/src/OSS/Core/OssUtil.php）の
344行目にあるメソッドで、ファイル名をUTF-8からGBKにエンコードしています。
via. https://github.com/aliyun/aliyun-oss-php-sdk/blob/master/src/OSS/Core/OssUtil.php
SDK of OSS（Object Storage Service）
OSSのSDK

10. 事象
エンコードの際、中国語で且つ、WindowsOSか？を判定していますが、
日本語「北海道testテスト.png」を指定した場合、中国語と誤判定されます。
では何故、日本語を指定しているにも関わらず、「chkChinese」メソッドで、
中国語と判定されるのか？
SDK of OSS（Object Storage Service）
OSSのSDK

11. メソッド（chkChinese）を確認
preg_match関数で「/[x80-xff]./」が指定されていました。
これは非ASCII文字範囲で、２バイト文字を含まない半角の英数字、記号、制御記号（空白等）が
含まれるか？を判定し、含まれる場合は、ファイル名丸々をUTF-8からGBKに変換しています。
結果、日本語ファイルが誤変換され、文字化けを起こします。
SDK of OSS（Object Storage Service）
OSSのSDK

12. Japanese and Chinese
日本語と中国語（繁体字と簡体字）の共通の漢字
原因が判明したので修正
とりあえず、日本語だけでもエンコードされない様に。とのことで
先程の「encodePath」メソッドで日本語だったらエンコードされない様にすれば良い。くらいに
考えていましたが、 ここで大きなミスに気づきます。
皆さんご存じだと思いますが…
中国語には、繁体字と簡体字がありますよね。
そして、繁体字と簡体字と日本語で、被る文字って沢山あるよね。。（汗

13. Japanese and Chinese
日本語と中国語（繁体字と簡体字）の共通の漢字
パターン
例えば、「作」という漢字は、日本語にも繁体字にも簡体字にも存在します。
また「義」という漢字は、日本語と繁体字にはあるけど、
簡体字には違う文字として存在していたりします。
例）パターン一覧
しかも、 CJK統合漢字 と言うモノがあり、例えば「沈」という漢字は、中日韓で言語を問わず同じコード。。
日本語 繁体字 簡体字 パターン
図 圖 图 三者三葉
作 作 作 三者同一
黒 黑 黑 日本語だけ違う
痴 癡 痴 繁体字だけ違う
義 義 义 簡体字だけ違う

14. Fix it
日本語に対応する様にした
修正方針
という事で、「chkChinese」メソッドの修正内容を以下の方針としコーディングしました。
また、幸い？「checkChar」（GBK＝「繁体字・簡体字」を判定するメソッド）や、
「isGb2312」（簡体字を判定するメソッド）が既に実装されており、流用させて頂きました。
・半角文字（１バイトの文字）を削除
・残った文字列に、日本語（ひらがな・カタカナ・漢字）が含まれてたら「日本語」
・更に繁体字か、簡体字で構成されているかを確認

15. Wrap Up
まとめ
まとめ
・SDKをいじると内部的なものが色々見えてくる。（未確認ですが、AWSのS3SDKとして共用できそう）
・色々な言語でSDKがあるので、各種いじるのが楽しい。
OSSのSDKの改修としては
・朝鮮語など、他言語での動作は不明です。
・ファイル名に日本語が含まれてもエラー無くアップロードが出来ます。
・日本語で使用する分には問題なく動作します。
・ユニットテストが通ったので、イシューたてて、プルリクしたいと思うが意味あるかな？
フォークしたリポジトリ
https://github.com/arcturus-technologies/aliyun-oss-php-sdk

16. EOF
ご清聴ありがとうございました