Recommended
More Related Content
Viewers also liked
Viewers also liked (19)
Unicode, character encodings in programming and standard persian keyboard layout
- 1. بیژن ابراهیم »عضو گروه کاربران لینوکس مشهد« MashhadLUG.org @bijan@quitter.se
- 2. یون ک کد “”The Unicode جلسه باز نرم افزاری مشهد، ۴ اسفند ۲۹
- 4. چرا یون ک کد؟ “Why Unicode?”
- 5. اگر فکر م کنید … ”... “if you think متن ساده ک یون کد ASCII انکدینگ )۲ بایت( کیبورد فارس مایکروسافت مناسب فارس نویس است یا برای فارس نویس نیاز به ابزار فرمتبندی است
- 6. اگر تا حال… ”... “If by now
- 7. انکدینگ کاراکتر “The Character Encoding”
- 8. انکدینگ کاراکتر چیست؟ “What is The Character Encoding?”
- 10. تاریخچه یون ک کد “The unicode History”
- 11. انکدینگ ا اسک ”“ASCII Encoding ✔ ۷ بیت )۸۲۱ کاراکتر( ✔ ۳۳ کاراکتر کنترل ✔ ۵۹ کاراکتر چاپ ✔ ۱ بیت اضافی
- 12. اسک و بیت اضافی ”“ASCII and the extra bit ✔ گسترش سیستم های ۸ بیت ✔ بیت مورد علهقه توسعه دهندگان 1 2 3 4 5 6 7 x x x x x x x ♥ ۸۲۱ کاراکتر اضافی
- 13. اسک و بیت اضافی “ASCII and the extra bit”
- 14. آنس و تولد ک کدپیج ها Codepage dependent Fixed “ANSI and The birth of the Code Pages” CP437 (IBM) CP1256 (Arabic)
- 15. مشکل ت ک کدپیج ها ”“Code Pages Problems ✔ چندزبانه سازی عمل غیرممکن بود ✔ مشکل در ارتباط با سیستم های مختلف دیگر ✔ نامناسب برای زبان های آسیای
- 16. تفاو ت میان کاراکتر کدپیج ها “Difference between codepages characters” $ python print chr(202).decode('cp437') ╩ print chr(202).decode('cp1256') ت
- 17. استاندارد یون ک کد “The Unicode standard”
- 19. استاندارد یون ک کد “The Unicode standard” Basic Latin A Letter ISO Control Uppercase Lowercase Whitespace Digit Left to Right ... AlphaNumeric Mirrored Code Point U+hexadecimal
- 20. خصوصیا ت کاراکترهای یون ک کد “Unicode characters properties” $ python import unicodedata as ud ud.name(u”)”ب 'ARABIC LETTER BEH' ud.category(u”)”ب 'Lo' ud.numeric(u”۳”) 3.0
- 21. استاندارد یون ک کد “The Unicode standard” Code Point U+hexadecimal 0100110011011001011010 0100100011101010101101 0011001100000110010101 0101000100111101101101 0010110100101010111101 01010101010101
- 22. انکدینگ های یون ک کد “The Unicode encodings” “Hello” U+0048 U+0065 U+006C U+006C U+006F
- 23. انکدینگ های یون ک کد “The Unicode encodings” “Hello” U+0048 U+0065 U+006C U+006C U+006F 0048 0065 006C 006C 006F 4800 6500 6C00 6C00 6F00
- 24. انکدینگ های یون ک کد “The Unicode encodings” “Hello” U+0048 U+0065 U+006C U+006C U+006F 0048 0065 006C 006C 006F low-endian 4800 6500 6C00 6C00 6F00 hi-endian
- 25. انکدینگ های یون ک کد “The Unicode encodings” “Hello” U+0048 U+0065 U+006C U+006C U+006F FFFE Byte Order Mark (BOM) 0048 0065 006C 006C 006F low-endian FEFF 4800 6500 6C00 6C00 6F00 hi-endian
- 26. انکدینگ های یون ک کد “The Unicode encodings” “Hello” U+0048 U+0065 U+006C U+006C U+006F FFFE Byte Order Mark (BOM) 0048 0065 006C 006C 006F low-endian UCS-2 FEFF 4800 6500 6C00 6C00 6F00 hi-endian
- 27. مشکل ت انکدینگ های یون ک کد ”“The Unicode encodings cons ✔ عدم بهینگ در فضا با نگهداری بیت های صفر ✔ عدم سازگاری با انکدینگ اسک ✔ عدم سازگاری با برنامه های هقدیم
- 28. UTF-8 انکدینگ “The UTF-8 encoding”
- 29. UTF-8 انکدینگ “UTF-8 encoding” طول متغیر Bites First Last Bytes Byte 1 Byte 2 Byte 3 Byte 4 Byte 5 7 U+000 U+007F 1 0xxxxxxx 11 U+0080 U+07FF 2 110xxxxx 10xxxxxx 16 U+0800 U+FFFF 3 1110xxxx 10xxxxxx 10xxxxxx 21 U+10000 U+1FFFFF 4 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx 26 U+200000 U+3FFFFFF 5 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 31 U+400000 U+7FFFFFFF 6 1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx Byte 6 10xxxxxx
- 30. UTF-8 انکدینگ “UTF-8 encoding” بایت مقدم Byte 1 0xxxxxxx 110xxxxx 1110xxxx 11110xxx 111110xx 1111110x بایت های ادامه Byte 2 Byte 3 Byte 4 Byte 5 Byte 6 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx معرف تعداد بایت های ادامه
- 31. مزایای انکدینگ 8UTF ”“The UTF8 encoding pros ✔ ✔ ✔ بهینه در نگهداری فضا هقابلیت کشف خطا سازگاری کامل با انکدینگ اسک 48 65 6C 6C 6F 48 65 6C 6C 6F ”“Hello ”“Hello ASCII 8-UTF
- 32. دیگر انکدینگ های یون ک کد “Other unicode encodings” ✔ UCS-2 (LE-BE) + BOM ✔ UTF-16 (LE-BE) + BOM ✔ UTF-32 (LE-BE) + BOM ✔ UTF-7
- 33. دیگر انکدینگ های یون ک کد “Other unicode encodings” $ python unichr(202).encode('utf-16le') 'xcax00' unichr(202).encode('utf-16be') 'x00xca' unichr(202).encode('utf-16') 'xffxfexcax00' unichr(202).encode('utf-32') 'xffxfex00x00xcax00x00x00' unichr(202).encode('utf-7') '+AMo-'
- 34. تبدیل انکدینگ ها “Character Encodings conversion”
- 35. یک نکته طلیئ “A Golden note”
- 36. »در حافظه چیزی به نام «متن ساده وجود ندارد ”There's nothing as plain text on memory”
- 37. »داشتن یک رشته بدون دانستن نوع اندینگ آن «ب معن است ”It does not make sense to have a string without knowing what encoding it uses”
- 38. ۱. ارسال نوع انکدینگ “Sending the encoding type” ✔ HTTP Content-Type: text/html; charset=UTF-8 ✔ HTML 4 meta http-equiv=Content-Type content=text/html; charset=UTF-8 ✔ HTML 5 meta charset=UTF-8 ✔ XML xml encoding=UTF-8
- 39. ۱. ارسال نوع انکدینگ “Sending the encoding type” $ curl -I http://google.com HTTP/1.1 301 Moved Permanently Location: http://www.google.com/ Content-Type: text/html; charset=UTF-8 Date: Mon, 24 Feb 2014 12:32:10 GMT Expires: Wed, 26 Mar 2014 12:32:10 GMT Cache-Control: public, max-age=2592000 Server: gws Content-Length: 219 X-XSS-Protection: 1; mode=block X-Frame-Options: SAMEORIGIN $
- 40. ۲. شناسای نوع انکدینگ “Detecting the encoding type” نوع انکدینگ مشخص نیست ✔ اطلعا ت نوع انکدینگ هقابل اطمینان نیست ✔ https://en.wikipedia.org/wiki/Charset_detection http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html
- 41. راهکار شناسای انکدینگ موزیل “Mozilla universal charset detection” ک ش شمای کد ✔ نسبت توزیع حروف ✔ نسبت توزیع دو حرف متوال ✔ https://en.wikipedia.org/wiki/Charset_detection http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html
- 42. راهکار شناسای انکدینگ موزیل “Mozilla universal charset detection” $ python import chardet hello world.encode(utf16) 'xffxfehx00ex00lx00lx00ox00 x00wx00ox00rx00lx00dx00' chardet.detect(“xffxfehx00ex00lx00lx00 o x00x00wx00ox00rx00lx00dx00”) {'confidence': 1.0, 'encoding': 'UTF-16LE'}
- 43. !۳. حدس زدن نوع انکدینگ “Guess the type of encoding!”
- 44. استفاده از یون ک کد در همه جا کافی است؟ “is using unicode in everywhere enough?”
- 46. $ str=”#216;#170;#216;#179;#217;#136;#217;#138 ;#217;#135; #217;#130;#216;#168;#217;#136;#216;#182; #216;#162;#216;#168;” $ dec2hex(){ echo “obase=16; $1” | bc } $ echo $str | grep -o “[0-9]*” | while read num; do echo -n “x`dec2hex #num`”; done | chardet stdin: utf-8 (confidence: 0.99) $ python real_string = (chr(216)+chr(170)+chr(216)+chr(179)+...).decode(“ut f8”).encode(“ascii”, “xmlcharrefreplace”) real_string '#1578;#1587;#1608;#1610;#1607;#1602;#1576;# 1608;#1590;#1570;#1576;' print real_string تسويه قبوض آب روستائي استان خراسان رضوي
- 47. همیشه شما تنها !تولیدکننده محتوا نیستید “You're not always the only content producer!”
- 48. یون ک کد و چندزبان “Unicode and multilingual”
- 49. متن دوجهت “Bi-Directional Text” « مباشدBi-Directional »این یک متن RTL LTR RTL
- 50. جهت کاراکترها ”“Character's directional کاراکترهای ضعیف Weak Characters اعداد کاراکترهای هقوی Strong Characters کاراکترهای خنث Neutral Characters حروف الفبا فاصله های خال علیم نگارش
- 51. کیبورد استاندارد فارس “Persian standard keyboard”
- 52. مؤسسه استاندارد و تحقیقا ت صنعت ایران “Institute of Standards And Industrial Research of Iran”
- 53. استانداردهای مل صفحه آرای )کیبورد( فارس “National standards of persian layout”
- 54. 028 ISIRI »حروف فارس در ماشین تحریر« ۲۵۳۱
- 55. 1092 ISIRI »طرز هقرارگرفتن حروف و علیم زبان فارس بر روی صفحه کلید« ۳۷۳۱
- 56. 7419 ISIRI »چیدمان حروف و علیم فارس بر صفحه کلید رایانه«
- 57. استاندارد مل ۷۴۱۹ “7419 ”ISIRI ✔ ک مبتن بر استاندارد یون کد ✔ سازگار با استاندارد ۱۰۹۲ ✔ نویسه های استاندارد شده ۹۱۲۶ ✔ دستور خط فارس مصوب فرهنگستان زبان و ادب
- 58. کیبورد استاندارد فارس “Persian standard keyboard”
- 59. کیبورد استاندارد فارس ”“Persian standard keyboard نام اتصال مجازی کاراکتر یونیکد ک ZERO WIDTH JOINER کد پوینت یونیکد ک ک U+200d کد HTML ;zwj
- 60. مثال های از سطح ۱ کیبورد استاندارد فارس ب ب ب ` ` ب ب ` ب `
- 61. مثال های از سطح ۱ کیبورد استاندارد فارس ۲۱ 1 2 21 1 Num Lock 2 Num Lock
- 62. کیبورد استاندارد فارس “Persian standard keyboard”
- 63. کیبورد استاندارد فارس ”“Persian standard keyboard نام اتصال مجازی فاصله مجازی کاراکتر یونیکد ک ZERO WIDTH JOINER ZERO WIDTH NON-JOINER کد پوینت یونیکد ک ک U+200d کد HTML ;zwj U+200c ;zwnj
- 64. مثال های از سطح ۲ کیبورد استاندارد فارس میشود م ی ش و د
- 65. مثال های از سطح ۲ کیبورد استاندارد فارس م شود م ی Space ش و د
- 66. مثال های از سطح ۲ کیبورد استاندارد فارس م شود م ی Shift + Space ش و د
- 67. مثال های از سطح ۲ کیبورد استاندارد فارس “نقل هقول” “ ن ق ل ق و ل “
- 68. مثال های از سطح ۲ کیبورد استاندارد فارس »نقل هقول« Shift ق + و L ل ن ق Shift ل + K
- 69. کیبورد استاندارد فارس “Persian standard keyboard”
- 70. کیبورد استاندارد فارس “Persian standard keyboard” HTML کد کد پوینت یونیکد ک ک کاراکتر یونیکد ک نام rlm; U+200f RIGHT-TO-LEFT MARK نشانه راست به چپ lrm; U+200e LEFT-TO-RIGHT MARK نشانه چپ به راست #8235; U+202b RIGHT-TO-LEFT EMBEDDING زیر متن راست به چپ #8234; U+202a LEFT-TO-RIGHT EMBEDDING زیر متن چپ به راست #8236; U+202c POP DIRECTIONAL FORMATTING پایان زیر متن
- 71. کیبورد استاندارد فارس ”“Persian standard keyboard نام کاراکتر یونیکد ک کد پوینت یونیکد ک ک کد HTML زیرمتن اکیدا راست به چپ RIGHT-TO-LEFT OVERRIDE U+202e ;8328# زیرمتن اکیدا چپ به راست RIGHT-TO-LEFT OVERRIDE U+202d ;7328#
- 72. مثال های از سطح ۳ کیبورد استاندارد فارس و ... و Space . . .
- 73. مثال های از سطح ۳ کیبورد استاندارد فارس و… و Right Alt + m
- 74. مثال های از سطح ۳ کیبورد استاندارد فارس به معنای سلم Hello H e l l o ب ه ن ا ی س ل ا م م ع
- 75. مثال های از سطح ۳ کیبورد استاندارد فارس Helloبه معنای سلم + right Alt ه م م 0 H e l l o ب ع ن ا ی س ل ا
- 76. مثال های از سطح ۳ کیبورد استاندارد فارس وارد درایو /:cشوید و ا ر د د ر ا c : / ش و ی د ی و
- 77. مثال های از سطح ۳ کیبورد استاندارد فارس وارد درایو /: cشوید و ا + right Alt ش و ر د د ر [ c : / ی د ا ی + right Alt و p
- 78. کیبورد استاندارد فارس و سازگاری با گذشته Persian Standard keyboard and backward compatibility
- 80. با تشکر از وهقت و حوصله شما Thank you for your time and patience
- 81. پرسش و پاسخ “”Question/Answer ک یون کد توسط بیژن ابراهیم