1. Perl и Unicode Олег Алистратов Perl Mova– 2010

2. Зачем нужен Unicode?

3. Unicode в .ru 100 000 случайных сайтов Top 350*сайтов * По данным GoalEurope / Rating of Russian Web 2.0 Companies 2008

4. История

5. Трафик: text/plain Увеличение размера кириллического текста на 79%

6. Трафик: text/html Увеличение размера HTML с русским текстом на 14% Медианный размер 100 тыс. случайно выбранных русскоязычных страниц

7. Трафик: gzipped

8. Производительность: платформы Mobile Intel® Celeron® 560 @ 2.13 GHz, RAM 1 GbMicrosoft® Windows® XP SP3ActiveState Perl v5.10.0 Intel® Core™2 Duo E7400 @ 2.80 GHz, RAM 2 GbUbuntu 9.10 Karmic Koala linux 2.6.31-14-serverperl v5.10.0 Intel® Xeon® E5450 @ 3.00 GHz ×2, RAM 32 GbFreeBSD® 6.2-RELEASE-p3perl v5.8.8

9. Строковые функции 107% 112% 105 … 172%

10. Регулярные выражения 120…600% 115% 2100...6500%

11. Регулярные выражения use re 'debug'; $a =~ //; DIGIT $a =~ /[0-9]/; ANYOF[0-9] $a =~ /(?:0|1|2|3|4|5|6|7|8|9)/; TRIEC-EXACT[0-9]

12. Исходный файл в UTF-8 { use utf8; my $a = 'Привет!'; print length($a), ""; } > 7 { no utf8; my $a = 'Привет!'; print length($a), ""; } > 13

13. Символы и байты use utf8; # or use encoding "cp1251"; my $a = 'Привет!'; print length($a), ""; use bytes; print length($a), ""; > 7 > 13 use encoding::warnings 'FATAL';

14. Исключения chdir, chmod, chown, chroot, exec, link, lstat, mkdir, rename, rmdir, stat, symlink, truncate, unlink, utime, -X %ENV glob (<*>) open, opendir, sysopen qx/…/, system readdir, readlink

15. Encode use utf8; use Encode; my $x = 'a -> b'; $x = Encode::encode( 'windows-1251', $x, Encode::FB_HTMLCREF ); print $x, ""; > a &#8594; b

16. Символы my $copy = "00a9"; my $copy = "{00a9}"; my $copy = pack('U', 0x00a9); print $copy; > ©

17. Регулярные выражения my $copy = '©'; $copy =~ /{00a9}/; $copy !~ /{Uppercase}/; $copy =~ /{Other_Symbol}/; $copy =~ /{InLatin-1_Supplement}/; $copy !~ /{InCyrillic}/; $copy !~ /{BidiClass:R}/;

18. IO open(my $fh, "<:utf8", "file.txt"); open(my $fh, "<:encoding(UTF-8)", "file.txt"); open(my $fh, "<:encoding(cp1251)", "file.txt"); binmode(STDOUT, ":utf8"); RTFM Encode::Supported

19. LWP use LWP::UserAgent; my $ua = LWP::UserAgent->new; my $response = $ua->get("http://example.com"); if ($response->is_success) { my $content = $response->decoded_content; if (defined($content)) { # ... } }

20. Базы данных MySQL $dbh->do('SET NAMES utf8'); $dbh->{mysql_enable_utf8} = 1; PostgreSQL $dbh->do("SET client_encoding TO 'UTF8'"); $dbh->{pg_enable_utf8} = 1; SQLite $dbh->{sqlite_unicode} = 1;

21. Конвертация БД $mysqldumpdb_name > dump.sql $iconv -f cp1251 -t utf-8 dump.sql > newdump.sql $sed -i .bak "s/cp1251/utf8/" newdump.sql $mysql < newdump.sql

22. perl 5.12 Расширена поддержка классов и свойста символов до стандартаUnicode 5.2.0 usecharnames':full'; print"{GREEK SMALL LETTER ALPHA}"

23. Спасибо! Олег Алистратов http://alienator.ya.ru http://clubs.ya.ru/regexp/