Haskellでテキスト圧縮(の前処理)

Haskell でテキスト圧縮の前処理

Haskell でテキスト圧縮
@hsjoihs
の前処理

2 年前
• 夏季セミナーで Haskell を勉強

2 年前
• Haskell すごい！

2 年前
• Haskell 楽しい！

2 年前
• Haskell 楽しい！
• 関数型言語最高！

ということで今回は
関数プログラミング
珠玉のアルゴリズムデザイン

を目指すべく

という本で勉強

という本で勉強
プロになれたと
は言っていない

今回の内容
Haskell での効率的な Burrows-Wheeler 変換の実装

Burrows-Wheeler 変換とは
リストの並び替えにより重複する要素をま
とめ、

とめ、
ランレングス法などの圧縮法の効率を

とめ、
大幅に高めることのできる可逆変換

Burrows-Wheeler 変換とは (take 2)

情報を圧縮する時に使える

情報を圧縮する時に使える
賢いアルゴリズム

例えば
'this, that or the other'

例えば
＿人人人人人人人人人人人人人人人＿
＞　繰り返し部分が散らばっている　＜
￣ Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ^ ￣

例えば
散らばっている　

例えば
↓

例えば
↓
まとめたい

ここで突然
文字列を回してみる

これをさらに

これをさらに
…行ごとにソートすると

拡大

拡大
原文に "th" が多い
↓
"h" で始まる行の終わりは "t" になりや
すい

ということは

ということは
r
t
e
,
r
s
h
h
h
t
t
t
t
h
e
o
i
a
o
|

ということは
rte,rshhhtttth eoia o|

ということは

ということは
バラバラ

ということは
バラバラ
まとまった

他の例
the rain in Spain stays mainly in the plain|

他の例
バラバラ

他の例
nnnyseenn lrpmthhtta aa apn iiiiiiS y s |la
バラバラ

他の例
nnnyseenn lrpmthhtta aa apn iiiiiiS y s |la
バラバラ
まとまった

さらに例
peter piper picked a peck of pickled pepper|

さらに例
バラバラ

さらに例
rdkadrfr eiieepklppptpopppccck pi| eeeee
バラバラ

さらに例
rdkadrfr eiieepklppptpopppccck pi| eeeee
バラバラ
まとまった

先ほど
とめ、
大幅に高めることのできる可逆変換

OK
とめ、
大幅に高めることのできる可逆変換this, that or the other|
↓ 並び替え

これも OK
とめ、

???
とめ、
↑ 逆変換？

今回の内容
逆変換

今回の内容
逆変換
…変換の方は

今回の内容
逆変換
…変換の方は
1. 簡潔に説明するのが ( 私の説明力では ) 難しい

今回の内容
逆変換
…変換の方は
2. 本のソースを実行したら Index out of range→ 自力修正なので
合ってる保証がない

今回の内容
逆変換
…変換の方は
2. 本のソースを実行したら Index out of range→ 自力修正なので
合ってる保証がない
ので断念

逆変換
r
t
e
,
r
s
h
h
h
t
t
t
t
h
e
o
i
a
o
|

逆変換
r
t
e
,
r
s
h
h
h
t
t
t
t
h
e
o
i
a
o
|
------->

逆変換
r
t
e
,
r
s
h
h
h
t
t
t
t
h
e
o
i
a
o
|
------->
これが欲しい

逆変換
r
t
e
,
r
s
h
h
h
t
t
t
t
h
e
o
i
a
o
|

逆変換
r
t
e
,
r
s
h
h
h
t
t
t
t
h
e
o
i
a
o
|
⇒
|
,
a
e
e
h
h
h
h
i
o
o
r
r
s
t
t
t
t
t
sort

逆変換
r|
t
e
,
r
s,
ha
he
he
th
th
th
th
hi
o
o
er
or
is
at
t
t
ot
|t

逆変換
⇒
r|
t
e
,
r
s,
ha
he
he
th
th
th
th
hi
o
o
er
or
is
at
t
t
ot
|t
sort
|t
o
o
t
t
,
at
e
er
ha
he
he
hi
is
or
ot
r|
r
s,
t
th
th
th
th

逆変換
⇒
r|
t
e
,
r
s,
ha
he
he
th
th
th
th
hi
o
o
er
or
is
at
t
t
ot
|t
sort
|t
o
o
t
t
,
at
e
er
ha
he
he
hi
is
or
ot
r|
r
s,
t
th
th
th
th
これを繰り返
す

問題点
重い
• ソート Θ(n log n) が n 回 → Θ(n2
log n)

問題点
重い
log n)
• メモリも n2

そこで
log n)
• メモリも n2

ソート
r 0
t 1
e 2
, 3
r 4
s 5
h 6
h 7
h 8
t 9
t 10
t 11
t 12
h 13
14
15
e 16
o 17
i 18
a 19
20
21
o 22
| 23
| 23
14
15
20
21
, 3
a 19
e 2
e 16
h 6
h 7
h 8
h 13
i 18
o 17
o 22
r 0
r 4
s 5
t 1
t 9
t 10
t 11
t 12

ソート
r 0
t 1
e 2
, 3
r 4
s 5
h 6
h 7
h 8
t 9
t 10
t 11
t 12
h 13
14
15
e 16
o 17
i 18
a 19
20
21
o 22
| 23
| 23
14
15
20
21
, 3
a 19
e 2
e 16
h 6
h 7
h 8
h 13
i 18
o 17
o 22
r 0
r 4
s 5
t 1
t 9
t 10
t 11
t 12
r| 0
t 1
e 2
, 3
r 4
s, 5
ha 6
he 7
he 8
th 9
th 10
th 11
th 12
hi 13
o 14
o 15
er 16
or 17
is 18
at 19
t 20
t 21
ot 22
|t 23
|t 23
o 14
o 15
t 20
t 21
, 3
at 19
e 2
er 16
ha 6
he 7
he 8
hi 13
is 18
or 17
ot 22
r| 0
r 4
s, 5
t 1
th 9
th 10
th 11
th 12

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
t

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
th

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
thi

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this,

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, t

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, th

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, tha

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that o

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or t

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or th

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or the

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or the o

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or the ot

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or the oth

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or the othe

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12
this, that or the other

よって
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12

Haskell では
r 0 → | 23
t 1 → 14
e 2 → 15
, 3 → 20
r 4 → 21
s 5 → , 3
h 6 → a 19
h 7 → e 2
h 8 → e 16
t 9 → h 6
t 10 → h 7
t 11 → h 8
t 12 → h 13
h 13 → i 18
14 → o 17
15 → o 22
e 16 → r 0
o 17 → r 4
i 18 → s 5
a 19 → t 1
20 → t 9
21 → t 10
o 22 → t 11
| 23 → t 12

Haskell では
f 0 = 23
f 1 = 14
f 2 = 15
f 3 = 20
f 4 = 21
f 5 = 3
f 6 = 19
f 7 = 2
f 8 = 16
f 9 = 6
f 10 = 7
f 11 = 8
f 12 = 13
f 13 = 18
f 14 = 17
f 15 = 22
f 16 = 0
f 17 = 4
f 18 = 5
f 19 = 1
f 20 = 9
f 21 = 10
f 22 = 11
f 23 = 12

Haskell では
f 0 = 23
f 1 = 14
f 2 = 15
f 3 = 20
f 4 = 21
f 5 = 3
f 6 = 19
f 7 = 2
f 8 = 16
f 9 = 6
f 10 = 7
f 11 = 8
f 12 = 13
f 13 = 18
f 14 = 17
f 15 = 22
f 16 = 0
f 17 = 4
f 18 = 5
f 19 = 1
f 20 = 9
f 21 = 10
f 22 = 11
f 23 = 12
[23, f 23, f(f 23), .. ]

Haskell では
f 0 = 23
f 1 = 14
f 2 = 15
f 3 = 20
f 4 = 21
f 5 = 3
f 6 = 19
f 7 = 2
f 8 = 16
f 9 = 6
f 10 = 7
f 11 = 8
f 12 = 13
f 13 = 18
f 14 = 17
f 15 = 22
f 16 = 0
f 17 = 4
f 18 = 5
f 19 = 1
f 20 = 9
f 21 = 10
f 22 = 11
f 23 = 12
[23, 12, f( 12), .. ]

Haskell では
f 0 = 23
f 1 = 14
f 2 = 15
f 3 = 20
f 4 = 21
f 5 = 3
f 6 = 19
f 7 = 2
f 8 = 16
f 9 = 6
f 10 = 7
f 11 = 8
f 12 = 13
f 13 = 18
f 14 = 17
f 15 = 22
f 16 = 0
f 17 = 4
f 18 = 5
f 19 = 1
f 20 = 9
f 21 = 10
f 22 = 11
f 23 = 12
[23, 12, 13 , .. ]

Haskell では
f 0 = 23
f 1 = 14
f 2 = 15
f 3 = 20
f 4 = 21
f 5 = 3
f 6 = 19
f 7 = 2
f 8 = 16
f 9 = 6
f 10 = 7
f 11 = 8
f 12 = 13
f 13 = 18
f 14 = 17
f 15 = 22
f 16 = 0
f 17 = 4
f 18 = 5
f 19 = 1
f 20 = 9
f 21 = 10
f 22 = 11
f 23 = 12
[23, 12, 13 , .. ]
さっきとやっていることは
同じ

ここで
[23, f 23, f(f 23), ... ]

ここで
[23, f 23, f(f 23), ... ]
＿人人人人人＿
＞完全に一致＜
￣ Y Y Y Y Y^ ^ ^ ^ ￣

ここで
[23, f 23, f(f 23), ... ]
おやぁ？

infinite list
• 日本語では「無限リスト」

infinite list
• 日本語では「無限リスト」
• Haskell の「遅延評価」によって実現される

遅延評価
• 「必要になるまで値を計算しない」とい
う戦略

遅延評価
う戦略
• 英語では Lazy evaluation

遅延評価
う戦略
• 英語では Lazy evaluation
• 夏休みの宿題に対してとる戦略としても
有名

計算量
• 初回のソートが O(n log n)

計算量
• それ以外の処理は O(n)

計算量
• メモリも O(n)

計算量
• メモリも O(n)
• 大勝利

ご清聴ありがとうございました

Haskellでテキスト圧縮(の前処理)

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (6)

Recently uploaded

Recently uploaded (20)

Haskellでテキスト圧縮(の前処理)