1.
Concurrency Model for
huge MySQL data
Mu-Fan Teng(@ryudoawaru)
@ RubyConf Taiwan 2012
12年12月8⽇日星期六

2.
緣起
Background
12年12月8⽇日星期六

3.
Legacy environment
• A Mysql Database with 2.3gb data with Big5
charset and ISO-8859-1 encoding.
• The biggest table in DB is 1.5gb.
12年12月8⽇日星期六

4.
The purpose
12年12月8⽇日星期六

5.
Transcoding to UTF8
12年12月8⽇日星期六

6.
Try
12年12月8⽇日星期六

7.
Work Flow
1. mysqldump with -default-character-
set=latin1 parameter to generate SQL file.
2. Transcoding SQL file with tool like iconv/
bsdconv.
3. Edit transcoded SQL file to avoid 「slash」
problem.
4. Restore SQL file to new DB.
12年12月8⽇日星期六

8.
Failed!
12年12月8⽇日星期六

9.
Cause
• Too big size for most text editor.
• Many mis-encoding text.
12年12月8⽇日星期六

10.
Let’s reinvent the
wheel!
12年12月8⽇日星期六

11.
The new work flow
• Connect DB
• Transcode
• Output db rows to SQL insert statement.
• Write SQL file
12年12月8⽇日星期六

12.
CORES_COUNT = 4
LIMIT = ARGV[0].to_i || 10000
sqls = CORES_COUNT.times.map do |x|
sprintf("SELECT * FROM cdb_posts ORDER BY pid LIMIT %d OFFSET %d;", LIMIT,
(x * LIMIT))
end
class String
def to_my_val
"'#{Mysql2::Client.escape self.force_encoding(‘Big5-
UAO’).encode('UTF-8', :invalid => :replace, :undef => :replace, :replace =>
'??')}'"
end
end
procs = sqls.map do |sql|
Proc.new do |out|
Mysql2::Client.new(database: DBNAME, reconnect: true, encoding:
'latin1').query(sql).each(as: :array) do |row|
out.print "INSERT INTO `cdb_posts` VALUES
(#{row.map(&:to_my_val).join(',')});n"
end
end
end
procs.each{|p| p.call(OUT)}
12年12月8⽇日星期六

13.
Thanks for Ruby 1.9’s
Awesome Encoding
class which supports
Big5-UAO.
12年12月8⽇日星期六

14.
Reduces almost 80% of
encoding problem.
12年12月8⽇日星期六

15.
But the file size is too
big to wait for
transcoding!
12年12月8⽇日星期六

16.
So I have to find the
concurrency model to
make it faster.
12年12月8⽇日星期六

17.
Experiment Target
• Test the difference of performance
between thread and fork model.
12年12月8⽇日星期六

18.
H&W Platform
• 4 Cores Core2Quad CPU@2.5G
• 8GB RAM
• 1*SSD
• MacOS 10.8
• MRI 1.9.3p194
12年12月8⽇日星期六

19.
DBNAME = 'wwwfsc'
CORES_COUNT = 4
ForceEncoding = 'Big5-UAO'
LIMIT = ARGV[0].to_i || 10000
OUT = '/dev/null'
sqls = CORES_COUNT.times.map do |x|
sprintf("SELECT * FROM cdb_posts ORDER BY pid LIMIT %d OFFSET %d;", LIMIT, (x
* LIMIT))
end
class String
def to_my_val
"'#{Mysql2::Client.escape
self.force_encoding(ForceEncoding).encode('UTF-8', :invalid => :replace, :undef
=> :replace, :replace => '??')}'"
end
end
procs = sqls.map do |sql|
Proc.new do |out|
open(out,'w') do |io|
Mysql2::Client.new(database: DBNAME, reconnect: true, encoding:
'latin1').query(sql).each(as: :array) do |row|
io.print "INSERT INTO `cdb_posts` VALUES
(#{row.map(&:to_my_val).join(',')});n"
end
end
end
end
12年12月8⽇日星期六

20.
Benchmark.bm(15) do |x|
x.report("Thread"){procs.map{|p| Thread.new{p.call(OUT)} }.each(&:join)}
x.report("Fork"){procs.each{|p| fork{p.call(OUT)} }; Process.waitall}
x.report("Normal"){procs.each{|p| p.call(OUT)}}
end
12年12月8⽇日星期六

21.
Result of 100k*4 rows
12年12月8⽇日星期六

22.
Thread
12年12月8⽇日星期六

23.
Fork
12年12月8⽇日星期六

24.
Fork
12年12月8⽇日星期六

25.
Circumstance
• Thread
‣ CPU utilization rate between 105 and
125 percent.
• Fork
‣ The rate changes frequently between
processes.
12年12月8⽇日星期六

26.
GVL still effects
12年12月8⽇日星期六

27.
Try again
12年12月8⽇日星期六

28.
Decompose the steps
to find how to skip
GVL.
12年12月8⽇日星期六

29.
Experiment No.2
12年12月8⽇日星期六

30.
Minify the process to
query DB only.
12年12月8⽇日星期六

31.
DBNAME = 'wwwfsc'
CORES_COUNT = 4
limit = ARGV[0].to_i || 10000
sqls = CORES_COUNT.times.map do |x|
sprintf("SELECT * FROM cdb_posts ORDER BY pid LIMIT %d OFFSET %d;", limit, (x *
limit))
end
procs = CORES_COUNT.times.map do |x|
Proc.new do
client = Mysql2::Client.new(database: DBNAME, reconnect: true)
result = client.query(sqls[x])
end
end
Benchmark.bmbm(15) do |x|
x.report("Thread"){procs.map{|p| Thread.new{p.call} }.each(&:join)}
x.report("Fork"){procs.each{|p| fork{p.call} }; Process.waitall}
x.report("Normal"){procs.each(&:call)}
end
12年12月8⽇日星期六

32.
Result of 100k*4 rows
12年12月8⽇日星期六

33.
It seems the Mysql2
Gem can skip GVL.
12年12月8⽇日星期六

34.
Experiment NO.3
12年12月8⽇日星期六

35.
Limit the experiment
to I/O operation only.
12年12月8⽇日星期六

36.
client = Mysql2::Client.new(database: DBNAME, reconnect: true, encoding:
'latin1')
sql_raws = sqls.map do |sql|
arr = []
client.query(sql).each(as: :array) do |row|
arr << "(#{row.map(&:to_my_val).join(',')})"
end
arr
end
procs = sql_raws.map do |arr|
proc do
io = open('/dev/null','w')
io.write "INSERT INTO `cdb_posts` VALUES "
io.write arr.join(',')
io.write "n"
io.close
end
end
Benchmark.bm(15) do |x|
x.report("Thread"){procs.map{|p| Thread.new{p.call} }.each(&:join)}
x.report("Fork"){procs.each{|p| fork{p.call} }; Process.waitall}
x.report("Normal"){procs.each{|p| p.call}}
end
12年12月8⽇日星期六

37.
12年12月8⽇日星期六

38.
Result of 100k*4 rows
12年12月8⽇日星期六

39.
Change I/O to different
files.
12年12月8⽇日星期六

40.
procs = sql_raws.map do |arr|
proc do
io = Tempfile.new(SecureRandom.uuid)#open('/dev/null','w')
puts io.path
io.write "INSERT INTO `cdb_posts` VALUES "
io.write arr.join(',')
io.write "n"
io.close
end
end
12年12月8⽇日星期六

41.
Result reversed
12年12月8⽇日星期六

42.
Implement the same
change to the first
experiment.
12年12月8⽇日星期六

43.
procs = sqls.map do |sql|
Proc.new do
io = Tempfile.new(SecureRandom.uuid)
Mysql2::Client.new(database: DBNAME, reconnect: true, encoding:
'latin1').query(sql).each(as: :array) do |row|
io.write "INSERT INTO `cdb_posts` VALUES
(#{row.map(&:to_my_val).join(',')});n"
end
io.close
end
end
12年12月8⽇日星期六

44.
Dose not effect any
12年12月8⽇日星期六

45.
Conclusion
Thread fork normal
MySQL2-read Fast Fast x
Transcoding &
Slow Very fast x
iteration
Write to the
Very slow Slow Fast
same I/O
Write to the
Fast Slow Fast
different I/O
12年12月8⽇日星期六

46.
There is no effective
and 「all-around」
concurrency model.
12年12月8⽇日星期六

47.
The small I/O can’t
release GVL.
12年12月8⽇日星期六

48.
Kosaki-san’s slide
12年12月8⽇日星期六

49.
Matz is not a threading guy
12年12月8⽇日星期六

50.
End
12年12月8⽇日星期六