SiteTag  系統
窮人調校法經驗談
Tsung
2013 / 10 / 05
 tsunghao@gmail.com
Who am
I
Work
SiteTag
I can do ....
Big Data
巨量資料
?
Big
Data
??
巨量
資料
???
想聽
什麼
不知道
該講什麼
資料
不同
處理方式
不同
被打臉
Big data別再濫用
So...
別管
大資料
了
小資料
整理
SiteTag
資料應用
解決
流量、備份
問題
窮人
系統架構
SiteTag
SiteTag
主站
Yahoo!
Adsense
Feebee
飛比價格
SiteTag
系統架構
簡介
What is
SiteTag
小資料
整理
網站標籤
自動產生器
演算法
產生標籤雲
標籤雲
認識網站
網站外掛
工具
機器
Apache
1
MySQL
2
問題
➢ Request
➢ 資料備份
( 寫入 )
Request
多
所有網站
PV 加總
備份
Replication
追不上MySQL InnoDB Replication Slave 太慢 跟不上解法
附加
條件
網站外掛
工具
網站外掛
?
回應
快
Connection
多
重點
Server
可以掛
網站外掛
必須活著
Question
?
架構
規劃
➢ Request
➢ 資料備份
資料 + 備份
快速回應
分析
DB 資料分類
➢ 急迫
➢ 不急
DB Table
➢ User 急
➢ Tag 不急
DB Table
➢ User ?? 萬
➢ Tag ?? 億
拆
讀寫
分離
➢ U / T Table
➢ User DB
➢ Tag DB
備份 ?
Tag DB
設定
Replication多重
Tag / User
損毀 ?
Backup
暫頂
Question
?
➢ Request
➢ 資料備份
Request
太多
需求
➢ 連線多
➢ 回應快
➢ 不能掛
Browser Web Site
JavaScript Server API
➢ 靜態
➢ 動態
靜態
JavaScript
application/javascript
ExpiresDefault
A86400000000
?
X
網站外掛
工具
JS 修改
叫站長更新 ?
拔掉
找專業的 ...
CDN
➢ 連線多
➢ 回應快
➢ 不能掛
靜態
收工
Question
?
動態
快
網站外掛
?
即時計算VS
快
快
Cache
Cache
演進
APC
Alternative PHP Cache
include
require
apc_store()
apc_fetch()
APC
Configuration
apc.shm_size = 30
apc.ttl = 0
apc.gc_ttl = 3600
apc.enable_cli = 0
問題
Apache
restart
Memcached
distributed memory object 
caching system
RAM
爆炸
RAM
+++++
MySQL
Cache
MyISAM
快
CREATE TABLE `cache` (
`id` char(32) NOT NULL,
`data` text,
`expire` datetime NOT
NULL,
PRIMARY KEY (`id`)
) ENGINE=MyISAM
QPS
4000+
注意
MyISAM
容易壞
回應速度
堪用
Cache
收工
動態
➢ 連線多
➢ 回應快
➢ 不能掛
分析
動態
➢ 即時更新
➢ 1 天更新一次
拆
即時
更新
GAEGoogle App Engine
1 天
更新 1 次
Cache
頂
動態
收工 ?
➢ 連線多
➢ 回應快
➢ 不能掛
連線多
+
MySQL 滿載
掛
分析
網站外掛
設計
Browser Web Site
JavaScript Server API
JavaScript
呼叫 API
APIhttp://api...../?
參數 =abc
Keyhttp://api...../?
參數 =abc
Value
Cache
CDN
?
CDN 
Cache
清除 ?
Purge
Key­Value
Purge
分散式架構
NoSQL
?
需備援 DB 的
NoSQL
➢ 連線多
➢ 回應快
➢ 不能掛
CDN
||
API + DB
Browser Web Site
JavaScript Server API
CDN
動態
➢ 即時 - GAE
➢ 1 天更新 - CDN
➢ 連線多
➢ 回應快
➢ 不能掛
動態
收工
Question
?
➢ Request
➢ 資料備份
SiteTag
收工
Yahoo!
Adsense
讀計
分離
Feebee
飛比價格
聯絡資料
Tsung
tsunghao@gmail.com
http://blog.longwin.com.tw
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
SiteTag 系統窮人調校法經驗談
Upcoming SlideShare
Loading in …5
×

SiteTag 系統窮人調校法經驗談

2,250 views

Published on

PHPConf 2013 - SiteTag 系統窮人調校法經驗談

Published in: Technology
1 Comment
6 Likes
Statistics
Notes
No Downloads
Views
Total views
2,250
On SlideShare
0
From Embeds
0
Number of Embeds
54
Actions
Shares
0
Downloads
32
Comments
1
Likes
6
Embeds 0
No embeds

No notes for slide

SiteTag 系統窮人調校法經驗談

  1. 1. SiteTag  系統 窮人調校法經驗談 Tsung 2013 / 10 / 05  tsunghao@gmail.com
  2. 2. Who am I
  3. 3. Work SiteTag
  4. 4. I can do ....
  5. 5. Big Data 巨量資料
  6. 6. ?
  7. 7. Big Data
  8. 8. ??
  9. 9. 巨量 資料
  10. 10. ???
  11. 11. 想聽 什麼
  12. 12. 不知道 該講什麼
  13. 13. 資料 不同
  14. 14. 處理方式 不同
  15. 15. 被打臉 Big data別再濫用
  16. 16. So...
  17. 17. 別管 大資料 了
  18. 18. 小資料 整理
  19. 19. SiteTag 資料應用
  20. 20. 解決 流量、備份 問題
  21. 21. 窮人 系統架構
  22. 22. SiteTag
  23. 23. SiteTag 主站
  24. 24. Yahoo! Adsense
  25. 25. Feebee 飛比價格
  26. 26. SiteTag 系統架構
  27. 27. 簡介
  28. 28. What is SiteTag
  29. 29. 小資料 整理
  30. 30. 網站標籤 自動產生器
  31. 31. 演算法 產生標籤雲
  32. 32. 標籤雲 認識網站
  33. 33. 網站外掛 工具
  34. 34. 機器
  35. 35. Apache 1
  36. 36. MySQL 2
  37. 37. 問題
  38. 38. ➢ Request ➢ 資料備份 ( 寫入 )
  39. 39. Request 多
  40. 40. 所有網站 PV 加總
  41. 41. 備份
  42. 42. Replication 追不上MySQL InnoDB Replication Slave 太慢 跟不上解法
  43. 43. 附加 條件
  44. 44. 網站外掛 工具
  45. 45. 網站外掛 ?
  46. 46. 回應 快
  47. 47. Connection 多
  48. 48. 重點
  49. 49. Server 可以掛
  50. 50. 網站外掛 必須活著
  51. 51. Question ?
  52. 52. 架構 規劃
  53. 53. ➢ Request ➢ 資料備份
  54. 54. 資料 + 備份 快速回應
  55. 55. 分析
  56. 56. DB 資料分類 ➢ 急迫 ➢ 不急
  57. 57. DB Table ➢ User 急 ➢ Tag 不急
  58. 58. DB Table ➢ User ?? 萬 ➢ Tag ?? 億
  59. 59.
  60. 60. 讀寫 分離
  61. 61. ➢ U / T Table ➢ User DB ➢ Tag DB
  62. 62. 備份 ?
  63. 63. Tag DB 設定 Replication多重
  64. 64. Tag / User 損毀 ?
  65. 65. Backup 暫頂
  66. 66. Question ?
  67. 67. ➢ Request ➢ 資料備份
  68. 68. Request 太多
  69. 69. 需求
  70. 70. ➢ 連線多 ➢ 回應快 ➢ 不能掛
  71. 71. Browser Web Site JavaScript Server API
  72. 72. ➢ 靜態 ➢ 動態
  73. 73. 靜態
  74. 74. JavaScript
  75. 75. application/javascript ExpiresDefault A86400000000 ?
  76. 76. X
  77. 77. 網站外掛 工具
  78. 78. JS 修改 叫站長更新 ?
  79. 79. 拔掉
  80. 80. 找專業的 ...
  81. 81. CDN
  82. 82. ➢ 連線多 ➢ 回應快 ➢ 不能掛
  83. 83. 靜態 收工
  84. 84. Question ?
  85. 85. 動態
  86. 86.
  87. 87. 網站外掛 ?
  88. 88. 即時計算VS 快
  89. 89.
  90. 90. Cache
  91. 91. Cache 演進
  92. 92. APC Alternative PHP Cache
  93. 93. include require
  94. 94. apc_store() apc_fetch()
  95. 95. APC Configuration apc.shm_size = 30 apc.ttl = 0 apc.gc_ttl = 3600 apc.enable_cli = 0
  96. 96. 問題
  97. 97. Apache restart
  98. 98. Memcached distributed memory object  caching system
  99. 99. RAM
  100. 100. 爆炸
  101. 101. RAM +++++
  102. 102. MySQL Cache
  103. 103. MyISAM 快
  104. 104. CREATE TABLE `cache` ( `id` char(32) NOT NULL, `data` text, `expire` datetime NOT NULL, PRIMARY KEY (`id`) ) ENGINE=MyISAM
  105. 105. QPS 4000+
  106. 106. 注意
  107. 107. MyISAM 容易壞
  108. 108. 回應速度 堪用
  109. 109. Cache 收工
  110. 110. 動態 ➢ 連線多 ➢ 回應快 ➢ 不能掛
  111. 111. 分析
  112. 112. 動態 ➢ 即時更新 ➢ 1 天更新一次
  113. 113.
  114. 114. 即時 更新
  115. 115. GAEGoogle App Engine
  116. 116. 1 天 更新 1 次
  117. 117. Cache 頂
  118. 118. 動態 收工 ?
  119. 119. ➢ 連線多 ➢ 回應快 ➢ 不能掛
  120. 120. 連線多 + MySQL 滿載
  121. 121.
  122. 122. 分析
  123. 123. 網站外掛 設計
  124. 124. Browser Web Site JavaScript Server API
  125. 125. JavaScript 呼叫 API
  126. 126. APIhttp://api...../? 參數 =abc
  127. 127. Keyhttp://api...../? 參數 =abc
  128. 128. Value Cache
  129. 129. CDN ?
  130. 130. CDN  Cache 清除 ?
  131. 131. Purge
  132. 132. Key­Value Purge 分散式架構
  133. 133. NoSQL ?
  134. 134. 需備援 DB 的 NoSQL
  135. 135. ➢ 連線多 ➢ 回應快 ➢ 不能掛
  136. 136. CDN || API + DB
  137. 137. Browser Web Site JavaScript Server API CDN
  138. 138. 動態 ➢ 即時 - GAE ➢ 1 天更新 - CDN
  139. 139. ➢ 連線多 ➢ 回應快 ➢ 不能掛
  140. 140. 動態 收工
  141. 141. Question ?
  142. 142. ➢ Request ➢ 資料備份
  143. 143. SiteTag 收工
  144. 144. Yahoo! Adsense
  145. 145. 讀計 分離
  146. 146. Feebee 飛比價格
  147. 147. 聯絡資料 Tsung tsunghao@gmail.com http://blog.longwin.com.tw

×