标题:
Architecture and Practice for DAL (5) Data Sharding
Architecture and Practice for Data Access Layer (5) Data Sharding
联动优势数据访问层DAL架构和实践之五:分片数据分片
说明:
How to implement a dalet to access sharding databases.
和已有DAL软件(如许超前DAL手机之家、陈思儒Amoeba/贺贤懋Cobar等)不一样,在前端访问方式的选择上,抛弃JDBC方式,而是为同一个dalet数据服务,同时提供自定义TCP长连接和HTTP长连接两种接口。
因而通过抛弃JDBC可以获得多方面的好处——
1)可减少S端协议解析和查询分析的开销;
2)也简化C端编程。
3)后端存储就不再限于RDB了,而可以是任意NOSQL、文件、缓存、甚至是Tuxedo等在线服务。
4)可以实现无状态了,更容易横向扩展。
5)从接口上就可消除join等关键字的误用,避免引起服务端负担过重。
MongoDB Background and specifics ,
also I provide how to use Mongod Security .
and Basic MongoDB operation by pymongo
我這份文件有介紹MONGODB的特性及限制,Sharding 及 Replicate 的觀悠,Security怎麼作,怎麼用
标题:
Architecture and Practice for DAL (5) Data Sharding
Architecture and Practice for Data Access Layer (5) Data Sharding
联动优势数据访问层DAL架构和实践之五:分片数据分片
说明:
How to implement a dalet to access sharding databases.
和已有DAL软件(如许超前DAL手机之家、陈思儒Amoeba/贺贤懋Cobar等)不一样,在前端访问方式的选择上,抛弃JDBC方式,而是为同一个dalet数据服务,同时提供自定义TCP长连接和HTTP长连接两种接口。
因而通过抛弃JDBC可以获得多方面的好处——
1)可减少S端协议解析和查询分析的开销;
2)也简化C端编程。
3)后端存储就不再限于RDB了,而可以是任意NOSQL、文件、缓存、甚至是Tuxedo等在线服务。
4)可以实现无状态了,更容易横向扩展。
5)从接口上就可消除join等关键字的误用,避免引起服务端负担过重。
MongoDB Background and specifics ,
also I provide how to use Mongod Security .
and Basic MongoDB operation by pymongo
我這份文件有介紹MONGODB的特性及限制,Sharding 及 Replicate 的觀悠,Security怎麼作,怎麼用
10. 化整为零之extent方案DTCC2011
抽取每个分区:
insert into my_rowid(id,rowid_min,rowid_max,has_deal)
select rownum,
dbms_rowid.rowid_create(1,o.data_object_id,e.relative_fno,e.block_id,0),
dbms_rowid.rowid_create(1,o.data_object_id,e.relative_fno,e.block_id+e.blocks-
1,10000),
0
from dba_extents e,dba_objects o
where e.segment_name=upper('test_table') and e.owner='db1'
and o.object_name = upper('test_table') and o.owner='db1';
11. 化整为零之extent方案DTCC2011
根据分区同步数据:
for c in (select id, rowid_min, rowid_max from my_rowid where has_deal = 0
and mod(id, p_number) = p_now)
loop
insert into test_table
select /*+ rowid(t) */* from test_table@dblink_db1 t
where rowid >= chartorowid(c.rowid_min) and rowid <=
chartorowid(c.rowid_max);
15. dbsync DTCC2011
Oracle server 主库
mysql server
2.Query data 2.Query data
1.get binlog event
Dbsync client/server
1. Rowid and other
info
Dbsync client/server
3.DFS Write 3.DFS Write
Oracle server(备库)
/Dbsync client
HDFS HDFS