SlideShare a Scribd company logo
1 of 18
Download to read offline
用互相关联的数据创建超级数据库
Building a super database from linked data




                           Stephen Wang 王傳仁
                           me@stephenwang.com
                                  March 3, 2011
谁不适合听这个演讲?




      谁适合听这个演讲?

    一个小的团队想要创建一个大的数据库

    想要组织全世界的信息

    想要进行信息方面的创新
关于

    烂番茄网联合创始人 , CTO

    流行的电影评论网站

    整合的影评,系统全面的影
    片数据库
The Stone Age
   石器时代


    静态的 HTML 模板

    编辑阅读大量的文章之
    后引用他人的评论

    只囊括了最新的影片

    大约只有 1000 部影片
Modern Times
                                              现代时光
                                         
                                             转移到了 LAMP 上
                                         
                                             购买 long-tail 数据库的数
                                             据
                                         
                                             自动化的爬虫、以评论的
                                             形式收集用户产生的数据

(How I felt maintaining Rotten
                                         
                                             使用自建的内容管理系统
Tomatoes' overloaded database servers)       (CMS) 来管理其他内容
v




结局

    每月八百万独立访问者

    Lean startup: 25x traffic with 7 staff

    电影爱好者非常喜爱的网站(包括史蒂夫乔布斯)
关于

    联合创始人 , CTO

    一个始于吴彦祖的专属
    于艺人的社交网络

    从最开始的 6 个艺人,
    发展到现在的 1600 个
    艺人和 60 万注册用户

    同时支持着李连杰、成
    龙、莫文蔚等艺人的官
    方网站
      JackieChan.com
         JetLi.com
      KarenMok.com
我们的 LAMP 架构并不适合 ...
           Newsfeeds...
 病毒式传播分析 Viral loop analysis...
  多变量测试 Multivariate testing...



       存在的问题 ?!?
   处理大量实时数据时性能受限,
而且损失了许多 long-tail 内容带来的流量
关于


    一个更好的娱乐数
    据库

    提供 long-tail 内容

    仍然处在 alpha 阶
    段,是 alive not
    dead 的一部分
功能

    综合全面的艺人、电
    影、音乐、电视节目数
    据库

    结构化数据、可搜索

    多语言:目前支持英
    语,中文和日语

    整合国内外的社会化媒
    体数据(如微博和
    Facebook 等)
为什么要使用 mongoDB?
 Flexible schema for different data sources
对于多个不同的数据源可以使用灵活的数据模式




            Dozens of other sources
               其他一些数据源
为什么要使用

     Big Data: 处理大量数据时有良好的伸缩性

    目前支持了 200 多万个主题              
                                     50 多万个翻译的主题

    2 million topics covered     
                                     500K+ translations

                               下一个挑战 :
                               整合并储存社会化媒
                               体的海量数据
                               Aggregating and storing the social
                               media firehose
为什么要使用

超越边界 Crossing the Border...

    Alivenotdead.com       
                               alive.tom.com 在天津
    在香港




    使用重复的数据集来保持数据在墙内外的一致性
    Use replica sets/eventual consistency to overcome
          frequent cross-border network issues
使用互相关联的开放数据
                Using Linked Open Data

    Wikipedia 是结构化的数据

    Creative Commons 数据

                  
                      多个采用 CC 的数据源
                  
                      清晰地分类
                  
                      现被 Google 收购
                  
                      还没有中文和日文数据!
使用互相关联的开放数据
                Using Linked Open Data

    Wikipedia 是结构化的数据

    Creative Commons 数据

                  
                      采用 Wikipedia 作为唯一的
                      数据源
                  
                      不清楚的分类
                  
                      对某些已经存在英文数据的
                      主题有中文和日文的翻译
使用互相关联的开放数据
            Using Linked Open Data





    使用 Freebase 的数据分类来扩展数据

    利用 DBpedia 中的中文数据

    采用同样的方法来收集国内的中文数据资源
未来 The Future
                   
                       开放 API
                   
                       自动主题提取
                   
                       多语言的实时趋
                       势分析
                   
                       其他细分领域

数据量已经是 Rotten Tomatoes 的十倍 ...
    是整个互联网数据的大集合 ...
     信息不再受语言的限制 ...
我们在招聘 PHP 工程师,如果你有兴趣,把你
 的简历发送到 me@stephenwang.com
 我的博客地址 : http://stephenwang.com

More Related Content

Viewers also liked (6)

Phytochemical constituents and physicochemical properties of
Phytochemical constituents and physicochemical properties ofPhytochemical constituents and physicochemical properties of
Phytochemical constituents and physicochemical properties of
 
Estrategias que promuevan el uso de las tic’s subido JHS
Estrategias que promuevan el uso de las tic’s subido JHSEstrategias que promuevan el uso de las tic’s subido JHS
Estrategias que promuevan el uso de las tic’s subido JHS
 
Desarrollo de-software-poo-2-parte
Desarrollo de-software-poo-2-parteDesarrollo de-software-poo-2-parte
Desarrollo de-software-poo-2-parte
 
C sharp intro0
C sharp intro0C sharp intro0
C sharp intro0
 
Lenguajes de programacion web
Lenguajes de programacion webLenguajes de programacion web
Lenguajes de programacion web
 
Examensinrespuesta
ExamensinrespuestaExamensinrespuesta
Examensinrespuesta
 

Similar to 用互相关联的数据创建超级数据库

2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
Jazz Yao-Tsung Wang
 
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBBig Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
Monster Supreme
 
开源社区生生不息的创新土壤
开源社区生生不息的创新土壤开源社区生生不息的创新土壤
开源社区生生不息的创新土壤
Steven Cheng
 
读者借阅历史查询系统设计与实现
读者借阅历史查询系统设计与实现读者借阅历史查询系统设计与实现
读者借阅历史查询系统设计与实现
sugeladi
 
雲端運算與數位策展
雲端運算與數位策展雲端運算與數位策展
雲端運算與數位策展
子軒 簡
 
9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立
9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立
9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立
Xiaoli Wu
 
IDF2013大会分享——《使用新浪移动云开发全平台应用》
IDF2013大会分享——《使用新浪移动云开发全平台应用》IDF2013大会分享——《使用新浪移动云开发全平台应用》
IDF2013大会分享——《使用新浪移动云开发全平台应用》
easychen
 
Kaolaso chn
Kaolaso chnKaolaso chn
Kaolaso chn
36Kr.com
 

Similar to 用互相关联的数据创建超级数据库 (20)

Emc keynote 1130 1200
Emc keynote 1130 1200Emc keynote 1130 1200
Emc keynote 1130 1200
 
语义互操作与关联数据
语义互操作与关联数据语义互操作与关联数据
语义互操作与关联数据
 
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
2014-10-17 探析台灣巨量資料產業供應鏈串聯現況
 
Big Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDBBig Data, NoSQL, and MongoDB
Big Data, NoSQL, and MongoDB
 
使用GoogleAppEngine建立个人信息中心
使用GoogleAppEngine建立个人信息中心使用GoogleAppEngine建立个人信息中心
使用GoogleAppEngine建立个人信息中心
 
开源社区生生不息的创新土壤
开源社区生生不息的创新土壤开源社区生生不息的创新土壤
开源社区生生不息的创新土壤
 
读者借阅历史查询系统设计与实现
读者借阅历史查询系统设计与实现读者借阅历史查询系统设计与实现
读者借阅历史查询系统设计与实现
 
Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)Big Data Projet Management the Body of Knowledge (BDPMBOK)
Big Data Projet Management the Body of Knowledge (BDPMBOK)
 
Dltrendsatzjpolytech
DltrendsatzjpolytechDltrendsatzjpolytech
Dltrendsatzjpolytech
 
雲端運算與數位策展
雲端運算與數位策展雲端運算與數位策展
雲端運算與數位策展
 
01 产品基础知识培训
01 产品基础知识培训01 产品基础知识培训
01 产品基础知识培训
 
千万级并发在线推送系统架构解析 | 个信互动 叶新江
千万级并发在线推送系统架构解析 | 个信互动 叶新江千万级并发在线推送系统架构解析 | 个信互动 叶新江
千万级并发在线推送系统架构解析 | 个信互动 叶新江
 
Npo与云计算
Npo与云计算Npo与云计算
Npo与云计算
 
Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用Mysql HandleSocket技术在SNS Feed存储中的应用
Mysql HandleSocket技术在SNS Feed存储中的应用
 
9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立
9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立
9月8日-分会场8-行业解决方案-06-基于AWS的国际个人基因组服务-吴晓立
 
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現Big Data 101 一 一個充滿意圖與關聯世界的具體實現
Big Data 101 一 一個充滿意圖與關聯世界的具體實現
 
IDF2013大会分享——《使用新浪移动云开发全平台应用》
IDF2013大会分享——《使用新浪移动云开发全平台应用》IDF2013大会分享——《使用新浪移动云开发全平台应用》
IDF2013大会分享——《使用新浪移动云开发全平台应用》
 
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data...
 
選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲選擇正確的Solution 來建置現代化的雲端資料倉儲
選擇正確的Solution 來建置現代化的雲端資料倉儲
 
Kaolaso chn
Kaolaso chnKaolaso chn
Kaolaso chn
 

Recently uploaded

黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源** 在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...
黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源**  在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源**  在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...
黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源** 在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...
微信 tytyqqww业务接单
 
🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...
🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...
🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...
微信 tytyqqww业务接单
 
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求** 小红在英国攻读硕士学位时,由于某门专业课程的难...
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求**  小红在英国攻读硕士学位时,由于某门专业课程的难...出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求**  小红在英国攻读硕士学位时,由于某门专业课程的难...
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求** 小红在英国攻读硕士学位时,由于某门专业课程的难...
微信 tytyqqww业务接单
 
🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...
🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...
🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...
微信 tytyqqww业务接单
 
黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科** 如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...
黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科**  如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科**  如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...
黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科** 如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...
微信 tytyqqww业务接单
 
黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...
黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...
黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...
微信 tytyqqww业务接单
 

Recently uploaded (11)

出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,[英国院校]挂科?别担心!成绩单上的遗憾,我们帮你弥补。改造成绩认证deg...
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,[英国院校]挂科?别担心!成绩单上的遗憾,我们帮你弥补。改造成绩认证deg...出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,[英国院校]挂科?别担心!成绩单上的遗憾,我们帮你弥补。改造成绩认证deg...
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,[英国院校]挂科?别担心!成绩单上的遗憾,我们帮你弥补。改造成绩认证deg...
 
黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源** 在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...
黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源**  在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源**  在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...
黑客改gpa ,黑客技术,黑客改分,黑客改成绩,黑客修改成绩.重修过程中的学术支持和资源** 在重修过程中,学校通常会提供学术支持和资源帮助学生更好地完...
 
🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...
🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...
🎉黑客修改成绩大揭秘! 🚀💥你知道吗?这些天的努力,竟然被一个小小的改变毁掉了。别让坏运气影响到你未来哦~ #改变命运 #掌控命运 #逆天改命 #运气不好...
 
《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》
《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》
《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》《菁英體制的陷阱》
 
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求** 小红在英国攻读硕士学位时,由于某门专业课程的难...
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求**  小红在英国攻读硕士学位时,由于某门专业课程的难...出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求**  小红在英国攻读硕士学位时,由于某门专业课程的难...
出国改成绩, 修改成绩,找黑客修改成绩,找黑客改成绩,黑客修改国外大学成绩修改,通过重修达到学位要求** 小红在英国攻读硕士学位时,由于某门专业课程的难...
 
挂科后,我真的很担心自己的成绩。如果可以的话,能不能请黑客帮个忙修改一下?【微 tytyqqww 信】
挂科后,我真的很担心自己的成绩。如果可以的话,能不能请黑客帮个忙修改一下?【微 tytyqqww 信】挂科后,我真的很担心自己的成绩。如果可以的话,能不能请黑客帮个忙修改一下?【微 tytyqqww 信】
挂科后,我真的很担心自己的成绩。如果可以的话,能不能请黑客帮个忙修改一下?【微 tytyqqww 信】
 
🔥 黑客大揭秘!改写成绩,轻松搞定! 🚀[闪亮的星星] 想知道学霸怎么学、学渣如何逆袭吗?我们带你深入调查:一个神秘黑客组织,他们如何入侵各大平台数据,修...
🔥 黑客大揭秘!改写成绩,轻松搞定! 🚀[闪亮的星星] 想知道学霸怎么学、学渣如何逆袭吗?我们带你深入调查:一个神秘黑客组织,他们如何入侵各大平台数据,修...🔥 黑客大揭秘!改写成绩,轻松搞定! 🚀[闪亮的星星] 想知道学霸怎么学、学渣如何逆袭吗?我们带你深入调查:一个神秘黑客组织,他们如何入侵各大平台数据,修...
🔥 黑客大揭秘!改写成绩,轻松搞定! 🚀[闪亮的星星] 想知道学霸怎么学、学渣如何逆袭吗?我们带你深入调查:一个神秘黑客组织,他们如何入侵各大平台数据,修...
 
想问下,如果找黑客改成绩,回国后还能不能正常认证学历啊?【微 tytyqqww 信】
想问下,如果找黑客改成绩,回国后还能不能正常认证学历啊?【微 tytyqqww 信】想问下,如果找黑客改成绩,回国后还能不能正常认证学历啊?【微 tytyqqww 信】
想问下,如果找黑客改成绩,回国后还能不能正常认证学历啊?【微 tytyqqww 信】
 
🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...
🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...
🔍揭秘:黑客改成绩单,学历认证无阻碍! 听说有人找“高手”改成绩?还能顺利回国获得学历认证哦~ 🤔[闪亮]真的假的?别不信。最近几起案例都证实了它是真实存...
 
黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科** 如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...
黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科**  如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科**  如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...
黑客改GPA,改成绩单,出国改成绩,破解教务系统,多次挂科** 如果一个学生多次挂科,尤其是在不同学期或不同课程中,这可能会给招生官留下学习态度不端正或...
 
黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...
黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...
黑客来助力,成绩轻松改🎉 回国学历认证无忧解烦恼!|黑科技为你保驾护航,留学路上更顺畅。不用再担心烦人的成绩单问题啦~ #IT技术 #网络安全【微 tyt...
 

用互相关联的数据创建超级数据库

  • 1. 用互相关联的数据创建超级数据库 Building a super database from linked data Stephen Wang 王傳仁 me@stephenwang.com March 3, 2011
  • 2. 谁不适合听这个演讲? 谁适合听这个演讲?  一个小的团队想要创建一个大的数据库  想要组织全世界的信息  想要进行信息方面的创新
  • 3. 关于  烂番茄网联合创始人 , CTO  流行的电影评论网站  整合的影评,系统全面的影 片数据库
  • 4. The Stone Age 石器时代  静态的 HTML 模板  编辑阅读大量的文章之 后引用他人的评论  只囊括了最新的影片  大约只有 1000 部影片
  • 5. Modern Times 现代时光  转移到了 LAMP 上  购买 long-tail 数据库的数 据  自动化的爬虫、以评论的 形式收集用户产生的数据 (How I felt maintaining Rotten  使用自建的内容管理系统 Tomatoes' overloaded database servers) (CMS) 来管理其他内容
  • 6. v 结局  每月八百万独立访问者  Lean startup: 25x traffic with 7 staff  电影爱好者非常喜爱的网站(包括史蒂夫乔布斯)
  • 7. 关于  联合创始人 , CTO  一个始于吴彦祖的专属 于艺人的社交网络  从最开始的 6 个艺人, 发展到现在的 1600 个 艺人和 60 万注册用户  同时支持着李连杰、成 龙、莫文蔚等艺人的官 方网站 JackieChan.com JetLi.com KarenMok.com
  • 8. 我们的 LAMP 架构并不适合 ... Newsfeeds... 病毒式传播分析 Viral loop analysis... 多变量测试 Multivariate testing... 存在的问题 ?!? 处理大量实时数据时性能受限, 而且损失了许多 long-tail 内容带来的流量
  • 9. 关于  一个更好的娱乐数 据库  提供 long-tail 内容  仍然处在 alpha 阶 段,是 alive not dead 的一部分
  • 10. 功能  综合全面的艺人、电 影、音乐、电视节目数 据库  结构化数据、可搜索  多语言:目前支持英 语,中文和日语  整合国内外的社会化媒 体数据(如微博和 Facebook 等)
  • 11. 为什么要使用 mongoDB? Flexible schema for different data sources 对于多个不同的数据源可以使用灵活的数据模式 Dozens of other sources 其他一些数据源
  • 12. 为什么要使用 Big Data: 处理大量数据时有良好的伸缩性  目前支持了 200 多万个主题  50 多万个翻译的主题  2 million topics covered  500K+ translations 下一个挑战 : 整合并储存社会化媒 体的海量数据 Aggregating and storing the social media firehose
  • 13. 为什么要使用 超越边界 Crossing the Border...  Alivenotdead.com  alive.tom.com 在天津 在香港 使用重复的数据集来保持数据在墙内外的一致性 Use replica sets/eventual consistency to overcome frequent cross-border network issues
  • 14. 使用互相关联的开放数据 Using Linked Open Data  Wikipedia 是结构化的数据  Creative Commons 数据  多个采用 CC 的数据源  清晰地分类  现被 Google 收购  还没有中文和日文数据!
  • 15. 使用互相关联的开放数据 Using Linked Open Data  Wikipedia 是结构化的数据  Creative Commons 数据  采用 Wikipedia 作为唯一的 数据源  不清楚的分类  对某些已经存在英文数据的 主题有中文和日文的翻译
  • 16. 使用互相关联的开放数据 Using Linked Open Data  使用 Freebase 的数据分类来扩展数据  利用 DBpedia 中的中文数据  采用同样的方法来收集国内的中文数据资源
  • 17. 未来 The Future  开放 API  自动主题提取  多语言的实时趋 势分析  其他细分领域 数据量已经是 Rotten Tomatoes 的十倍 ... 是整个互联网数据的大集合 ... 信息不再受语言的限制 ...
  • 18. 我们在招聘 PHP 工程师,如果你有兴趣,把你 的简历发送到 me@stephenwang.com 我的博客地址 : http://stephenwang.com