Advanced Analytics and Machine Learning with Data Virtualization (Chinese)
•
1 like•160 views
Watch full webinar here: https://bit.ly/3mLNJ1J Advanced data science techniques, like machine learning, have proven an extremely useful tool to derive valuable insights from existing data. Platforms like Spark, and complex libraries for R, Python and Scala put advanced techniques at the fingertips of the data scientists. However, these data scientists spent most of their time looking for the right data and massaging it into a usable format. Data virtualization offers a new alternative to address these issues in a more efficient and agile way. Attend this webinar and learn: - How data virtualization can accelerate data acquisition and massaging, providing the data scientist with a powerful tool to complement their practice - How popular tools from the data science ecosystem: Spark, Python, Zeppelin, Jupyter, etc. integrate with Denodo - How you can use the Denodo Platform with large data volumes in an efficient way - How Prologis accelerated their use of Machine Learning with data virtualization
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Advanced Analytics and Machine Learning with Data Virtualization (Chinese)
Similar to Advanced Analytics and Machine Learning with Data Virtualization (Chinese) (20)
More from Denodo
More from Denodo (20)
Advanced Analytics and Machine Learning with Data Virtualization (Chinese)
- 1. 数据虚拟化助力高级分析和机器学习 Michael Liu 解决方案架构师 大中华区 cliu@denodo.com Sam Wu 销售总经理 大中华区 +86.13661880097 / +886.933169037 mwu@denodo.com
- 3. Denodo公司介绍
- 4. 4 数据虚拟化的领导者 Denodo 领导者 ▪ 自1999年以来，对数据虚拟化的持续关注时间最长 ▪ 2020 Forrester Wave 的领导者 - 大数据结构 ▪ 2020 Gartner数据集成工具魔力象限领导者 ▪ 增长最快 — 前十大数据集成供应商 ▪ 多次获奖 DENODO 办公室、客户、合作伙伴 遍布北美、欧洲、中东和非洲、亚太地区和 拉丁美洲的全球业务。 客户 客户超过800+，包括所有主要行业的财 富500和全球2000强公司，利用数据虚拟化 显著提高了业务灵活性和投资回报率。 财务状况 有超过 40 亿美元的私有公司支持。 年增长 60% 以上；可盈利。
- 5. 5 Denodo 资源 ✓ Denodo官网：https://www.denodo.com/ ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.13661880097 / +886.933169037 ✓ 邮件至 mwu@denodo.com
- 7. 7 The Economist, May 2017 世界上最有价值的资源不再是石油， 而是数据。
- 9. 9 Forbes Insights – 人工智能应用调查 Source: Forbes Insights Survey – The AI Learning Curve, By The Numbers 72% 人工智能项目中遇到的最大挑战调查人工智能在不同公司的发展阶段调查 缺乏数据 将AI扩展到企业功能 数据所有权问题
- 11. 11 数据无处不在如何搜集
- 12. 12 机器学习的主要制约因素是数据相关的问题 Source: Machine learning in UK financialservices, Bank of England and Financial Conduct Authority, October 2019 数据不足 遗留系统 缺乏数据标准 人才不足
- 14. 14 传统的数据科学工作流程 一个传统的数据科学工作流程包括: 1. 收集需求以理解业务问题。 2. 识别和访问假设所需的数据。 • 获取数据 3. 清理数据，合并数据并将其转换为可用的格式。 4. 分析数据 5. 为AI/ML算法(神经网络、随机森林回归等)准备数据 6. 训练和测试算法 (ML, AI, etc.) • 迭代步骤2到步骤6 7. 可视化和分享发现
- 15. 15 传统的数据科学工作流程 80% 时间 – 寻找准备数据 10% 时间 – 分析 10% 时间 – 数据可视化
- 16. 16 时间 都去哪了? 大量的时间和精力投入到与数据科学无关的任务中: • 寻找正确的数据可能在哪里 • 访问数据 • 官僚主义（数据保护 / 责任划分） • 了解访问方法和技术(NoSQL, REST API等) • 将数据转换为易于使用的格式 • 组合不同来源和格式可用的数据 • 配置和清理数据，消除不完整或脏数据
- 17. 17 Gartner – 逻辑数据仓库(Logical Data Warehouse) “Adopt the Logical Data Warehouse Architecture to Meet Your Modern Analytical Needs”. Henry Cook, Gartner April 2018 DATA VIRTUALIZATION
- 18. 18 数据使用者 不同的数据源 SQL 查询 （JDBC、ODBC、ADO.NET） Web 服务 （SOAP、REST、OData） 基于 Web 的目录 和搜索 安全传送 (SSL/TLS) 数据使用者 MPP 处理 关系缓存 企业安全 监控和审计 元数据 存储库 执行引擎和 自治优化器 Denodo全球领先的数据虚拟化中台架构 数据虚拟化 结构化 非结构化 数据分析 数据应用 支持所有业务 应用的使用 将相关数据 合并到视图中 2 3 连接 不同的数据源 1 Databases & Warehouses, Cloud/Saas Applications, Big Data, NoSQL, Web Service, Rest API, Excel, PDF, Word...
- 19. 19 Denodo数据虚拟化的执行过程 数据虚拟化是如何工作的 预测客户流失 数据包括客户人口统计、 产品购买,产品使用,客 户来电，上次到现在联 系人，过去的交易记录， 行业，公司规模，和收 入。
- 20. Gartner, Adopt the Logical Data Warehouse Architecture to Meet Your Modern Analytical Needs, May 2018 “如果设计得当，数据虚拟化可以加速数据集成，降低数据延迟， 提供灵活性和重用性，并减少分散数据源之间的各种数据问题。” 由于它的许多好处，数据虚拟化通常是企业将传统物理数据仓库 演化为逻辑数据驱动架构的第一步。
- 21. 21 虚拟数据层的好处 ▪ 虚拟数据层改进决策制定并缩短开发周期 • 从多个存储库中显示所有数据资产，而不需要提前将所有数据复制到一个湖中 • 消除烟囱式数据：允许按需组合来自异构数据源的数据 ▪ 虚拟数据层扩大数据的使用 • 改进治理和元数据管理，以避免“数据沼泽” • 解耦数据源技术，通过SQL或web服务规范化访问 • 允许在精细化安全控制的情况下受控地访问数据 ▪ 虚拟数据层提供性能访问 • 利用由Denodo优化器自动优化数据源的处理能力 • 加速没有性能优化处理能力的数据源的数据(例如文件) • 根据需要随时启用缓存加速
- 22. 22 数据科学工作流程步骤 1.识别有用数据 2.整形有用格式 3.分析数据 5.执行数据科学算法 (ML,人工智能等)。 6.分享数据洞察结果4.准备ML算法
- 27. 27 数据源 – 历史天气数据
- 28. 28 我们要做的是… 1. 连接数据，看一看 2. 格式化数据(准备好)，这样我们就可以找到重要的因素 ⚫ 例如，在一周的不同日子、不同月份自行车的使用情况，等等。 3. 一旦我们决定了重要的属性，就为ML算法准备数据 4. 使用Python，读取2017年的数据，并通过我们的ML算法运行它 进行训练 5. 读取2018年的数据，测试算法 6. 保存结果并将它们加载到Denodo平台中 (查找数据) (浏览数据) (准备数据) (训练模型) (测试模型) (保存结果)
- 29. Demo 29
- 30. 30 Prologis（安博）– 面向物流解决方案的高级分析 $1.5TRILLION is the economic value of goods flowing through our distribution centers each year, representing: 2.8% of GDP for the 19 countries where we do business %2.0 of the World’s GDP 1983 100 GLOBAL 768 MSF Founded Most sustainable corporations $87B Assets under management on four continents MILLION employees under Prologis’ roofs 1.0
- 32. 32 Prologis – 面向数据科学家的高级分析架构 数据科学家可以自由选择自己喜欢的工具和语言 Web Service (Python Model Scoring) AWS Lambda
- 33. Q&A
- 34. 34 Denodo 资源 ✓ Denodo官网：https://www.denodo.com/ ✓ Denodo社区：https://community.denodo.com/ ✓ Denodo博客：http://www.datavirtualizationblog.com/ ✓ 产品试用：https://www.denodo.com/en/denodo-platform/test-drives ✓ 联系我们： ✓ 添加微信 ✓ 电话至 +86.13661880097 / +886.933169037 ✓ 邮件至 mwu@denodo.com
- 35. 35 ✓ 新一代PowerBI解决方案 网络研讨会 9月17日 14:00 - 15:00 ✓ 线上动手练习 9月24日 14:00 - 17:00 活动预告 扫码参加 扫码参加
- 36. Thank you! © Copyright Denodo Technologies. All rights reserved Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying and microfilm, without prior the written authorization from Denodo Technologies.