Introduction of libraries' big data in China
•Download as PPTX, PDF•
0 likes•16 views
Introduction of libraries' big data in china
Recommended
More Related Content
Similar to Introduction of libraries' big data in China
Similar to Introduction of libraries' big data in China (20)
Recently uploaded
Recently uploaded (11)
Introduction of libraries' big data in China
- 2. 1. 什么是大数据？ 2. 图书馆大数据应用案例与产品扫视 3. 图书馆大数据统计与分析设计 4. 一点思考 CONTENTS
- 5. 大数据的4V特征 5 • 非结构化数据的超大规模和增长 • 总数据量的80~90% • 比结构化数据增长快10倍到50倍 • 是传统数据仓库的10倍到50倍 体量Volume • 大数据的异构和多样性 • 很多不同形式（文本、图像、 XML、html、音视频、机器数据） • 无模式或者模式不明显 • 不连贯的语法或句义 多样性Variety • 大量的不相关信息 •对未来趋势与模式的可预测分析 •深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等） 价值密度Value •实时分析而非批量式分析 •数据输入、处理与丢弃 •立竿见影而非事后见效 速度Velocity
- 8. • 1个 1TB SATA硬盘完全存取一次。 需要约90分钟。 • 100个 1TB SATA硬盘，每个存取1GB数据，采用并行访问， 运行速度将提高100倍。 并行计算 分布式存储 • Hadoop Distributed File System将巨大的数据变成大量数据的数据。 • 大文件会被拆分成多个块，每个块作为独立的单元进行存储。 • 数据块冗余存储保证容错性。 大数据技术的实质 8 内存计算 • 去除硬盘读写开销，提高处理速度。 • 从HDFS中读数据，运算中数据存放在内存。 • 建立RDD只读数据集，创建后不能修改，进行整个数据集的计算。
- 10. 10
- 14. 14
- 15. 15
- 16. 16
- 17. 17
- 18. 18
- 19. 19
- 21. 图书馆应用案例扫视 21
- 22. 图书馆应用案例扫视 22 阅读推广 资源利用 辅助决策 个性服务 • 阅读账单 • 年度报告 • 数据展示墙 • 图书排行榜 • 阅读达人 • …… • 馆藏挖掘 • 资源整合与发现 •…… • 服务数据统计 • 用户群体分析 • 借阅趋势 • 用户荐购 • …… • 行为数据采集与分析 • 喜好猜测，图书推荐 • 个性排序 • ……
- 24. 超星 24
- 28. 联创 28
- 29. 联创 29
- 30. 百度 30
- 31. 百度 31
- 32. 对比 32 图书 数字资源 互联网资源 空间、设备 数据 智能技术 读者行为 数据展示 个性化服务 辅助决策 超星 馆藏分析 借阅排行 阅读报告 资源发现 资源统计 利用分析 资源推送 无 门禁 大屏机 电纸书 无 借阅 搜索 到馆 智慧墙 移动端 用户画像 精准推送 资源采访等 图创 馆藏分析 借阅排行 阅读报告 图书推荐 无 无 门禁 视频客流 终端设备推 送 智能机器人 借阅 展示墙 移动端 精准推送 借阅数据分 析辅助 联创 借阅分析 资源统计 利用分析 无 门禁 自助设备 座位 空间 无 借阅 空间利用 展示墙 无 不清晰 百度 无 资源发现 资源统计 利用分析 百度资源 学术资源 门禁 移动设备 人脸识别 语音识别 图像识别与搜索 AI意图识别 搜索 利用 到馆 移动端 用户画像 精准推送 不清晰
- 33. 图书馆大数据统计与分析设计 • 设计原则 • 设计思路 • 数据来源 • 技术选择
- 37. 设计思路 37 从目的出发： 设定目标，通过提问题， 进行数据挖掘， 提出达到目的 的最佳途径和对策。 从现状出发： 通过分析目前的大数据， 寻找规律、关联， 然后聚类、排序， 进行推理、发现。
- 39. 大数据来源 39 资源 服务用户
- 43. 大数据来源 43 • 数据采集： −书目数据、用户数据、流通数据、参考咨询数据、OPAC查询数据、图书馆网站利用数 据、数据库利用数据、门禁系统数据、服务参与数据等； −通过机构内第三方平台用户数据； −通过互联网API、爬虫采集相关数据； −购买用户数据。 • 数据分析： 从用户属性及不同维度进行分析挖掘，进行群体研究、个案研究。 • 数据利用：作为改进资源建设与服务的重要依据。
- 45. 大数据来源 45
- 46. 技术选择 46 • 图书馆供应商产品 − 超星、图创、联创等一线厂商的产品 − 简单、高效 − 意味着全盘接受他们提供的解决方案 • 大数据基础产品与工具 − 百度、阿里云等大数据套件 − 需掌握相应技术，需具备技术团队 − 有更多的可能性 • 自行搭建数据平台
- 47. 图书馆大数据用途 47 阅读推广 资源利用 辅助决策 个性服务 • 阅读账单 • 年度报告 • 数据展示墙 • 图书排行榜 • 阅读达人 • 数字阅读，碎片阅读 • …… • 馆藏挖掘 • 资源整合与发现 • 资源组织与关联 • 排序与分面显示 • …… • 服务跟踪 • 用户群体分析 • 借阅趋势 • 采订剔旧 • …… • 行为数据采集与分析 • 用户画像 • 喜好猜测，资源推荐 • 个性排序 • 特征匹配，足迹预测 • 推荐同好，发展读者 • 用户社区 • ……
- 49. 大数据时代图书馆迎来的契机 49 01 • 提供了处理问题的新思想、新方法和新工具。 • 商业模式的变化：从硬件设备、软件授权向数据服务转变。 技术环境改变 02 • 馆藏资源的数字化：影像、口述历史、族谱、碑拓、字画、文书、文物…… • 馆藏资源采集的多样化：图像、视频、科学数据集、3D模型、慕课、游戏、VR、设计 文案、动态数据… • 非传统文献型数据库的供给：音频类、视频类、图像类、模型类、 互动性等数据库…… 资源结构改变 03 • 读者需求数据：借阅日志、信息服务日志…… • 读者行为数据：入馆、位置信息、监控、行为习惯…… • 社交网络数据：社交网络关联与数据上传、社交网络数据授权…… 使数据采集成为可能
Editor's Notes
- Value一指价值高，一指价值密度低 “大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。
- 是技术、社会发展的必然结果。 设备：存储、感知、 互联网：尤其是移动互联网 需求：进一步计算
- 网上1分钟，人间1万年。 微信每天发送消息次数达到380亿次，语音达到61亿次。
- 规约：发现有用特征，缩减数据规模 Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。大数据其实源自于2005年hadoop项目诞生 MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map（映射）”和”Reduce（归约）”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。 Spark拥有Hadoop MapReduce所具有的特点，内存计算，从而不需要读取HDFS。 搜索引擎：Solr、Elasticsearch… 分类：根据数据集的特点把未知类别的样本映射到给定类别中，例如朴素贝叶斯算法、支持向量机SVM算法 聚类：数据集内具有相似特征属性的数据聚集在一起，如期望最大化算法（EM算法）、K近邻算法 关联规则：找出能把一组数据项与另一组数据项联系起来的规则，以获得未知的、不能通过逻辑操作或统计得出的信息 预测模型：可以在结构化与非结构化数据中使用以确定未来结果的算法和技术。 可视化技术可以使结果更直观以便于洞察，有助于大数据的分析挖掘和结果呈现。
- 趋势： 大数据 + 人工智能 = 全新技术栈 数据正在陆续上云，打响云端战役，数据正在虚拟化 基础架构：流处理的重要性与日俱增，目前Spark已独占鳌头 SQL已经正式回归，Google BigQuery、SparkSQL、
- 基于大量数据进行统计的，是片面客观的，从而得出结果的。 这种方法是以前无法实现的
- 北师大 http://www.sohu.com/a/217525497_391342
- 阅读排行榜——借阅账单——年度报告——
- 资源：馆藏、空间 用户：用户、读者 服务：借阅、服务
- 图书馆讲大数据不仅仅是“大”
- 馆藏资源、空间资源、设施设备资源 用户特征、用户行为、用户互联网数据 服务过程中产生的日志、交互等数据
- 流通日志、服务器日志、设备日志 反馈、留言、交流、电话、频次 服务参与覆盖面、参与频次、影响因素分析 微信等社交媒体、关键字等
- 引自刘炜keven报告《阅读推广与大数据》
- 资源下架：流通日志、检索日志、出版社权值、年份权值、学科权值、其他馆流通日志等 找最相似读者
- 我们不再需要关注具体的设备需求，而仅需提出服务需求，入门门槛降低，并且，按需购买、成本降低。 到目前为止，中文的纸质图书、期刊、学位论文等文献类型，已大部完成数字化转换。报纸、灰色文献正在进行数字化转换。 图书馆对于文献数据库以外的数字资源的采集、处理、保存、挖掘和服务，还没有引起足够的重视。 各类数字资源在爆炸式增长，尤其是非结构化的数据（图片、声音、视频、地理位置信息等等），已经成为信息资源的主体。这是当前资源数字化的新特征。
- 当你的安卓手机 Wi-Fi 处于打开状态时，会与周围的 Wi-Fi 热点握手，若干热点可以根据你的信号强度反算出你的位置，并与你的 MAC 地址相关联，精准度可达米级。苹果手机如果你打开了蓝牙，也可以实现类似的定位。通过买来的数据将 MAC 与设备号映射起来，手机上的应用就能在你走下扶梯的一刻作出反应了。 即使没有姓名、电话这些个人可定位信息，对目标用户有一定背景信息了解的熟人，也通过互联网稀疏行为数据对应到个人从而获取更多隐私。新兴的“差分隐私”技术，也是为了克服这一难题。 根据个性化数据进行的推荐，百度搜索的推送、头条的内涵段子等
- 一、理性、客观、积极的态度
- 大数据是一种数据分析方式，与传统数据分析方式有着本质上的不同，如何对待数据： 更多：全面数据比抽样数据更准确。 更杂：增加数据的维度 关联：关注相关性，不关注因果，不深究为什么，而关注是什么，与什么相关。 数据的价值并不与数据规模直接相关，一家机构是否可以从数据中获取有效洞察取决于这家机构对数据的重视程度