ارائه دکتر سعید اسدی95/12/21 "داده های جریانی"

1. ‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬
‫اسدی‬‫سعید‬
‫شاهد‬ ‫دانشگاه‬‫ی‬ ‫شناس‬ ‫دانش‬ ‫و‬‫اطالعات‬‫علم‬ ‫گروه‬‫علمی‬‫هیئت‬ ‫عضو‬
s.asadi@shahed.ac.ir
‫اسفند‬1395
‫جریانی‬‫های‬‫داده‬-‫ارشاد‬‫حسینیه‬‫کتابخانه‬-‫اسفند‬1395
1

2. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬
2
‫جریانی‬ ‫های‬ ‫داده‬(Streaming data)‫اطالعات‬ ‫ای‬‫ر‬‫ب‬‫است‬ ‫توصیفی‬
(‫ها‬ ‫داده‬)‫مان‬‫ز‬ ‫به‬ ‫وابسته‬‫و‬ ‫ا‬‫ر‬‫گذ‬.
‫مشابه‬ ‫اصطالحات‬:
•‫ها‬ ‫داده‬ ‫جریان‬(Data stream:)‫یا‬ ‫سال‬‫ر‬‫ا‬ ‫که‬ ‫ها‬ ‫داده‬ ‫از‬ ‫ای‬ ‫مجموعه‬
‫شوند‬ ‫می‬ ‫داده‬ ‫انتقال‬.
•‫ها‬ ‫داده‬ ‫گسیل‬(Data streaming:)‫با‬ ‫مرتبط‬ ‫عمل‬ ‫یا‬ ‫فعالیت‬ ‫هر‬
‫انتقال‬(‫فرستادن‬–‫یافت‬‫ر‬‫د‬)‫ها‬ ‫داده‬(‫جریانی‬ ‫ی‬.)

3. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬
3
‫جریانی‬ ‫های‬ ‫داده‬(Streaming data)‫اطالعات‬ ‫ای‬‫ر‬‫ب‬‫است‬ ‫توصیفی‬
(‫ها‬ ‫داده‬)‫مان‬‫ز‬ ‫به‬ ‫وابسته‬‫و‬ ‫ا‬‫ر‬‫گذ‬.
‫مشابه‬ ‫اصطالحات‬:
•‫ها‬ ‫داده‬ ‫جریان‬(Data stream:)‫یا‬ ‫سال‬‫ر‬‫ا‬ ‫که‬ ‫ها‬ ‫داده‬ ‫از‬ ‫ای‬ ‫مجموعه‬
‫شوند‬ ‫می‬ ‫داده‬ ‫انتقال‬.
•‫ها‬ ‫داده‬ ‫گسیل‬(Data streaming:)‫با‬ ‫مرتبط‬ ‫عمل‬ ‫یا‬ ‫فعالیت‬ ‫هر‬
‫انتقال‬(‫فرستادن‬–‫یافت‬‫ر‬‫د‬)‫ها‬ ‫داده‬(‫جریانی‬ ‫ی‬.)

4. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬‫های‬‫نمونه‬
4
•‫ها‬ ‫جاده‬ ‫و‬ ‫کالنشهرها‬ ‫در‬ ‫افیک‬‫ر‬‫ت‬ ‫جریان‬
•‫اقلیمی‬ ‫های‬ ‫داده‬ ‫و‬ ‫ی‬ ‫هواشناس‬
•‫محیطی‬ ‫یست‬‫ز‬ ‫های‬ ‫داده‬
•‫ادیویی‬‫ر‬ ‫و‬ ‫تلویزیونی‬ ‫های‬‫شبکه‬
•‫ن‬‫گوناگو‬ ‫حسگر‬ ‫های‬‫شبکه‬
•‫نظامی‬ ،‫افیایی‬‫ر‬‫جغ‬ ،‫فضایی‬ ‫ن‬‫فنو‬ ‫و‬ ‫علوم‬
•‫پزشکی‬ ‫ویژه‬ ‫های‬ ‫اقبت‬‫ر‬‫م‬
•‫ار‬‫ز‬‫با‬ ‫و‬ ‫س‬‫ر‬‫بو‬ ،‫ت‬‫ر‬‫تجا‬

5. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬‫های‬‫نمونه‬(‫اطالعات‬‫ی‬‫ر‬‫فناو‬)
5
•‫ای‬ ‫ایانه‬‫ر‬ ‫های‬‫شبکه‬ ‫در‬ ‫ها‬ ‫داده‬ ‫انتقال‬(‫اینترنت‬ ‫ویژه‬ ‫به‬)
•‫نشست‬ ‫اطالعات‬(‫الگ‬)
•‫ها‬ ‫سیستم‬ ‫امنیت‬
•‫اجتماعی‬ ‫های‬‫شبکه‬ ‫در‬ ‫ها‬ ‫کانال‬
•‫ها‬ ‫پادکست‬ ‫و‬ ‫اینترنتی‬ ‫های‬ ‫برنامه‬
•‫مالی‬ ‫های‬ ‫اکنش‬‫ر‬‫ت‬/‫برخط‬ ‫بانکی‬
•‫ر‬‫سنسو‬ ‫بر‬ ‫مبتنی‬ ‫های‬ ‫سیستم‬ ‫انواع‬(‫مانند‬RFID)

6. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬‫های‬‫ویژگی‬
6
•‫نگی‬‫ر‬‫د‬‫بی‬Real-time data
•‫پیوستگی‬Continuous data
•‫ترتیب‬Ordered data
•‫یاد‬‫ز‬ ‫حجم‬Large data
•‫مشخص‬ ‫پایان‬ ‫ن‬‫بدو‬Non-ending data
•‫دیجیتال‬ ‫فرمت‬Digital data

7. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬‫یت‬‫ر‬‫مدی‬‫سیستم‬
7
Lindeberg (2009)
buffer
input module
buffer
output module
Query processor
user query
static
dB
Query Optimizer
query tree
Load Shedder
System monitor

8. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬‫در‬‫جو‬‫و‬‫پرس‬
8
DBMS
•Persistent relations
(relatively static, stored)
•One-time queries
•Random access
•Unbounded disk store
•Only current state matters
•No real-time services
•Relatively low update rate
•Data at any granularity
•Assume precise data
•Predictable/unified data
characteristics
DSMS
• Transient streams
(on-line analysis)
• Continuous queries (CQs)
• Sequential access
• Bounded main memory
• Historical data is important
• Real-time requirements
• High update rate
• Data at fine granularity
• Data stale/imprecise
• Unpredictable/variable data
characteristics
Lindeberg (2009)

9. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬‫در‬‫جو‬‫و‬‫پرس‬
9
‫ایج‬‫ر‬ ‫ی‬‫نظر‬ ‫حالت‬‫سه‬:
.1‫ثابت‬ ‫های‬ ‫داده‬‫از‬ ‫پیوسته‬ ‫پرسش‬.
.2‫جریانی‬ ‫های‬ ‫داده‬‫از‬ ‫ثابت‬ ‫پرسش‬
.3‫جریانی‬ ‫های‬ ‫داده‬‫از‬ ‫پیوسته‬ ‫پرسش‬
•‫پیوسته‬ ‫پرسش‬ ‫های‬ ‫سیستم‬(Continious query systems
QCS)‫جریان‬ ‫یک‬ ‫از‬ ‫مداوم‬ ‫پرسش‬ ‫ه‬‫ز‬‫اجا‬(‫مداوم‬)‫دهند‬‫می‬ ‫ا‬‫ر‬ ‫داده‬.

10. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬‫در‬‫جو‬‫و‬‫پرس‬
10
Query Processing
Continuous Query (CQ) Result
Query Processing
Main MemoryData Stream(s) Data Stream(s)
Disk
Main Memory
SQL Query Result
Lindeberg (2009)

11. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫ی‬ ‫شناس‬‫دانش‬‫و‬‫اطالعات‬‫علم‬‫و‬‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬
11
‫الف‬.‫ها‬ ‫کتابخانه‬:
•‫اطالعات‬ ‫جای‬ ‫به‬ ‫مدارک‬(‫داده‬)
•‫ی‬ ‫ایش‬‫ز‬‫اف‬ ‫و‬ ‫ثابت‬ ‫مجموعه‬
•‫کاغذی‬ ‫و‬ ‫چاپی‬ ‫منابع‬ ‫بودن‬ ‫غالب‬
•‫متنی‬ ‫های‬ ‫داده‬ ‫بر‬ ‫تمرکز‬ ‫و‬ ‫اهمیت‬
•‫منابع‬‫دستی‬ ‫ش‬‫ز‬‫پردا‬
•‫مدارک‬ ‫ی‬‫جستجو‬

12. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫ی‬ ‫شناس‬‫دانش‬‫و‬‫اطالعات‬‫علم‬‫و‬‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬
12
‫ب‬.‫اطالعاتی‬ ‫های‬‫پایگاه‬:
•‫دیجیتال‬ ‫و‬ ‫الکترونیکی‬ ‫مدارک‬
•‫ی‬ ‫ایش‬‫ز‬‫اف‬ ‫و‬ ‫ثابت‬ ‫مجموعه‬
•‫ها‬ ‫داده‬ ‫دیجیتال‬ ‫و‬ ‫الکترونیکی‬ ‫فرمت‬
•‫متنی‬ ‫های‬ ‫داده‬ ‫بر‬ ‫تمرکز‬ ‫و‬ ‫اهمیت‬
•‫دستی‬ ‫ش‬‫ز‬‫پردا‬‫و‬/‫منابع‬‫ماشینی‬ ‫یا‬
•‫متن‬ ‫و‬ ‫مدارک‬ ‫ی‬‫جستجو‬

13. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫ی‬ ‫شناس‬‫دانش‬‫و‬‫اطالعات‬‫علم‬‫و‬‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬
13
‫ج‬.‫جستجو‬ ‫های‬‫ر‬‫موتو‬:
•‫دیجیتال‬ ‫و‬ ‫الکترونیکی‬ ‫مدارک‬
•‫ی‬ ‫ایش‬‫ز‬‫اف‬ ‫و‬ ‫ثابت‬ ‫مجموعه‬
•‫سانه‬‫ر‬ ‫تنوع‬(‫ویدئو‬ ،‫افیک‬‫ر‬‫گ‬،‫صدا‬ ،‫متن‬)...
•‫و‬ ‫صوت‬ ،‫تصویر‬ ،‫متن‬ ‫یابی‬‫ز‬‫با‬ ‫متنوع‬ ‫ن‬‫فنو‬. ...
•‫ش‬‫ز‬‫پردا‬‫ها‬ ‫داده‬‫و‬ ‫منابع‬‫ماشینی‬
•‫اداده‬‫ر‬‫ف‬ ‫و‬ ‫متن‬ ،‫مدارک‬ ‫ی‬‫جستجو‬
•‫گستردگی‬ ‫و‬ ‫گی‬‫ر‬‫بز‬Scalability

14. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫ی‬ ‫شناس‬‫دانش‬‫و‬‫اطالعات‬‫علم‬‫و‬‫یانی‬‫ر‬‫ج‬‫های‬‫داده‬
14
‫د‬.‫جدید‬ ‫های‬ ‫ه‬‫ز‬‫حو‬:
•‫ی‬‫کاو‬ ‫داده‬
•‫عظیم‬ ‫های‬ ‫داده‬
•‫اطالعات‬ ‫و‬ ‫انسان‬ ‫تعامل‬ ‫و‬ ‫ان‬‫ر‬‫ب‬‫ر‬‫کا‬ ‫تحلیل‬
•‫دانش‬ ‫پایگاه‬
•‫دانش‬ ‫اکتشاف‬
•‫اجتماعی‬ ‫دهی‬ ‫مان‬‫ز‬‫سا‬ ‫و‬ ‫بندی‬ ‫ده‬‫ر‬
•‫سنجی‬ ‫علم‬
‫اطالعات‬ ‫علم‬ ‫در‬ ‫جریانی‬‫های‬‫داده‬ ‫ی‬‫و‬‫ر‬ ‫کار‬ ‫ای‬‫ر‬‫ب‬ ‫بالقوه‬‫های‬ ‫ه‬‫ز‬‫حو‬

15. ‫جریانی‬‫های‬‫داده‬–‫ارشاد‬‫حسینیه‬‫کتابخانه‬
‫اسفند‬1395
‫منتخب‬‫منابع‬
• H´ebrail, H. 2008. Data stream management and mining.
Mining Massive Data Sets for Security, IOS Press, pp.89-
102.
• Lindeberg, M. 2009. Data Stream Management Systems
(DSMS) Introduction, Concepts and Issues. Accessed from:
http://www.uio.no/studier/emner/matnat/ifi/INF5100/h06/undervisningsmateriale/hando
uts/DSMS.pdf
‫شما‬ ‫از‬ ‫تشکر‬ ‫با‬
‫اسدی‬ ‫سعید‬
asadi.s@gmail.com 15