Submit Search
Upload
بیگ دیتا
•
15 likes
•
4,505 views
Hamed Azizi
Follow
بیگ دیتا هادوپ حامد عزیزی دانشکده فنی تهران جنوب Hazizi.ir
Read less
Read more
Software
Report
Share
Report
Share
1 of 27
Download now
Download to read offline
Recommended
Cloud APIs and Cloud Frameworks
Cloud APIs and Cloud Frameworks
Praveen Hanchinal
Overview of computing paradigm
Overview of computing paradigm
Ripal Ranpara
3. CPU virtualization and scheduling
3. CPU virtualization and scheduling
Hwanju Kim
Admincenter
Admincenter
Rajiv Pandey
What is Virtualization
What is Virtualization
Dhrupesh Kotadiya
Linux container, namespaces & CGroup.
Linux container, namespaces & CGroup.
Neeraj Shrimali
What is Virtualization
What is Virtualization
Israel Marcus
Virtualization & cloud computing
Virtualization & cloud computing
Soumyajit Basu
Recommended
Cloud APIs and Cloud Frameworks
Cloud APIs and Cloud Frameworks
Praveen Hanchinal
Overview of computing paradigm
Overview of computing paradigm
Ripal Ranpara
3. CPU virtualization and scheduling
3. CPU virtualization and scheduling
Hwanju Kim
Admincenter
Admincenter
Rajiv Pandey
What is Virtualization
What is Virtualization
Dhrupesh Kotadiya
Linux container, namespaces & CGroup.
Linux container, namespaces & CGroup.
Neeraj Shrimali
What is Virtualization
What is Virtualization
Israel Marcus
Virtualization & cloud computing
Virtualization & cloud computing
Soumyajit Basu
VMware Vsphere Graduation Project Presentation
VMware Vsphere Graduation Project Presentation
Rabbah Adel Ammar
virtualization and hypervisors
virtualization and hypervisors
Gaurav Suri
What Is Cloud Computing? | Cloud Computing For Beginners | Cloud Computing Tr...
What Is Cloud Computing? | Cloud Computing For Beginners | Cloud Computing Tr...
Simplilearn
Load balancing in cloud
Load balancing in cloud
Souvik Maji
Cloud service models
Cloud service models
Prem Sanil
Linux Network Management
Linux Network Management
Anil Kumar Pugalia
Virtual machine
Virtual machine
IGZ Software house
Virtualization Questions
Virtualization Questions
Trupti Jethva
Virtualization in cloud computing
Virtualization in cloud computing
Mohammad Ilyas Malik
Proxmox for DevOps
Proxmox for DevOps
Jorge Moratilla Porras
Hypervisors and Virtualization - VMware, Hyper-V, XenServer, and KVM
Hypervisors and Virtualization - VMware, Hyper-V, XenServer, and KVM
vwchu
Cloud testing
Cloud testing
Baiju Joseph
Introduction to Cloud Computing
Introduction to Cloud Computing
Animesh Chaturvedi
CCS335 – CLOUD COMPUTING.pptx
CCS335 – CLOUD COMPUTING.pptx
NiviV4
Sa1 chapter-5-managing-local-linux-users-and-groups-v2 (4)
Sa1 chapter-5-managing-local-linux-users-and-groups-v2 (4)
Chinthaka Deshapriya (RHCA)
openstack designate
openstack designate
Yashar Esmaildokht
Presentation on samba server
Presentation on samba server
Veeral Bhateja
Userspace networking
Userspace networking
Stephen Hemminger
cloud computing, Principle and Paradigms: 1 introdution
cloud computing, Principle and Paradigms: 1 introdution
Majid Hajibaba
Exploring Openstack Swift(Object Storage) and Swiftstack
Exploring Openstack Swift(Object Storage) and Swiftstack
Ramit Surana
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
Hamed Azizi
Big data بزرگ داده ها
Big data بزرگ داده ها
Omid Sohrabi
More Related Content
What's hot
VMware Vsphere Graduation Project Presentation
VMware Vsphere Graduation Project Presentation
Rabbah Adel Ammar
virtualization and hypervisors
virtualization and hypervisors
Gaurav Suri
What Is Cloud Computing? | Cloud Computing For Beginners | Cloud Computing Tr...
What Is Cloud Computing? | Cloud Computing For Beginners | Cloud Computing Tr...
Simplilearn
Load balancing in cloud
Load balancing in cloud
Souvik Maji
Cloud service models
Cloud service models
Prem Sanil
Linux Network Management
Linux Network Management
Anil Kumar Pugalia
Virtual machine
Virtual machine
IGZ Software house
Virtualization Questions
Virtualization Questions
Trupti Jethva
Virtualization in cloud computing
Virtualization in cloud computing
Mohammad Ilyas Malik
Proxmox for DevOps
Proxmox for DevOps
Jorge Moratilla Porras
Hypervisors and Virtualization - VMware, Hyper-V, XenServer, and KVM
Hypervisors and Virtualization - VMware, Hyper-V, XenServer, and KVM
vwchu
Cloud testing
Cloud testing
Baiju Joseph
Introduction to Cloud Computing
Introduction to Cloud Computing
Animesh Chaturvedi
CCS335 – CLOUD COMPUTING.pptx
CCS335 – CLOUD COMPUTING.pptx
NiviV4
Sa1 chapter-5-managing-local-linux-users-and-groups-v2 (4)
Sa1 chapter-5-managing-local-linux-users-and-groups-v2 (4)
Chinthaka Deshapriya (RHCA)
openstack designate
openstack designate
Yashar Esmaildokht
Presentation on samba server
Presentation on samba server
Veeral Bhateja
Userspace networking
Userspace networking
Stephen Hemminger
cloud computing, Principle and Paradigms: 1 introdution
cloud computing, Principle and Paradigms: 1 introdution
Majid Hajibaba
Exploring Openstack Swift(Object Storage) and Swiftstack
Exploring Openstack Swift(Object Storage) and Swiftstack
Ramit Surana
What's hot
(20)
VMware Vsphere Graduation Project Presentation
VMware Vsphere Graduation Project Presentation
virtualization and hypervisors
virtualization and hypervisors
What Is Cloud Computing? | Cloud Computing For Beginners | Cloud Computing Tr...
What Is Cloud Computing? | Cloud Computing For Beginners | Cloud Computing Tr...
Load balancing in cloud
Load balancing in cloud
Cloud service models
Cloud service models
Linux Network Management
Linux Network Management
Virtual machine
Virtual machine
Virtualization Questions
Virtualization Questions
Virtualization in cloud computing
Virtualization in cloud computing
Proxmox for DevOps
Proxmox for DevOps
Hypervisors and Virtualization - VMware, Hyper-V, XenServer, and KVM
Hypervisors and Virtualization - VMware, Hyper-V, XenServer, and KVM
Cloud testing
Cloud testing
Introduction to Cloud Computing
Introduction to Cloud Computing
CCS335 – CLOUD COMPUTING.pptx
CCS335 – CLOUD COMPUTING.pptx
Sa1 chapter-5-managing-local-linux-users-and-groups-v2 (4)
Sa1 chapter-5-managing-local-linux-users-and-groups-v2 (4)
openstack designate
openstack designate
Presentation on samba server
Presentation on samba server
Userspace networking
Userspace networking
cloud computing, Principle and Paradigms: 1 introdution
cloud computing, Principle and Paradigms: 1 introdution
Exploring Openstack Swift(Object Storage) and Swiftstack
Exploring Openstack Swift(Object Storage) and Swiftstack
Viewers also liked
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
Hamed Azizi
Big data بزرگ داده ها
Big data بزرگ داده ها
Omid Sohrabi
عظيم داده چيست؟
عظيم داده چيست؟
digidanesh
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Mobin Ranjbar
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Mobin Ranjbar
A Story of Big Data:Introduction
A Story of Big Data:Introduction
Mobin Ranjbar
Big Data and select suitable tools
Big Data and select suitable tools
Meghdad Hatami
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
Hamed Azizi
Big Data Processing in Cloud Computing Environments
Big Data Processing in Cloud Computing Environments
Farzad Nozarian
K-Means clustring @jax
K-Means clustring @jax
Ajay Iet
91353111 datamining
91353111 datamining
Saeid Habibpour
Data clustring
Data clustring
Salman Memon
داده کاوی
داده کاوی
Taha Mokfi
هادوپ چيست؟
هادوپ چيست؟
digidanesh
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعی
Hamed Azizi
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
Hamed Azizi
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
Ehsan Asgarian
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Frank Oellien
Distributed System
Distributed System
Iqra khalil
Internet of Things Security Challlenges
Internet of Things Security Challlenges
quickheal_co_ir
Viewers also liked
(20)
کلان داده کاربردها و چالش های آن
کلان داده کاربردها و چالش های آن
Big data بزرگ داده ها
Big data بزرگ داده ها
عظيم داده چيست؟
عظيم داده چيست؟
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Introduction to Apache Hadoop in Persian - آشنایی با هدوپ
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
Hadoop Case Studies in the Real World in Persian - کاربردهای هدوپ در دنیای واقعی
A Story of Big Data:Introduction
A Story of Big Data:Introduction
Big Data and select suitable tools
Big Data and select suitable tools
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
تحلیل احساسات شبکه اجتماعی متن کاوی نظرکاوی حامد عزیزی تهران جنوب
Big Data Processing in Cloud Computing Environments
Big Data Processing in Cloud Computing Environments
K-Means clustring @jax
K-Means clustring @jax
91353111 datamining
91353111 datamining
Data clustring
Data clustring
داده کاوی
داده کاوی
هادوپ چيست؟
هادوپ چيست؟
تحلیل احساسات در شبکه های اجتماعی
تحلیل احساسات در شبکه های اجتماعی
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
بررسی کاربردها و چالش های کلان داده در تحلیل عقاید
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
فناوریهای حوزهی کلان داده - Introduction to Big Data Technologies
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Text Mining - Techniques & Limitations (A Pharmaceutical Industry Viewpoint)
Distributed System
Distributed System
Internet of Things Security Challlenges
Internet of Things Security Challlenges
Similar to بیگ دیتا
آشنایی با Hadoop
آشنایی با Hadoop
nasser rezaei
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Mobin Ranjbar
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
Farafekr Technology
Bi and data mining with Oracle
Bi and data mining with Oracle
ghanadbashi
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
Web Standards School
Microsoft BI Sumery
Microsoft BI Sumery
Reza Bahadorizadeh
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد
Farzad Khandan
دادهکاوی و زبان برنامهنویسی R
دادهکاوی و زبان برنامهنویسی R
جشنوارهٔ روز آزادی نرمافزار تهران
پردازش ابری و امنیت سایبری
پردازش ابری و امنیت سایبری
Amin Younesi
cloud services for libraries
cloud services for libraries
mahboubeh ghorbani
IranOUG_Oracle_Multitenant
IranOUG_Oracle_Multitenant
Oracle Freelancer
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعات
iuvmtech
Oracle نوشته مهندس اسمعیل دخت
Oracle نوشته مهندس اسمعیل دخت
Yashar Esmaildokht
Oracle_Database_12c_Most_Important_New_Features_Persian
Oracle_Database_12c_Most_Important_New_Features_Persian
Armin Valadkhani
اسلايد آموزشي هوش تجاري
اسلايد آموزشي هوش تجاري
Ali Masoombeigi
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار
efazati
Efazati opendata slides
Efazati opendata slides
Hosseinieh Ershad Public Library
Sharding
Sharding
Ali Hallaji
ورودی خروجی Hadoop
ورودی خروجی Hadoop
nasser rezaei
Crisp dm.1.0
Crisp dm.1.0
ali ahmadi
Similar to بیگ دیتا
(20)
آشنایی با Hadoop
آشنایی با Hadoop
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
Introduction to Hadoop and Spark - اسلاید کارگاه آموزش هدوپ و اسپارک شیراز
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
1st Hadoop Tehran Workshop - اسلاید اولین کارگاه آموزش هدوپ تهران
Bi and data mining with Oracle
Bi and data mining with Oracle
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
توسعه نرمافزارهای مقیاسپذیر بر اساس معماری ریزسرویسها (Microservices) و اجر...
Microsoft BI Sumery
Microsoft BI Sumery
داده های عظیم چگونه دنیا را تغییر خواهند داد
داده های عظیم چگونه دنیا را تغییر خواهند داد
دادهکاوی و زبان برنامهنویسی R
دادهکاوی و زبان برنامهنویسی R
پردازش ابری و امنیت سایبری
پردازش ابری و امنیت سایبری
cloud services for libraries
cloud services for libraries
IranOUG_Oracle_Multitenant
IranOUG_Oracle_Multitenant
مقدمه ای بر جمع آوری اطلاعات
مقدمه ای بر جمع آوری اطلاعات
Oracle نوشته مهندس اسمعیل دخت
Oracle نوشته مهندس اسمعیل دخت
Oracle_Database_12c_Most_Important_New_Features_Persian
Oracle_Database_12c_Most_Important_New_Features_Persian
اسلايد آموزشي هوش تجاري
اسلايد آموزشي هوش تجاري
Opendata and business - داده های باز و کسب و کار
Opendata and business - داده های باز و کسب و کار
Efazati opendata slides
Efazati opendata slides
Sharding
Sharding
ورودی خروجی Hadoop
ورودی خروجی Hadoop
Crisp dm.1.0
Crisp dm.1.0
بیگ دیتا
1.
شده توزیع داده
پایگاه و داده کالن خدا نام به Hadoop
2.
بررسی مورد های
موضوع •داده کالن تعریف •دنیا در اطالعات تولید روند •ای رابطه غیر های داده پایگاه •Hadoop •ساختارHadoop •HDFS •Map-Reduce •مثالMap-Reduce •گیری نتیجه 01 1/26
3.
تعریفBIG Data 01 موسسه که
تعریفیگارتنردارد داده کالن از: کالندارایی دادههاییحجم باباال ،فزاینده تولید سرعت می باال تنوع با اطالعاتیباشند پردازش از جدیدی اشکال به نیاز کهدارند بینش ، گیری تصمیم قدرت بتوانند تاکشف دهند افزایش را فرآیند سازی بهینه و 2/26
4.
اینترنت دنیای از
ارقام و آمار
5.
01 1میلیاردبازدیددرماهتوسطکاربران مختلف بیشاز6میلیاردساعتویدیودرهرماه توسطکاربرانمشاهدهمیشود درهردقیقه100ساعتویدیوآپلود میشود. 80درصدترافیکازخارجآمریکاوارد سایتمیشود. April 2014 بیشازیکمیلیاردکاربر 618میلیونکاربرفعالیکهروزانهاطالعاتخودرا بررسیمیکنند. 570میلیونمشاهدهصفحاتدرماه روزانهبیشاز300میلیونعکسآپلودمیشود معادلحدود3میلیاردعکسدرماهکهتاکنونتعداد اینتصاویرفراتراز240میلیاردبودهاست. پردازشونمایشبیشاز1.2میلیاردعکسدرثانیه روزانه500ترابایتاضافه جدید
اطالعاتمیشود. حدود ارتباط30جهان سراسر در سرور هزار February 2013 4/26
6.
01 از بیش12جستجوی درخواست
میلیارد ماهیانه نزدیک70آمریکا در جستجوها درصد April 2014 October 2012 500روزانه رشد با کاربر میلیون150،000کاربر 200فعال کاربر میلیون روزانه540توییت میلیون! از بیش آپلود40روز در عکس میلیون 8500ثانیه هر در الیک از بیش ثانیه هر در1000در نظرمورد می نوشته کاربران توسط تصاویرشود. January 2013 5/26
7.
01 یکتیغهتوربینگازکهبهمنظورتولیدبرقبه کارمیرودروزانه520گیگابایتاطالعاتتولید میکندکهدرهرتوربین20عددازاینتیغهها وجوددارد. ها ماشین تولیدی
اطالعات حجم الگبه مربوطروترها،سوییچ، ها فایروالو... الگبه مربوطسنسورها الگها دوربین مربوط و... 6/26
8.
NO-SQL
9.
01 مدلایرابطهسال در۱۹۷۰توسطادگارکادمطرحشد. مدلStructured Query
Language مشکالت داده کالن محیط یک در پاسخگویی عدم ابری محیط در مناسب و بنیادی سازگاری عدم باال پذیری مقیاس عدم 8/26
10.
01 توسط بار نخستین
برایCarlo Strozziدر سال1998شد مطرح مفهوم این. داده های پایگاه نوع این به بعد مدتیNoREL یاNot Only Relational مدلNot Only SQL های داده پایگاه سمت به گذارNO SQL های محدودیت و مشکالت دلیل بهSQL م های محدودیت دلیل به بلکه ، نبودهدل بوده ای رابطهاست. 9/26
11.
01 سهمفومتحت دادهای های
پایگاه در اصلیوب •سازگاریConsistency همهنودهادارند دسترسی زمانی واحد یک در یکسان داده یک به. •پذیری دسترسیAvailability باشد داشته جوابی باید درخواست هر. •بخشبخشسیستم سازیPartitioning از یکی در اطالعات رفتن بین از هرگونه صورت در سیستمنودهابخش افتادن کار از یا واز ی دهد ادامه خود کار به ها داده دیگر با بتواند سیستم. 10/26
12.
01 نظریهCAP •سال در2000نظریهCAPتوسط •Eric Brewerشد
مطرح. •کسب توانایی فقط و فقطدومورد زمان یک در 11/26
13.
01 مناسب داده پایگاه
انتخاب چگونگی •کم خواندن توالی و باال نوشتن توالی با های داده:شمارندهتل اطالعات ،سکوپ •کم نوشتن توالی و باال خواندن توالی با های داده:اسناد مثلHtmlو تصاویر ،... •ک بسیار خدمات توقف با و باال بودن دسترس در قبیل از کاربردهاییم •دادههاییشوند همگام جغرافیایی مختلف نقاط در باید که. 12/26
14.
15.
01 Apache Hadoop اجرا برای
که است پردازشی کلی چارچوب یک هادوپ ،ساده زبان بهی پرسمجموعه روی تکراری عملیات دیگر و وجوهاداده هایبا عظیم ای حجماست شده طراحی پتابایت حتی و ترابایت های. •خالقهادوپدوگکاتینگ •برایتوزیع از پشتیبانیشدگیج موتور پروژه درستجوی Nutchسال در2005 •نامکرد انتخاب پسرش عروسکی فیل روی از را پروژه. های ویژگیHadoop •باال پذیری دسترسی •عالی پذیری مقیاس •تکثیر قابلیت •قابلیتMap-Reduce 14/26
16.
01 معماریHadoop 15/26
17.
معماریHDFS 16/26
18.
01 Replication درHDFS 17/26
19.
01 از ها شرکت
کدامهادوپ؟ کنند می استفاده 18/26
20.
01 چارچوبMap-Reduce MapReduceتوسطگوگلدرسال2003توسعهداده شد یکچارچوبافزارینرماستکهبستریامنومقیاس پذیربرایتوسعهکاربردهایتوزیعیفراهممیکند. چارچوب از استفاده
مزایایMap-Reduce -موازیسازیکارهابهصورتخودکار -تعادلدربارمحاسباتیوداده -بهینهسازیدرانتقاالتدیسکوشبکه -ادارهکردنهاینقصرخدادهدرهاماشین 19/26
21.
01 Map-Reduce 20/26
22.
01 نگاشت چارچوب از
مثالی-کاهش 21/26
23.
01 نگاشت چارچوب از
مثالی-کاهش 22/26
24.
01 نگاشت چارچوب از
مثالی-کاهش 23/26
25.
01 نگاشت چارچوب از
مثالی-کاهش 24/26
26.
های داده پایگاه
سمت به گذارNO SQLهای محدودیت و مشکالت دلیل بهSQLبه بلکه ، نبوده بوده ای رابطه مدل های محدودیت دلیلاست. های پایگاهRDBMSکرد خواهند حفظ را خود بازار همیشه. که شود می زمانی به منحصر بیشتر کاربرد3Vشود اثبات. گیری نتیجه 25/26
27.
منابع 26/26
Download now