SlideShare a Scribd company logo
1 of 54
LƯU TRỮ VÀ XỬ LÝ
DỮ LIỆU
CHƯƠNG 4
Ảo hóa và điện toán đám mây 1
Cloud Computing: Truy cập dữ liệu như thế nào?
Ảo hóa và điện toán đám mây 2
Bất cứ thiết bị Bất cứ lúc nào Bất cứ nơi đâu
NỘI DUNG
1. CÁC LOẠI HỆ THỐNG TẬP TIN
2. HỆ THỐNG LƯU TRỮ PHÂN TÁN
VÀ ĐỒNG NHẤT BỘ NHỚ
3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN
ĐÁM MÂY VÀ DỮ LIỆU LỚN
4. CƠ SỞ DỮ LIỆU NOSQL
Ảo hóa và điện toán đám mây 3
1. CÁC LOẠI HỆ THỐNG TẬP TIN
• Hệ thống tập tin là gì?
• Hệ thống tập tin là cách tổ chức và lưu trữ tập tin trên ổ
đĩa. Nó chỉ định cách dữ liệu được lưu trữ trên ổ đĩa và
những loại thông tin nào có thể được đính kèm vào tập
tin như: tên tập tin, quyền truy cập, thuộc tính …
• Các hệ điều hành khác nhau hỗ trợ các hệ thống tập tin
khác nhau
Ảo hóa và điện toán đám mây 4
1. CÁC LOẠI HỆ THỐNG TẬP TIN
Types Examples
Disk file system FAT, exFAT, NTFS…
Optical discs CD, DVD, Blu-ray
Tape file system IBM’s Linear tape
Database file system DB2
Transactional file system TxF, Valor, Amino, TFFS
Flat file system Amazon’s S3
Cluster file system
• Distributed file system
• Shared file system
• San file system
• Parallel file system
NFS, AFS, GFS,GPFS, LUSTRE, HDFS
Ảo hóa và điện toán đám mây 5
Clustered File System
• Một hệ thống tập tin gom cụm là
một hệ thống tập tin được chia sẻ
bằng cách đồng thời gắn trên
nhiều máy chủ
• Hệ thống tệp song song là một loại
hệ thống tệp phân cụm truyền dữ
liệu qua nhiều nút lưu trữ, thường là
để dự phòng hoặc tăng hiệu suất
Ảo hóa và điện toán đám mây 6
Các ví dụ về hệ thống Shared file system
• Silicon Graphics (SGI) clustered file system (CXFS)
• Veritas Cluster File System
• DataPlow Nasan File System
• IBM General Parallel File System (GPFS)
• Microsoft Cluster Shared Volumes (CSV)
• Oracle Cluster File System (OCFS)
• PolyServe storage solutions
• Quantum StorNext File System (SNFS), ex ADIC, ex CentraVision File System (CVFS)
• Blue Whale Clustered file system (BWFS)
• Red Hat Global File System (GFS)
• Sun QFS
• TerraScale Technologies TerraFS
• VMware VMFS
• Xsan
Ảo hóa và điện toán đám mây 7
Các ví dụ về hệ thống Distributed file systems
• BeeGFS (Fraunhofer)
• Ceph (Inktank, Red Hat, SUSE)
• GFS (Google Inc.)
• GlusterFS (Red Hat)
• HDFS (Apache Software Foundation)
• OneFS (EMC Isilon)
• Lustre
• MooseFS (Core Technology / Gemius)
• ObjectiveFS
• Panfs (Panasas)
• Windows Distributed File System (DFS) (Microsoft)
• XtreemFS
Ảo hóa và điện toán đám mây 8
NỘI DUNG
1. CÁC LOẠI HỆ THỐNG TẬP TIN
2. HỆ THỐNG LƯU TRỮ PHÂN TÁN
VÀ ĐỒNG NHẤT BỘ NHỚ
3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN
ĐÁM MÂY VÀ DỮ LIỆU LỚN
4. CƠ SỞ DỮ LIỆU NOSQL
Ảo hóa và điện toán đám mây 9
2. HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ
ĐỒNG NHẤT BỘ NHỚ
• Network File System (NFS)
• Andrew File System (AFS)
Ảo hóa và điện toán đám mây 10
NFS
• NFS hay Network File System là kiến trúc hệ thống tập tin phân tán (DFS -
Distributed File System) mà một máy chủ trong hệ thống đóng vai trò là
máy chủ lưu trữ, cung cấp năng lực lưu trữ của các ổ đĩa cứng cục bộ, hệ
thống RAID (Redundant Array of Independent Disks) cho các máy tính
khác qua giao thức mạng.
• NFS được hỗ trợ bởi hầu hết các nền tảng hệ điều hành như Windows,
Unix.
• NFS được phát triển bởi Sun Microsystems từ năm 1984
• Các phiên bản NFS:
• NFSv2
• NFSv3
• NFSv4
Ảo hóa và điện toán đám mây 11
NFS – Kiến trúc
Phía Server:
• NFS server xử lý các yêu cầu từ client
• Từ RPC stub unmarshals request (yêu cầu sơ khai),
Server chuyển chúng thành các hoạt động tệp VFS
• VFS chịu trách nhiệm triển khai 1 hệ thống tệp cục bộ
Phía Client:
• Client truy cập file system bằng các lời gọi hệ thống
(system call)
• Giao diện hệ thống UNIX được thay thế bằng giao
diện cho hệ thống tệp ảo (VFS) (các hệ điều hành hiện
đại đều cung cấp VFS)
• Các hoạt động trên giao diện VFS được chuyển đến hệ
thống tệp cục bộ (Local file) hoặc được chuyển đến 1
thành phần riêng biệt gọi là NFS Client
• NFS client đảm nhiệm việc xử lý quyền truy cập vào
các tệp được lưu trữ tại máy chủ từ xa
• Trong NFS, tất cả giao tiếp giữa máy khách và máy
chủ được thực hiện thông qua RPC (Remote
procedure call) Ảo hóa và điện toán đám mây 12
NFS – Ưu nhược điểm
• Ưu điểm:
• Tính trong suốt cho người dùng cuối về cách thức truy cập tập tin hay vị trí nơi
tập tin được lưu trữ
• Nhược điểm:
• Tính khả mở thấp do mọi thao tác đọc ghi dữ liệu đều thực hiện qua kết nối
mạng với máy chủ lưu trữ NFS
Ảo hóa và điện toán đám mây 13
AFS
• AFS cũng là một hệ thống tập tin phân tán nhằm mục đích chia sẻ tập tin
cho một lượng lớn người dùng mạng
• Khi truy cập tập tin, toàn bộ tập tin sẽ được sao chép về phía máy người sử
dụng và các thao tác đọc ghi được thực hiện trên tập tin đó. Khi tập tin được
đóng, nội dung tập tin sẽ được cập nhật về phía máy chủ lưu trữ.
Ảo hóa và điện toán đám mây 14
NFS và AFS
• Dữ liệu chỉ được lưu trong một hệ thống chính
• Các hệ thống khác truy cập dữ liệu giống như chúng đang
được lưu cục bộ tại hệ thống đó
• Khi hệ thống chính gặp sự cố?
• Dữ liệu không truy cập được
• Phụ thuộc vào hệ thống chính
Ảo hóa và điện toán đám mây 15
Hoạt động 1
• Cài đặt NFS Server 2019 trong AWS (hoặc Azure, hoặc
GCP, hoặc tại các máy ảo local)
• Chụp hình lại kết quả và ghi vào Google Docs được chia sẻ
bởi GV
Tham khảo các bước thực hiện tại file hướng dẫn trên
Google Classroom
Ảo hóa và điện toán đám mây 16
NỘI DUNG
1. CÁC LOẠI HỆ THỐNG TẬP TIN
2. HỆ THỐNG LƯU TRỮ PHÂN TÁN
VÀ ĐỒNG NHẤT BỘ NHỚ
3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN
ĐÁM MÂY VÀ DỮ LIỆU LỚN
4. CƠ SỞ DỮ LIỆU NOSQL
Ảo hóa và điện toán đám mây 17
3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN ĐÁM
MÂY VÀ DỮ LIỆU LỚN
• Hadoop Distributed File System (HDFS)
• Google File System (GFS)
Ảo hóa và điện toán đám mây 18
Hadoop Distributed File System (HDFS)
• Hadoop framework của Apache là một nền tảng dùng để
phân tích các tập dữ liệu rất lớn mà không thể xử lý được
trên một máy chủ duy nhất.
• Hadoop có khả năng mở rộng vô số các nút lưu trữ và có
thể xử lý tất cả hoạt động và phân phối liên quan đến việc
phân loại dữ liệu.
• HDFS (Hadoop distributed file system) ra đời trên nhu cầu
lưu trữ dữ liệu của Nutch, một dự án Search Engine mã
nguồn mở.
• HDFS kế thừa các đặc tính chung của các hệ thống tập tin
phân tán thế hệ trước như độ tin cậy, khả năng mở rộng và
hiệu suất hoạt động.
Ảo hóa và điện toán đám mây 19
Mục tiêu thiết kế của HDFS
• Khả năng phát hiện lỗi, chống chịu lỗi và tự
động phục hồi
• Lưu trữ dữ liệu có dung lượng lớn. Một tập tin
điển hình trong HDFS có kích thước từ gigabyte
đến terabyte.
• HDFS được thiết kế chỉ cho phép thay đổi nội
dung các tập tin được lưu trữ qua phép toán
thêm “append” dữ liệu vào cuối tập tin hơn là
ghi đè lên dữ liệu hiện có.
Ảo hóa và điện toán đám mây 20
Kiến trúc HDFS
Ảo hóa và điện toán đám mây 21
• HDFS có kiến trúc Master/Slave (chủ/khách), làm
việc theo các cụm (Cluster: tập hợp các máy tính
được kết nối với nhau, còn gọi là các nút (nodes)).
• Trên một cluster chạy HDFS, có hai loại nút là
Namenode và Datanode
• Một HDFS cluster có duy nhất một Namenode và
có một hoặc nhiều Datanode
• Trong HDFS, vì kích thước mỗi tập tin
lớn, mỗi tập tin sẽ được chia ra thành các khối
(block) và mỗi khối này sẽ có một block ID để nhận
diện.
• Các khối của cùng một file (trừ khối cuối cùng) sẽ
có cùng kích thước và kích thước này được gọi là
block size của tập tin đó.
• Mỗi khối của tập tin sẽ được lưu trữ thành
nhiều bản sao khác nhau vì mục đích an toàn dữ
liệu. Các khối được lưu trữ phân tán trên các máy
chủ lưu trữ cài HDFS.
• Namenode đóng vai trò là master, chịu trách nhiệm
duy trì thông tin về cấu trúc cây phân cấp các tập tin,
thư mục của hệ thống tập tin và các siêu dữ liệu
(metadata) khác của hệ thống tập tin.
Kiến trúc HDFS
Ảo hóa và điện toán đám mây 22
• Các metadata mà Namenode lưu trữ gồm
có:
• File system namespace (không gian tên tập tin): là
hình ảnh cây thư mục của hệ thống tập tin tại một
thời điểm nào đó. Không gian tên tập tin thể hiện tất
cả các file, thư mục có trên hệ thống file và quan hệ
giữa chúng.
• Thông tin để ánh xạ từ tên tập tin ra thành danh
sách các khối: Với mỗi tập tin, ta có một danh sách
có thứ tự các khối block của tập tin đó, mỗi khối đại
diện bởi Block ID.
• Nơi lưu trữ các khối: Các khối được đại diện một
Block ID. Với mỗi block, ta có một danh sách các
DataNode lưu trữ các bản sao của khối đó.
• Các DataNode sẽ chịu trách nhiệm lưu trữ
các khối thật sự của từng tập tin của
HDFS. Mỗi một khối sẽ được lưu trữ như
một tập tin riêng biệt trên hệ thống tập tin
cục bộ của DataNode.
Kiến trúc HDFS
Ảo hóa và điện toán đám mây 23
• Namenode sẽ chịu trách nhiệm điều
phối các thao tác truy cập (đọc/ghi
dữ liệu) của người sử dụng (client)
lên hệ thống HDFS.
• Mỗi DataNode sẽ báo cáo cho
NameNode biết về danh sách tất cả
các block mà nó đang lưu trữ,
NameNode sẽ dựa vào những thông
tin này để cập nhật lại các metadata
trong nó.
Kiến trúc HDFS
Ảo hóa và điện toán đám mây 24
Quá trình đọc file:
1. Client sẽ mở tập tin cần đọc bằng
cách gửi yêu cầu đọc tập tin đến
NameNode
2. Nếu không có vấn đề gì xảy ra,
NameNode sẽ gửi danh sách các
block (đại diện bởi Block ID) của
tệp tin cùng với địa chỉ các
DataNode chứa các bản sao của
block này.
3. Client sẽ mở các kết nối tới
DataNode, thực hiện một yêu cầu
RPC (remote procedure call) để
yêu cầu nhận block cần đọc và
đóng kết nối với DataNode.
Kiến trúc HDFS
Ảo hóa và điện toán đám mây 25
Quá trình ghi file:
1. Client sẽ gửi yêu cầu tạo một chỉ
mục tập tin (file entry) lên không
gian tên của hệ thống tập tin đến
NameNode.
2. Tập tin mới được tạo sẽ rỗng, tức
chưa có một block nào. Sau đó,
NameNode sẽ quyết định danh
sách các DataNode sẽ chứa các
block của tập tin và gửi lại cho
client . Client sẽ chia dữ liệu của
tập tin cần tạo ra thành các block,
mỗi block sẽ được lưu ra thành
nhiều bản sao trên các DataNode
khác nhau (tùy vào chỉ số độ
nhân bản của tập tin).
Kiến trúc HDFS
Ảo hóa và điện toán đám mây 26
Quá trình ghi file:
3. Client gửi block cho DataNode thứ nhất,
DataNode thứ nhất sau khi nhận được block
sẽ tiến hành lưu lại bản sao thứ nhất của
block. Tiếp theo DataNode thứ nhất sẽ gửi
block này cho DataNode thứ hai để lưu ra
bản sao thứ hai của block. Tương tự,
DataNode thứ hai sẽ gửi packet cho
DataNode thứ ba. Cứ như vậy, các
DataNode cũng lưu các bản sao của một
block. Quá trình này được hình dung như là
một ống dẫn dữ liệu data pile .
4. Sau khi DataNode cuối cùng nhận được
thành công block, nó sẽ gửi lại cho
DataNode thứ hai một gói xác nhận rằng đã
lưu thành công. Và gói thứ hai lại gửi gói
xác nhận tình trạng thành công của hai
DataNode về DataNode thứ nhất. Client sẽ
nhận được các báo cáo xác nhận từ
DataNode thứ nhất cho tình trạng thành
công của tất cả DataNode trên data pile.
Google File System (GFS)
• Google file system (hay GFS hoặc GoogleFS) là hệ thống tập tin phân
tán phát triển bởi Google
• Ra đời trước HDFS. GFS có kiến trúc tương tự HDFS
• GFS thường được cấu hình với MasterNode và các shadow Master
nhằm mục đích
chịu lỗi
• Trong quá trình hoạt động, nếu MasterNode gặp sự cố, một shadow
Master sẽ được lựa chọn thay thế MasterNode. Quá trình này hoàn toàn
trong suốt với client và người sử dụng
• Trong quá trình lưu trữ các block, GFS sử dụng các kỹ thuật kiểm tra
lỗi lưu trữ như checksum nhằm phát hiện và khôi phục block bị lỗi một
cách nhanh chóng
• GFS là nền tảng phát triển các hệ thống khác của Google như BigTable
hay Pregel
Ảo hóa và điện toán đám mây 27
Hoạt động 2
Lựa chọn 1 trong 2 hoạt động sau:
1. Cài đặt và sử dụng hệ thống HDFS trên
Windows
2. Tạo HDFS trong Azure HDInsight.
(hoặc trong GCP với Dataproc; hoặc
trong AWS với EC2)
Chụp hình lại kết quả và ghi vào Google
Docs được chia sẻ bởi GV
Ảo hóa và điện toán đám mây 28
NỘI DUNG
1. CÁC LOẠI HỆ THỐNG TẬP TIN
2. HỆ THỐNG LƯU TRỮ PHÂN TÁN
VÀ ĐỒNG NHẤT BỘ NHỚ
3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN
ĐÁM MÂY VÀ DỮ LIỆU LỚN
4. CƠ SỞ DỮ LIỆU NOSQL
Ảo hóa và điện toán đám mây 29
4. CƠ SỞ DỮ LIỆU NOSQL
Làm cách nào để xử lý một lượng dữ liệu
cực lớn? (như google, facebook)
• Cơ sở dữ liệu SQL → không hiệu quả
• Ra đời NoSQL (Not Only SQL)
Cơ sở dữ liệu NoSQL là Cơ sở dữ liệu được xây
dựng dành riêng cho mô hình dữ liệu và có sơ đồ
linh hoạt để xây dựng các ứng dụng hiện đại. Cơ sở
dữ liệu NoSQL được công nhận rộng rãi vì khả năng
dễ phát triển, chức năng cũng như hiệu năng ở quy
mô lớn.
Còn được gọi là CSDL phi quan hệ
Ảo hóa và điện toán đám mây 30
Hoạt động của CSDL NoSQL
Ảo hóa và điện toán đám mây 31
• Trong cơ sở dữ liệu quan hệ, hồ sơ
về một đối tượng thường được
chuẩn hóa và lưu trữ trong các bảng
tách biệt nhau, còn mối quan hệ
được quy định bằng các ràng buộc
khóa ngoại và khóa chính.
• Trong cơ sở dữ liệu NoSQL, hồ sơ
về một đối tượng thường được lưu
trữ dưới dạng văn bản JSON
(JavaScript Object Notation).
• Trong mô hình này, dữ liệu được tối
ưu hóa cho việc phát triển trực quan
và khả năng thay đổi quy mô theo
chiều ngang
JSON (JavaScript
Object Notation)
• JSON là một định dạng trao
đổi dữ liệu tiêu chuẩn mở dựa
trên văn bản. Con người có
thể đọc được.
• JSON có nguồn gốc từ một
tập hợp con của ngôn ngữ lập
trình JavaScript. Nó hoàn toàn
độc lập với các ngôn ngữ và
có thể được sử dụng với hầu
hết các ngôn ngữ lập trình
hiện đại. Ảo hóa và điện toán đám mây 32
Biểu diễn thông tin về một quyển sách bằng JSON
Các lợi ích cơ sở dữ liệu NoSQL
Ảo hóa và điện toán đám mây 33
• Linh hoạt (Flexibility)
• Cơ sở dữ liệu NoSQL thường cung cấp các sơ đồ linh hoạt
giúp công đoạn phát triển nhanh hơn và có khả năng lặp
lại cao hơn.
• Khả năng thay đổi quy mô (Scalability)
• Cơ sở dữ liệu NoSQL thường được thiết kế để tăng quy
mô bằng cách sử dụng các cụm phần cứng được phân phối
thay vì tăng quy mô bằng cách bổ sung máy chủ mạnh và
tốn kém.
• Hiệu năng cao (High-performance)
• Cơ sở dữ liệu NoSQL được tối ưu hóa theo các mô hình
dữ liệu cụ thể và các mẫu truy cập giúp tăng hiệu năng cao
hơn so với việc cố gắng đạt được mức độ chức năng tương
tự bằng cơ sở dữ liệu quan hệ.
• Cực kỳ thiết thực (Highly functional)
• Cơ sở dữ liệu NoSQL cung cấp các API và kiểu dữ liệu
cực kỳ thiết thực được xây dựng riêng cho từng mô hình
dữ liệu tương ứng.
Các loại cơ
sở dữ liệu
NoSQL
• Khóa–giá trị: Cơ sở dữ liệu khóa–giá trị có khả năng phân mảnh cao và cho phép
thay đổi quy mô theo chiều ngang ở các quy mô lớn mà các loại hình cơ sở dữ liệu
khác không thể làm được.
• Tài liệu: Trong mã ứng dụng, dữ liệu thường được biểu diễn dưới dạng một đối
tượng hoặc văn bản dạng JSON vì đây là mô hình dữ liệu hiệu quả và trực quan cho
các nhà phát triển.
• Cột: Dữ liệu được lưu trữ trong các cột thay vì các hàng như trong một hệ thống
SQL thông thường. Bất kỳ số lượng cột nào có thể được nhóm hoặc tổng hợp khi
cần cho truy vấn hoặc chế độ xem dữ liệu.
• Đồ thị: Mục đích của cơ sở dữ liệu đồ thị là giúp việc dựng và chạy ứng dụng hoạt
động với các bộ dữ liệu có khả năng kết nối cao trở nên dễ dàng.
Ảo hóa và điện toán đám mây 34
Cơ sở dữ liệu SQL so với Cơ sở dữ liệu NoSQL
Ảo hóa và điện toán đám mây 35
Cơ sở dữ liệu SQL so với Cơ sở dữ liệu NoSQL
Ảo hóa và điện toán đám mây 36
Tiêu chí so sánh CSDL SQL CSDL NoSQL
Loại CSDL Quan hệ Phi quan hệ
Lược đồ Định nghĩa trước Lược đồ động
Mô hình dữ liệu Dựa trên Bảng Khóa-giá trị, Tài liệu, Đồ thị, Cột
Khả năng mở rộng Theo chiều dọc Theo chiều ngang
Ngôn ngữ truy vấn Có cấu trúc (Structured Query Language) Không cấu trúc (Unstructured Query
Language)
Khối lượng công
việc tối ưu
Cơ sở dữ liệu quan hệ được thiết kế dành cho các
ứng dụng xử lý giao dịch trực tuyến (OLTP - online
transaction processing) trong giao dịch có độ ổn định
cao và thích hợp để xử lí phân tích trực tuyến
(OLAP - online analytical processing)
Các cơ sở dữ liệu NoSQL được thiết kế cho
các mẫu truy cập dữ liệu, bao gồm các ứng
dụng có độ trễ thấp. Cơ sở dữ liệu tìm kiếm
NoSQL được thiết kế để phục vụ phân tích
dữ liệu có cấu trúc chưa hoàn chỉnh.
Hiệu năng Hiệu năng thường phụ thuộc vào hệ thống con của ổ
đĩa. Thông thường, việc tối ưu hóa các truy vấn, chỉ
mục và cấu trúc bảng bắt buộc phải được thực hiện
để đạt mức hiệu năng tối đa.
Hiệu năng thường được xem là chức năng
của kích cỡ cụm phần cứng ngầm, độ trễ
mạng và ứng dụng đưa ra lệnh gọi.
Hoạt động 3 – sử dụng Amazon DynamoDB
•Tạo bảng bằng việc sử dụng bảng điều
khiển DynamoDB
•Tạo, truy vấn và quản lý các bảng
DynamoDB với Python
Ảo hóa và điện toán đám mây 37
Amazon DynamoDB
• Amazon DynamoDB là cơ sở dữ liệu NoSQL hỗ
trợ mô hình dữ liệu khóa-giá trị và tài liệu,
đồng thời cho phép nhà phát triển tạo các ứng
dụng hiện đại không cần máy chủ. Những ứng
dụng này có thể bắt đầu hoạt động trên quy mô
nhỏ và toàn cầu để hỗ trợ các petabyte dữ liệu
cũng như hàng triệu yêu cầu đọc và ghi mỗi giây.
• DynamoDB được thiết kế để chạy các ứng dụng
hiệu năng cao trên quy mô Internet. Đó là các
ứng dụng sẽ khiến cơ sở dữ liệu tương quan thông
thường phải hoạt động quá mức.
Ảo hóa và điện toán đám mây 38
Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB
• Đăng nhập vào tài khoản aws, chọn sản phẩm
Ảo hóa và điện toán đám mây 39
Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB
• Tạo bảng bằng cách nhấn vào nút ‘Create table’
Ảo hóa và điện toán đám mây 40
Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB
• Đặt tên Bảng và tên Khóa phân vùng
Ảo hóa và điện toán đám mây 41
Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB
• Thêm Khóa sắp xếp cho Khóa phân vùng
Ảo hóa và điện toán đám mây 42
Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB
• Các trường khác để mặc định, nhấn nút ‘Create’ để tạo bảng
Ảo hóa và điện toán đám mây 43
Thêm dữ liệu vào bảng NoSQL
• Chọn tab ‘Items’, chọn tiếp nút ‘Create item’
Ảo hóa và điện toán đám mây 44
Thêm dữ liệu vào bảng NoSQL
• Nhập liệu, sau đó nhấn nút ‘Save’ để lưu
Ảo hóa và điện toán đám mây 45
Thêm dữ liệu vào bảng NoSQL
• Lặp lại tương tự để nhập nhiều thông tin
Ảo hóa và điện toán đám mây 46
Truy vấn bảng NoSQL
• Chọn ‘Query’ để thực hiện truy vấn
Ảo hóa và điện toán đám mây 47
Truy vấn bảng NoSQL
• Mục Partition key, nhập ‘Duy Khánh’. Nhấn nút ‘Start
search’
Ảo hóa và điện toán đám mây 48
Truy vấn bảng NoSQL
• Kết quả hiển thị các bài hát của Nhạc sỹ Duy Khánh
Ảo hóa và điện toán đám mây 49
Truy vấn bảng NoSQL
• Thử truy vấn khác: Nhạc sỹ Trịnh Công Sơn với bài hát bắt
đầu bằng chữ ‘C’
Ảo hóa và điện toán đám mây 50
Truy vấn bảng NoSQL
• Ta được kết quả truy vấn
Ảo hóa và điện toán đám mây 51
Hoạt động 3 – sử dụng Amazon DynamoDB
•Tạo bảng bằng việc sử dụng bảng điều
khiển DynamoDB
Thực hiện lại theo hướng dẫn với dữ liệu
tự đề xuất
•Tạo, truy vấn và quản lý các bảng
DynamoDB với Python
Thực hiện theo hướng dẫn tại:
https://aws.amazon.com/vi/getting-
started/hands-on/create-manage-
nonrelational-database-dynamodb/
Ảo hóa và điện toán đám mây 52
Hoạt động 4
Chọn 1 trong các hoạt động sau:
1. Tìm một công cụ tạo cơ sở dữ liệu đồ thị (Graph).
Sử dụng công cụ để minh họa cơ sở dữ liệu đồ thị.
Ví dụ: Neo4j
2. Tìm một công cụ tạo cơ sở dữ liệu cột (Column).
Sử dụng công cụ để minh họa cơ sở dữ liệu
Column. Ví dụ: Apache HBase
3. Tìm một công cụ tạo cơ sở dữ liệu tài liệu
(Document). Sử dụng công cụ để minh họa cơ sở
dữ liệu Document. Ví dụ: MongoDB
Chụp hình lại kết quả và ghi vào Google Docs được
chia sẻ bởi GV
Ảo hóa và điện toán đám mây 53
HỎI ĐÁP
Ảo hóa và điện toán đám mây 54

More Related Content

What's hot

BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...
BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...
BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...nataliej4
 
Cấu trúc hệ điều hành
Cấu trúc hệ điều hànhCấu trúc hệ điều hành
Cấu trúc hệ điều hànhPhamTuanKhiem
 
Tổng quan về an toàn và bảo mật thông tin
Tổng quan về an toàn và bảo mật thông tinTổng quan về an toàn và bảo mật thông tin
Tổng quan về an toàn và bảo mật thông tinNguyen Thi Lan Phuong
 
Tài liệu tổng kểt môn mạng máy tính
Tài liệu tổng kểt môn mạng máy tínhTài liệu tổng kểt môn mạng máy tính
Tài liệu tổng kểt môn mạng máy tínhJojo Kim
 
Báo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thốngBáo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thốngJojo Kim
 
Giáo trình phân tích thiết kế hệ thống thông tin
Giáo trình phân tích thiết kế hệ thống thông tinGiáo trình phân tích thiết kế hệ thống thông tin
Giáo trình phân tích thiết kế hệ thống thông tinVõ Phúc
 
Báo cáo tiểu luận hệ thống tên miền dns - học viện bưu chính viễn thông
Báo cáo tiểu luận   hệ thống tên miền dns - học viện bưu chính viễn thôngBáo cáo tiểu luận   hệ thống tên miền dns - học viện bưu chính viễn thông
Báo cáo tiểu luận hệ thống tên miền dns - học viện bưu chính viễn thônghttps://www.facebook.com/garmentspace
 
Bài giảng kiến trúc máy tính
Bài giảng kiến trúc máy tínhBài giảng kiến trúc máy tính
Bài giảng kiến trúc máy tínhCao Toa
 
Thiết kế csdl quản lý nhân sự
Thiết kế csdl quản lý nhân sựThiết kế csdl quản lý nhân sự
Thiết kế csdl quản lý nhân sựleemindinh
 
Do an xay_dung_website_thuong_mai_dien_tu
Do an xay_dung_website_thuong_mai_dien_tuDo an xay_dung_website_thuong_mai_dien_tu
Do an xay_dung_website_thuong_mai_dien_tuThiênĐàng CôngDân
 
Slide đồ án tốt nghiệp
Slide đồ án tốt nghiệpSlide đồ án tốt nghiệp
Slide đồ án tốt nghiệpToan Pham
 
đồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưng
đồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưngđồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưng
đồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưngnataliej4
 
Báo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềmBáo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềmRiTa15
 
Tìm hiểu về hệ điều hành android
Tìm hiểu về hệ điều hành androidTìm hiểu về hệ điều hành android
Tìm hiểu về hệ điều hành androidTÓc Đỏ XuÂn
 
Slide Báo Cáo Đồ Án Tốt Nghiệp CNTT
Slide Báo Cáo Đồ Án Tốt Nghiệp CNTTSlide Báo Cáo Đồ Án Tốt Nghiệp CNTT
Slide Báo Cáo Đồ Án Tốt Nghiệp CNTTHiệu Nguyễn
 

What's hot (20)

BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...
BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...
BÁO CÁO ĐỒ ÁN MÔN HỌC ĐIỆN TOÁN ĐÁM MÂY ĐỀ TÀI: TÌM HIỂU VÀ SỬ DỤNG AMAZON WE...
 
Cấu trúc hệ điều hành
Cấu trúc hệ điều hànhCấu trúc hệ điều hành
Cấu trúc hệ điều hành
 
Tổng quan về an toàn và bảo mật thông tin
Tổng quan về an toàn và bảo mật thông tinTổng quan về an toàn và bảo mật thông tin
Tổng quan về an toàn và bảo mật thông tin
 
Tài liệu tổng kểt môn mạng máy tính
Tài liệu tổng kểt môn mạng máy tínhTài liệu tổng kểt môn mạng máy tính
Tài liệu tổng kểt môn mạng máy tính
 
Báo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thốngBáo cáo bài tập lớn phân tích thiết kế hệ thống
Báo cáo bài tập lớn phân tích thiết kế hệ thống
 
Giáo trình phân tích thiết kế hệ thống thông tin
Giáo trình phân tích thiết kế hệ thống thông tinGiáo trình phân tích thiết kế hệ thống thông tin
Giáo trình phân tích thiết kế hệ thống thông tin
 
Báo cáo tiểu luận hệ thống tên miền dns - học viện bưu chính viễn thông
Báo cáo tiểu luận   hệ thống tên miền dns - học viện bưu chính viễn thôngBáo cáo tiểu luận   hệ thống tên miền dns - học viện bưu chính viễn thông
Báo cáo tiểu luận hệ thống tên miền dns - học viện bưu chính viễn thông
 
Bai tap thuc hanh
Bai tap thuc hanhBai tap thuc hanh
Bai tap thuc hanh
 
Bài giảng kiến trúc máy tính
Bài giảng kiến trúc máy tínhBài giảng kiến trúc máy tính
Bài giảng kiến trúc máy tính
 
Thiết kế csdl quản lý nhân sự
Thiết kế csdl quản lý nhân sựThiết kế csdl quản lý nhân sự
Thiết kế csdl quản lý nhân sự
 
Do an xay_dung_website_thuong_mai_dien_tu
Do an xay_dung_website_thuong_mai_dien_tuDo an xay_dung_website_thuong_mai_dien_tu
Do an xay_dung_website_thuong_mai_dien_tu
 
Đề tài: Xây dựng phần mềm quản lý quán cà phê, HOT, 9đ
Đề tài: Xây dựng phần mềm quản lý quán cà phê, HOT, 9đĐề tài: Xây dựng phần mềm quản lý quán cà phê, HOT, 9đ
Đề tài: Xây dựng phần mềm quản lý quán cà phê, HOT, 9đ
 
Slide đồ án tốt nghiệp
Slide đồ án tốt nghiệpSlide đồ án tốt nghiệp
Slide đồ án tốt nghiệp
 
đồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưng
đồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưngđồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưng
đồ áN cơ sở 2 đề tài xây dựng website kinh doanh phụ kiện thú cưng
 
--De cuong on tap hdh
 --De cuong on tap hdh --De cuong on tap hdh
--De cuong on tap hdh
 
Báo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềmBáo cáo đồ án môn công nghệ phần mềm
Báo cáo đồ án môn công nghệ phần mềm
 
Hadoop
HadoopHadoop
Hadoop
 
Tìm hiểu về hệ điều hành android
Tìm hiểu về hệ điều hành androidTìm hiểu về hệ điều hành android
Tìm hiểu về hệ điều hành android
 
Slide Báo Cáo Đồ Án Tốt Nghiệp CNTT
Slide Báo Cáo Đồ Án Tốt Nghiệp CNTTSlide Báo Cáo Đồ Án Tốt Nghiệp CNTT
Slide Báo Cáo Đồ Án Tốt Nghiệp CNTT
 
Đề tài: Hệ thống hỗ trợ điểm danh sinh viên trường ĐH Hải Phòng
Đề tài: Hệ thống hỗ trợ điểm danh sinh viên trường ĐH Hải PhòngĐề tài: Hệ thống hỗ trợ điểm danh sinh viên trường ĐH Hải Phòng
Đề tài: Hệ thống hỗ trợ điểm danh sinh viên trường ĐH Hải Phòng
 

Similar to Lưu trữ và xử lý dữ liệu trong điện toán đám mây

Hadoop trong triển khai Big Data
Hadoop trong triển khai Big DataHadoop trong triển khai Big Data
Hadoop trong triển khai Big DataNguyễn Duy Nhân
 
Bao cao-cloud-linux-hosting
Bao cao-cloud-linux-hostingBao cao-cloud-linux-hosting
Bao cao-cloud-linux-hostinglaonap166
 
tài liệu Mã nguồn mở 03 he-thong-tep-linux-14
tài liệu Mã nguồn mở  03 he-thong-tep-linux-14tài liệu Mã nguồn mở  03 he-thong-tep-linux-14
tài liệu Mã nguồn mở 03 he-thong-tep-linux-14Thuyet Nguyen
 
Chuong 03 he_thong_file
Chuong 03 he_thong_fileChuong 03 he_thong_file
Chuong 03 he_thong_filenguyenghia831
 
Cau hoi de tai
Cau hoi de taiCau hoi de tai
Cau hoi de taindtpro776
 
Hadoop - Hệ thống tính toán và xử lý dữ liệu lớn
Hadoop - Hệ thống tính toán và xử lý dữ liệu lớnHadoop - Hệ thống tính toán và xử lý dữ liệu lớn
Hadoop - Hệ thống tính toán và xử lý dữ liệu lớnThành Thư Thái
 
storage-area-network
storage-area-networkstorage-area-network
storage-area-networkson2483
 
SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm
SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 nămSFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm
SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 nămVu Hung Nguyen
 
Nhom 16 big data
Nhom 16 big dataNhom 16 big data
Nhom 16 big dataDuy Phan
 
Slide thuyết trình và tìm hiểu về DNS
Slide thuyết trình và tìm hiểu về    DNSSlide thuyết trình và tìm hiểu về    DNS
Slide thuyết trình và tìm hiểu về DNStribo389
 
Linux Network Administration (LPI-1,LPI-2)
Linux Network Administration (LPI-1,LPI-2)Linux Network Administration (LPI-1,LPI-2)
Linux Network Administration (LPI-1,LPI-2)laonap166
 
Làm thế nào để học linux trong 24h?
Làm thế nào để học linux trong 24h?Làm thế nào để học linux trong 24h?
Làm thế nào để học linux trong 24h?Công Nghệ - VTC Mobile
 
Hadoop là gì
Hadoop là gìHadoop là gì
Hadoop là gìHLV
 
Hadoop là gì
Hadoop là gìHadoop là gì
Hadoop là gìHLV
 
Lesson 3 - Linux File System
Lesson 3 - Linux File SystemLesson 3 - Linux File System
Lesson 3 - Linux File SystemThang Man
 
Tìm hiểu về RAID và Erasure Coding .pptx
Tìm hiểu về RAID và Erasure Coding .pptxTìm hiểu về RAID và Erasure Coding .pptx
Tìm hiểu về RAID và Erasure Coding .pptxLngThKimOanh1
 
Lời giải đề thi hpt
Lời giải đề thi hptLời giải đề thi hpt
Lời giải đề thi hptLee Min Duk
 

Similar to Lưu trữ và xử lý dữ liệu trong điện toán đám mây (20)

Hadoop trong triển khai Big Data
Hadoop trong triển khai Big DataHadoop trong triển khai Big Data
Hadoop trong triển khai Big Data
 
Bao cao-cloud-linux-hosting
Bao cao-cloud-linux-hostingBao cao-cloud-linux-hosting
Bao cao-cloud-linux-hosting
 
tài liệu Mã nguồn mở 03 he-thong-tep-linux-14
tài liệu Mã nguồn mở  03 he-thong-tep-linux-14tài liệu Mã nguồn mở  03 he-thong-tep-linux-14
tài liệu Mã nguồn mở 03 he-thong-tep-linux-14
 
Chuong 03 he_thong_file
Chuong 03 he_thong_fileChuong 03 he_thong_file
Chuong 03 he_thong_file
 
Cau hoi de tai
Cau hoi de taiCau hoi de tai
Cau hoi de tai
 
Hadoop - Hệ thống tính toán và xử lý dữ liệu lớn
Hadoop - Hệ thống tính toán và xử lý dữ liệu lớnHadoop - Hệ thống tính toán và xử lý dữ liệu lớn
Hadoop - Hệ thống tính toán và xử lý dữ liệu lớn
 
storage-area-network
storage-area-networkstorage-area-network
storage-area-network
 
SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm
SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 nămSFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm
SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm
 
Nhom 16 big data
Nhom 16 big dataNhom 16 big data
Nhom 16 big data
 
Slide thuyết trình và tìm hiểu về DNS
Slide thuyết trình và tìm hiểu về    DNSSlide thuyết trình và tìm hiểu về    DNS
Slide thuyết trình và tìm hiểu về DNS
 
Linux Network Administration (LPI-1,LPI-2)
Linux Network Administration (LPI-1,LPI-2)Linux Network Administration (LPI-1,LPI-2)
Linux Network Administration (LPI-1,LPI-2)
 
Làm thế nào để học linux trong 24h?
Làm thế nào để học linux trong 24h?Làm thế nào để học linux trong 24h?
Làm thế nào để học linux trong 24h?
 
Hadoop là gì
Hadoop là gìHadoop là gì
Hadoop là gì
 
Hadoop là gì
Hadoop là gìHadoop là gì
Hadoop là gì
 
Lesson 3 - Linux File System
Lesson 3 - Linux File SystemLesson 3 - Linux File System
Lesson 3 - Linux File System
 
Tìm hiểu về RAID và Erasure Coding .pptx
Tìm hiểu về RAID và Erasure Coding .pptxTìm hiểu về RAID và Erasure Coding .pptx
Tìm hiểu về RAID và Erasure Coding .pptx
 
Quản lý ổ đĩa
Quản lý ổ đĩaQuản lý ổ đĩa
Quản lý ổ đĩa
 
Android OS
Android OSAndroid OS
Android OS
 
Bai 5
Bai 5Bai 5
Bai 5
 
Lời giải đề thi hpt
Lời giải đề thi hptLời giải đề thi hpt
Lời giải đề thi hpt
 

More from PhamTuanKhiem

Sử dụng dịch vụ điện toán đám mây
Sử dụng dịch vụ điện toán đám mâySử dụng dịch vụ điện toán đám mây
Sử dụng dịch vụ điện toán đám mâyPhamTuanKhiem
 
Mô hình điện toán đám mây
Mô hình điện toán đám mâyMô hình điện toán đám mây
Mô hình điện toán đám mâyPhamTuanKhiem
 
Tổng quan điện toán đám mây
Tổng quan điện toán đám mâyTổng quan điện toán đám mây
Tổng quan điện toán đám mâyPhamTuanKhiem
 
Thực hành Ma trận
Thực hành Ma trậnThực hành Ma trận
Thực hành Ma trậnPhamTuanKhiem
 
Thực hành Mảng 1 chiều trong C
Thực hành Mảng 1 chiều trong CThực hành Mảng 1 chiều trong C
Thực hành Mảng 1 chiều trong CPhamTuanKhiem
 
Thực hành Hàm trong ngôn ngữ C
Thực hành Hàm trong ngôn ngữ CThực hành Hàm trong ngôn ngữ C
Thực hành Hàm trong ngôn ngữ CPhamTuanKhiem
 
Cấu trúc rẽ nhánh trong C
Cấu trúc rẽ nhánh trong CCấu trúc rẽ nhánh trong C
Cấu trúc rẽ nhánh trong CPhamTuanKhiem
 
Phân biện TCP và UDP
Phân biện TCP và UDPPhân biện TCP và UDP
Phân biện TCP và UDPPhamTuanKhiem
 
Tổng quan về Hệ điều hành
Tổng quan về Hệ điều hànhTổng quan về Hệ điều hành
Tổng quan về Hệ điều hànhPhamTuanKhiem
 

More from PhamTuanKhiem (10)

Sử dụng dịch vụ điện toán đám mây
Sử dụng dịch vụ điện toán đám mâySử dụng dịch vụ điện toán đám mây
Sử dụng dịch vụ điện toán đám mây
 
Ảo hóa
Ảo hóaẢo hóa
Ảo hóa
 
Mô hình điện toán đám mây
Mô hình điện toán đám mâyMô hình điện toán đám mây
Mô hình điện toán đám mây
 
Tổng quan điện toán đám mây
Tổng quan điện toán đám mâyTổng quan điện toán đám mây
Tổng quan điện toán đám mây
 
Thực hành Ma trận
Thực hành Ma trậnThực hành Ma trận
Thực hành Ma trận
 
Thực hành Mảng 1 chiều trong C
Thực hành Mảng 1 chiều trong CThực hành Mảng 1 chiều trong C
Thực hành Mảng 1 chiều trong C
 
Thực hành Hàm trong ngôn ngữ C
Thực hành Hàm trong ngôn ngữ CThực hành Hàm trong ngôn ngữ C
Thực hành Hàm trong ngôn ngữ C
 
Cấu trúc rẽ nhánh trong C
Cấu trúc rẽ nhánh trong CCấu trúc rẽ nhánh trong C
Cấu trúc rẽ nhánh trong C
 
Phân biện TCP và UDP
Phân biện TCP và UDPPhân biện TCP và UDP
Phân biện TCP và UDP
 
Tổng quan về Hệ điều hành
Tổng quan về Hệ điều hànhTổng quan về Hệ điều hành
Tổng quan về Hệ điều hành
 

Recently uploaded

BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...Nguyen Thanh Tu Collection
 
[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào mô
[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào mô[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào mô
[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào môBryan Williams
 
Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...
Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...
Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...Nguyen Thanh Tu Collection
 
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )lamdapoet123
 
Ma trận - định thức và các ứng dụng trong kinh tế
Ma trận - định thức và các ứng dụng trong kinh tếMa trận - định thức và các ứng dụng trong kinh tế
Ma trận - định thức và các ứng dụng trong kinh tếngTonH1
 
ôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhh
ôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhhôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhh
ôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhhvanhathvc
 
50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...
50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...
50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...Nguyen Thanh Tu Collection
 
Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...
Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...
Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...hoangtuansinh1
 
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...Nguyen Thanh Tu Collection
 
Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...
Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...
Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...Nguyen Thanh Tu Collection
 
Kiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh lí
Kiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh líKiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh lí
Kiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh líDr K-OGN
 
Chàm - Bệnh án (da liễu - bvdlct ctump) .pptx
Chàm - Bệnh án (da liễu - bvdlct ctump) .pptxChàm - Bệnh án (da liễu - bvdlct ctump) .pptx
Chàm - Bệnh án (da liễu - bvdlct ctump) .pptxendkay31
 
CHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptx
CHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptxCHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptx
CHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptx22146042
 
Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...
Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...
Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...Học viện Kstudy
 
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXHTư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXHThaoPhuong154017
 
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...Nguyen Thanh Tu Collection
 
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...Nguyen Thanh Tu Collection
 
Bai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hocBai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hocVnPhan58
 
200 câu hỏi trắc nghiệm ôn tập PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập PLDC.pdfdong92356
 
QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...
QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...
QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...ThunTrn734461
 

Recently uploaded (20)

BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
BỘ ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
 
[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào mô
[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào mô[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào mô
[GIẢI PHẪU BỆNH] Tổn thương cơ bản của tb bào mô
 
Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...
Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...
Sáng kiến Dạy học theo định hướng STEM một số chủ đề phần “vật sống”, Khoa họ...
 
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
Bài giảng về vật liệu ceramic ( sứ vệ sinh, gạch ốp lát )
 
Ma trận - định thức và các ứng dụng trong kinh tế
Ma trận - định thức và các ứng dụng trong kinh tếMa trận - định thức và các ứng dụng trong kinh tế
Ma trận - định thức và các ứng dụng trong kinh tế
 
ôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhh
ôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhhôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhh
ôn tập lịch sử hhhhhhhhhhhhhhhhhhhhhhhhhh
 
50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...
50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...
50 ĐỀ ĐỀ XUẤT THI VÀO 10 THPT SỞ GIÁO DỤC THANH HÓA MÔN TIẾNG ANH 9 CÓ TỰ LUẬ...
 
Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...
Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...
Thong bao 337-DHPY (24.4.2024) thi sat hach Ngoai ngu dap ung Chuan dau ra do...
 
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
BỘ ĐỀ KIỂM TRA CUỐI KÌ 2 VẬT LÝ 11 - KẾT NỐI TRI THỨC - THEO CẤU TRÚC ĐỀ MIN...
 
Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...
Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...
Sáng kiến “Sử dụng ứng dụng Quizizz nhằm nâng cao chất lượng ôn thi tốt nghiệ...
 
Kiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh lí
Kiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh líKiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh lí
Kiểm tra chạy trạm lí thuyết giữa kì giải phẫu sinh lí
 
Chàm - Bệnh án (da liễu - bvdlct ctump) .pptx
Chàm - Bệnh án (da liễu - bvdlct ctump) .pptxChàm - Bệnh án (da liễu - bvdlct ctump) .pptx
Chàm - Bệnh án (da liễu - bvdlct ctump) .pptx
 
CHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptx
CHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptxCHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptx
CHƯƠNG VII LUẬT DÂN SỰ (2) Pháp luật đại cương.pptx
 
Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...
Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...
Slide Webinar Hướng dẫn sử dụng ChatGPT cho người mới bắt đầ...
 
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXHTư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
Tư tưởng Hồ Chí Minh về độc lập dân tộc và CNXH
 
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
30 ĐỀ PHÁT TRIỂN THEO CẤU TRÚC ĐỀ MINH HỌA BGD NGÀY 22-3-2024 KỲ THI TỐT NGHI...
 
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...
ĐỀ THAM KHẢO THEO HƯỚNG MINH HỌA 2025 KIỂM TRA CUỐI HỌC KÌ 2 NĂM HỌC 2023-202...
 
Bai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hocBai 1 cong bo mot cong trinh nghien cuu khoa hoc
Bai 1 cong bo mot cong trinh nghien cuu khoa hoc
 
200 câu hỏi trắc nghiệm ôn tập PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf200 câu hỏi trắc nghiệm ôn tập  PLDC.pdf
200 câu hỏi trắc nghiệm ôn tập PLDC.pdf
 
QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...
QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...
QUẢN LÝ HOẠT ĐỘNG GIÁO DỤC KỸ NĂNG SỐNG CHO HỌC SINH CÁC TRƯỜNG TRUNG HỌC CƠ ...
 

Lưu trữ và xử lý dữ liệu trong điện toán đám mây

  • 1. LƯU TRỮ VÀ XỬ LÝ DỮ LIỆU CHƯƠNG 4 Ảo hóa và điện toán đám mây 1
  • 2. Cloud Computing: Truy cập dữ liệu như thế nào? Ảo hóa và điện toán đám mây 2 Bất cứ thiết bị Bất cứ lúc nào Bất cứ nơi đâu
  • 3. NỘI DUNG 1. CÁC LOẠI HỆ THỐNG TẬP TIN 2. HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ 3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN ĐÁM MÂY VÀ DỮ LIỆU LỚN 4. CƠ SỞ DỮ LIỆU NOSQL Ảo hóa và điện toán đám mây 3
  • 4. 1. CÁC LOẠI HỆ THỐNG TẬP TIN • Hệ thống tập tin là gì? • Hệ thống tập tin là cách tổ chức và lưu trữ tập tin trên ổ đĩa. Nó chỉ định cách dữ liệu được lưu trữ trên ổ đĩa và những loại thông tin nào có thể được đính kèm vào tập tin như: tên tập tin, quyền truy cập, thuộc tính … • Các hệ điều hành khác nhau hỗ trợ các hệ thống tập tin khác nhau Ảo hóa và điện toán đám mây 4
  • 5. 1. CÁC LOẠI HỆ THỐNG TẬP TIN Types Examples Disk file system FAT, exFAT, NTFS… Optical discs CD, DVD, Blu-ray Tape file system IBM’s Linear tape Database file system DB2 Transactional file system TxF, Valor, Amino, TFFS Flat file system Amazon’s S3 Cluster file system • Distributed file system • Shared file system • San file system • Parallel file system NFS, AFS, GFS,GPFS, LUSTRE, HDFS Ảo hóa và điện toán đám mây 5
  • 6. Clustered File System • Một hệ thống tập tin gom cụm là một hệ thống tập tin được chia sẻ bằng cách đồng thời gắn trên nhiều máy chủ • Hệ thống tệp song song là một loại hệ thống tệp phân cụm truyền dữ liệu qua nhiều nút lưu trữ, thường là để dự phòng hoặc tăng hiệu suất Ảo hóa và điện toán đám mây 6
  • 7. Các ví dụ về hệ thống Shared file system • Silicon Graphics (SGI) clustered file system (CXFS) • Veritas Cluster File System • DataPlow Nasan File System • IBM General Parallel File System (GPFS) • Microsoft Cluster Shared Volumes (CSV) • Oracle Cluster File System (OCFS) • PolyServe storage solutions • Quantum StorNext File System (SNFS), ex ADIC, ex CentraVision File System (CVFS) • Blue Whale Clustered file system (BWFS) • Red Hat Global File System (GFS) • Sun QFS • TerraScale Technologies TerraFS • VMware VMFS • Xsan Ảo hóa và điện toán đám mây 7
  • 8. Các ví dụ về hệ thống Distributed file systems • BeeGFS (Fraunhofer) • Ceph (Inktank, Red Hat, SUSE) • GFS (Google Inc.) • GlusterFS (Red Hat) • HDFS (Apache Software Foundation) • OneFS (EMC Isilon) • Lustre • MooseFS (Core Technology / Gemius) • ObjectiveFS • Panfs (Panasas) • Windows Distributed File System (DFS) (Microsoft) • XtreemFS Ảo hóa và điện toán đám mây 8
  • 9. NỘI DUNG 1. CÁC LOẠI HỆ THỐNG TẬP TIN 2. HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ 3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN ĐÁM MÂY VÀ DỮ LIỆU LỚN 4. CƠ SỞ DỮ LIỆU NOSQL Ảo hóa và điện toán đám mây 9
  • 10. 2. HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ • Network File System (NFS) • Andrew File System (AFS) Ảo hóa và điện toán đám mây 10
  • 11. NFS • NFS hay Network File System là kiến trúc hệ thống tập tin phân tán (DFS - Distributed File System) mà một máy chủ trong hệ thống đóng vai trò là máy chủ lưu trữ, cung cấp năng lực lưu trữ của các ổ đĩa cứng cục bộ, hệ thống RAID (Redundant Array of Independent Disks) cho các máy tính khác qua giao thức mạng. • NFS được hỗ trợ bởi hầu hết các nền tảng hệ điều hành như Windows, Unix. • NFS được phát triển bởi Sun Microsystems từ năm 1984 • Các phiên bản NFS: • NFSv2 • NFSv3 • NFSv4 Ảo hóa và điện toán đám mây 11
  • 12. NFS – Kiến trúc Phía Server: • NFS server xử lý các yêu cầu từ client • Từ RPC stub unmarshals request (yêu cầu sơ khai), Server chuyển chúng thành các hoạt động tệp VFS • VFS chịu trách nhiệm triển khai 1 hệ thống tệp cục bộ Phía Client: • Client truy cập file system bằng các lời gọi hệ thống (system call) • Giao diện hệ thống UNIX được thay thế bằng giao diện cho hệ thống tệp ảo (VFS) (các hệ điều hành hiện đại đều cung cấp VFS) • Các hoạt động trên giao diện VFS được chuyển đến hệ thống tệp cục bộ (Local file) hoặc được chuyển đến 1 thành phần riêng biệt gọi là NFS Client • NFS client đảm nhiệm việc xử lý quyền truy cập vào các tệp được lưu trữ tại máy chủ từ xa • Trong NFS, tất cả giao tiếp giữa máy khách và máy chủ được thực hiện thông qua RPC (Remote procedure call) Ảo hóa và điện toán đám mây 12
  • 13. NFS – Ưu nhược điểm • Ưu điểm: • Tính trong suốt cho người dùng cuối về cách thức truy cập tập tin hay vị trí nơi tập tin được lưu trữ • Nhược điểm: • Tính khả mở thấp do mọi thao tác đọc ghi dữ liệu đều thực hiện qua kết nối mạng với máy chủ lưu trữ NFS Ảo hóa và điện toán đám mây 13
  • 14. AFS • AFS cũng là một hệ thống tập tin phân tán nhằm mục đích chia sẻ tập tin cho một lượng lớn người dùng mạng • Khi truy cập tập tin, toàn bộ tập tin sẽ được sao chép về phía máy người sử dụng và các thao tác đọc ghi được thực hiện trên tập tin đó. Khi tập tin được đóng, nội dung tập tin sẽ được cập nhật về phía máy chủ lưu trữ. Ảo hóa và điện toán đám mây 14
  • 15. NFS và AFS • Dữ liệu chỉ được lưu trong một hệ thống chính • Các hệ thống khác truy cập dữ liệu giống như chúng đang được lưu cục bộ tại hệ thống đó • Khi hệ thống chính gặp sự cố? • Dữ liệu không truy cập được • Phụ thuộc vào hệ thống chính Ảo hóa và điện toán đám mây 15
  • 16. Hoạt động 1 • Cài đặt NFS Server 2019 trong AWS (hoặc Azure, hoặc GCP, hoặc tại các máy ảo local) • Chụp hình lại kết quả và ghi vào Google Docs được chia sẻ bởi GV Tham khảo các bước thực hiện tại file hướng dẫn trên Google Classroom Ảo hóa và điện toán đám mây 16
  • 17. NỘI DUNG 1. CÁC LOẠI HỆ THỐNG TẬP TIN 2. HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ 3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN ĐÁM MÂY VÀ DỮ LIỆU LỚN 4. CƠ SỞ DỮ LIỆU NOSQL Ảo hóa và điện toán đám mây 17
  • 18. 3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN ĐÁM MÂY VÀ DỮ LIỆU LỚN • Hadoop Distributed File System (HDFS) • Google File System (GFS) Ảo hóa và điện toán đám mây 18
  • 19. Hadoop Distributed File System (HDFS) • Hadoop framework của Apache là một nền tảng dùng để phân tích các tập dữ liệu rất lớn mà không thể xử lý được trên một máy chủ duy nhất. • Hadoop có khả năng mở rộng vô số các nút lưu trữ và có thể xử lý tất cả hoạt động và phân phối liên quan đến việc phân loại dữ liệu. • HDFS (Hadoop distributed file system) ra đời trên nhu cầu lưu trữ dữ liệu của Nutch, một dự án Search Engine mã nguồn mở. • HDFS kế thừa các đặc tính chung của các hệ thống tập tin phân tán thế hệ trước như độ tin cậy, khả năng mở rộng và hiệu suất hoạt động. Ảo hóa và điện toán đám mây 19
  • 20. Mục tiêu thiết kế của HDFS • Khả năng phát hiện lỗi, chống chịu lỗi và tự động phục hồi • Lưu trữ dữ liệu có dung lượng lớn. Một tập tin điển hình trong HDFS có kích thước từ gigabyte đến terabyte. • HDFS được thiết kế chỉ cho phép thay đổi nội dung các tập tin được lưu trữ qua phép toán thêm “append” dữ liệu vào cuối tập tin hơn là ghi đè lên dữ liệu hiện có. Ảo hóa và điện toán đám mây 20
  • 21. Kiến trúc HDFS Ảo hóa và điện toán đám mây 21 • HDFS có kiến trúc Master/Slave (chủ/khách), làm việc theo các cụm (Cluster: tập hợp các máy tính được kết nối với nhau, còn gọi là các nút (nodes)). • Trên một cluster chạy HDFS, có hai loại nút là Namenode và Datanode • Một HDFS cluster có duy nhất một Namenode và có một hoặc nhiều Datanode • Trong HDFS, vì kích thước mỗi tập tin lớn, mỗi tập tin sẽ được chia ra thành các khối (block) và mỗi khối này sẽ có một block ID để nhận diện. • Các khối của cùng một file (trừ khối cuối cùng) sẽ có cùng kích thước và kích thước này được gọi là block size của tập tin đó. • Mỗi khối của tập tin sẽ được lưu trữ thành nhiều bản sao khác nhau vì mục đích an toàn dữ liệu. Các khối được lưu trữ phân tán trên các máy chủ lưu trữ cài HDFS. • Namenode đóng vai trò là master, chịu trách nhiệm duy trì thông tin về cấu trúc cây phân cấp các tập tin, thư mục của hệ thống tập tin và các siêu dữ liệu (metadata) khác của hệ thống tập tin.
  • 22. Kiến trúc HDFS Ảo hóa và điện toán đám mây 22 • Các metadata mà Namenode lưu trữ gồm có: • File system namespace (không gian tên tập tin): là hình ảnh cây thư mục của hệ thống tập tin tại một thời điểm nào đó. Không gian tên tập tin thể hiện tất cả các file, thư mục có trên hệ thống file và quan hệ giữa chúng. • Thông tin để ánh xạ từ tên tập tin ra thành danh sách các khối: Với mỗi tập tin, ta có một danh sách có thứ tự các khối block của tập tin đó, mỗi khối đại diện bởi Block ID. • Nơi lưu trữ các khối: Các khối được đại diện một Block ID. Với mỗi block, ta có một danh sách các DataNode lưu trữ các bản sao của khối đó. • Các DataNode sẽ chịu trách nhiệm lưu trữ các khối thật sự của từng tập tin của HDFS. Mỗi một khối sẽ được lưu trữ như một tập tin riêng biệt trên hệ thống tập tin cục bộ của DataNode.
  • 23. Kiến trúc HDFS Ảo hóa và điện toán đám mây 23 • Namenode sẽ chịu trách nhiệm điều phối các thao tác truy cập (đọc/ghi dữ liệu) của người sử dụng (client) lên hệ thống HDFS. • Mỗi DataNode sẽ báo cáo cho NameNode biết về danh sách tất cả các block mà nó đang lưu trữ, NameNode sẽ dựa vào những thông tin này để cập nhật lại các metadata trong nó.
  • 24. Kiến trúc HDFS Ảo hóa và điện toán đám mây 24 Quá trình đọc file: 1. Client sẽ mở tập tin cần đọc bằng cách gửi yêu cầu đọc tập tin đến NameNode 2. Nếu không có vấn đề gì xảy ra, NameNode sẽ gửi danh sách các block (đại diện bởi Block ID) của tệp tin cùng với địa chỉ các DataNode chứa các bản sao của block này. 3. Client sẽ mở các kết nối tới DataNode, thực hiện một yêu cầu RPC (remote procedure call) để yêu cầu nhận block cần đọc và đóng kết nối với DataNode.
  • 25. Kiến trúc HDFS Ảo hóa và điện toán đám mây 25 Quá trình ghi file: 1. Client sẽ gửi yêu cầu tạo một chỉ mục tập tin (file entry) lên không gian tên của hệ thống tập tin đến NameNode. 2. Tập tin mới được tạo sẽ rỗng, tức chưa có một block nào. Sau đó, NameNode sẽ quyết định danh sách các DataNode sẽ chứa các block của tập tin và gửi lại cho client . Client sẽ chia dữ liệu của tập tin cần tạo ra thành các block, mỗi block sẽ được lưu ra thành nhiều bản sao trên các DataNode khác nhau (tùy vào chỉ số độ nhân bản của tập tin).
  • 26. Kiến trúc HDFS Ảo hóa và điện toán đám mây 26 Quá trình ghi file: 3. Client gửi block cho DataNode thứ nhất, DataNode thứ nhất sau khi nhận được block sẽ tiến hành lưu lại bản sao thứ nhất của block. Tiếp theo DataNode thứ nhất sẽ gửi block này cho DataNode thứ hai để lưu ra bản sao thứ hai của block. Tương tự, DataNode thứ hai sẽ gửi packet cho DataNode thứ ba. Cứ như vậy, các DataNode cũng lưu các bản sao của một block. Quá trình này được hình dung như là một ống dẫn dữ liệu data pile . 4. Sau khi DataNode cuối cùng nhận được thành công block, nó sẽ gửi lại cho DataNode thứ hai một gói xác nhận rằng đã lưu thành công. Và gói thứ hai lại gửi gói xác nhận tình trạng thành công của hai DataNode về DataNode thứ nhất. Client sẽ nhận được các báo cáo xác nhận từ DataNode thứ nhất cho tình trạng thành công của tất cả DataNode trên data pile.
  • 27. Google File System (GFS) • Google file system (hay GFS hoặc GoogleFS) là hệ thống tập tin phân tán phát triển bởi Google • Ra đời trước HDFS. GFS có kiến trúc tương tự HDFS • GFS thường được cấu hình với MasterNode và các shadow Master nhằm mục đích chịu lỗi • Trong quá trình hoạt động, nếu MasterNode gặp sự cố, một shadow Master sẽ được lựa chọn thay thế MasterNode. Quá trình này hoàn toàn trong suốt với client và người sử dụng • Trong quá trình lưu trữ các block, GFS sử dụng các kỹ thuật kiểm tra lỗi lưu trữ như checksum nhằm phát hiện và khôi phục block bị lỗi một cách nhanh chóng • GFS là nền tảng phát triển các hệ thống khác của Google như BigTable hay Pregel Ảo hóa và điện toán đám mây 27
  • 28. Hoạt động 2 Lựa chọn 1 trong 2 hoạt động sau: 1. Cài đặt và sử dụng hệ thống HDFS trên Windows 2. Tạo HDFS trong Azure HDInsight. (hoặc trong GCP với Dataproc; hoặc trong AWS với EC2) Chụp hình lại kết quả và ghi vào Google Docs được chia sẻ bởi GV Ảo hóa và điện toán đám mây 28
  • 29. NỘI DUNG 1. CÁC LOẠI HỆ THỐNG TẬP TIN 2. HỆ THỐNG LƯU TRỮ PHÂN TÁN VÀ ĐỒNG NHẤT BỘ NHỚ 3. HỆ THỐNG LƯU TRỮ ĐIỆN TOÁN ĐÁM MÂY VÀ DỮ LIỆU LỚN 4. CƠ SỞ DỮ LIỆU NOSQL Ảo hóa và điện toán đám mây 29
  • 30. 4. CƠ SỞ DỮ LIỆU NOSQL Làm cách nào để xử lý một lượng dữ liệu cực lớn? (như google, facebook) • Cơ sở dữ liệu SQL → không hiệu quả • Ra đời NoSQL (Not Only SQL) Cơ sở dữ liệu NoSQL là Cơ sở dữ liệu được xây dựng dành riêng cho mô hình dữ liệu và có sơ đồ linh hoạt để xây dựng các ứng dụng hiện đại. Cơ sở dữ liệu NoSQL được công nhận rộng rãi vì khả năng dễ phát triển, chức năng cũng như hiệu năng ở quy mô lớn. Còn được gọi là CSDL phi quan hệ Ảo hóa và điện toán đám mây 30
  • 31. Hoạt động của CSDL NoSQL Ảo hóa và điện toán đám mây 31 • Trong cơ sở dữ liệu quan hệ, hồ sơ về một đối tượng thường được chuẩn hóa và lưu trữ trong các bảng tách biệt nhau, còn mối quan hệ được quy định bằng các ràng buộc khóa ngoại và khóa chính. • Trong cơ sở dữ liệu NoSQL, hồ sơ về một đối tượng thường được lưu trữ dưới dạng văn bản JSON (JavaScript Object Notation). • Trong mô hình này, dữ liệu được tối ưu hóa cho việc phát triển trực quan và khả năng thay đổi quy mô theo chiều ngang
  • 32. JSON (JavaScript Object Notation) • JSON là một định dạng trao đổi dữ liệu tiêu chuẩn mở dựa trên văn bản. Con người có thể đọc được. • JSON có nguồn gốc từ một tập hợp con của ngôn ngữ lập trình JavaScript. Nó hoàn toàn độc lập với các ngôn ngữ và có thể được sử dụng với hầu hết các ngôn ngữ lập trình hiện đại. Ảo hóa và điện toán đám mây 32 Biểu diễn thông tin về một quyển sách bằng JSON
  • 33. Các lợi ích cơ sở dữ liệu NoSQL Ảo hóa và điện toán đám mây 33 • Linh hoạt (Flexibility) • Cơ sở dữ liệu NoSQL thường cung cấp các sơ đồ linh hoạt giúp công đoạn phát triển nhanh hơn và có khả năng lặp lại cao hơn. • Khả năng thay đổi quy mô (Scalability) • Cơ sở dữ liệu NoSQL thường được thiết kế để tăng quy mô bằng cách sử dụng các cụm phần cứng được phân phối thay vì tăng quy mô bằng cách bổ sung máy chủ mạnh và tốn kém. • Hiệu năng cao (High-performance) • Cơ sở dữ liệu NoSQL được tối ưu hóa theo các mô hình dữ liệu cụ thể và các mẫu truy cập giúp tăng hiệu năng cao hơn so với việc cố gắng đạt được mức độ chức năng tương tự bằng cơ sở dữ liệu quan hệ. • Cực kỳ thiết thực (Highly functional) • Cơ sở dữ liệu NoSQL cung cấp các API và kiểu dữ liệu cực kỳ thiết thực được xây dựng riêng cho từng mô hình dữ liệu tương ứng.
  • 34. Các loại cơ sở dữ liệu NoSQL • Khóa–giá trị: Cơ sở dữ liệu khóa–giá trị có khả năng phân mảnh cao và cho phép thay đổi quy mô theo chiều ngang ở các quy mô lớn mà các loại hình cơ sở dữ liệu khác không thể làm được. • Tài liệu: Trong mã ứng dụng, dữ liệu thường được biểu diễn dưới dạng một đối tượng hoặc văn bản dạng JSON vì đây là mô hình dữ liệu hiệu quả và trực quan cho các nhà phát triển. • Cột: Dữ liệu được lưu trữ trong các cột thay vì các hàng như trong một hệ thống SQL thông thường. Bất kỳ số lượng cột nào có thể được nhóm hoặc tổng hợp khi cần cho truy vấn hoặc chế độ xem dữ liệu. • Đồ thị: Mục đích của cơ sở dữ liệu đồ thị là giúp việc dựng và chạy ứng dụng hoạt động với các bộ dữ liệu có khả năng kết nối cao trở nên dễ dàng. Ảo hóa và điện toán đám mây 34
  • 35. Cơ sở dữ liệu SQL so với Cơ sở dữ liệu NoSQL Ảo hóa và điện toán đám mây 35
  • 36. Cơ sở dữ liệu SQL so với Cơ sở dữ liệu NoSQL Ảo hóa và điện toán đám mây 36 Tiêu chí so sánh CSDL SQL CSDL NoSQL Loại CSDL Quan hệ Phi quan hệ Lược đồ Định nghĩa trước Lược đồ động Mô hình dữ liệu Dựa trên Bảng Khóa-giá trị, Tài liệu, Đồ thị, Cột Khả năng mở rộng Theo chiều dọc Theo chiều ngang Ngôn ngữ truy vấn Có cấu trúc (Structured Query Language) Không cấu trúc (Unstructured Query Language) Khối lượng công việc tối ưu Cơ sở dữ liệu quan hệ được thiết kế dành cho các ứng dụng xử lý giao dịch trực tuyến (OLTP - online transaction processing) trong giao dịch có độ ổn định cao và thích hợp để xử lí phân tích trực tuyến (OLAP - online analytical processing) Các cơ sở dữ liệu NoSQL được thiết kế cho các mẫu truy cập dữ liệu, bao gồm các ứng dụng có độ trễ thấp. Cơ sở dữ liệu tìm kiếm NoSQL được thiết kế để phục vụ phân tích dữ liệu có cấu trúc chưa hoàn chỉnh. Hiệu năng Hiệu năng thường phụ thuộc vào hệ thống con của ổ đĩa. Thông thường, việc tối ưu hóa các truy vấn, chỉ mục và cấu trúc bảng bắt buộc phải được thực hiện để đạt mức hiệu năng tối đa. Hiệu năng thường được xem là chức năng của kích cỡ cụm phần cứng ngầm, độ trễ mạng và ứng dụng đưa ra lệnh gọi.
  • 37. Hoạt động 3 – sử dụng Amazon DynamoDB •Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB •Tạo, truy vấn và quản lý các bảng DynamoDB với Python Ảo hóa và điện toán đám mây 37
  • 38. Amazon DynamoDB • Amazon DynamoDB là cơ sở dữ liệu NoSQL hỗ trợ mô hình dữ liệu khóa-giá trị và tài liệu, đồng thời cho phép nhà phát triển tạo các ứng dụng hiện đại không cần máy chủ. Những ứng dụng này có thể bắt đầu hoạt động trên quy mô nhỏ và toàn cầu để hỗ trợ các petabyte dữ liệu cũng như hàng triệu yêu cầu đọc và ghi mỗi giây. • DynamoDB được thiết kế để chạy các ứng dụng hiệu năng cao trên quy mô Internet. Đó là các ứng dụng sẽ khiến cơ sở dữ liệu tương quan thông thường phải hoạt động quá mức. Ảo hóa và điện toán đám mây 38
  • 39. Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB • Đăng nhập vào tài khoản aws, chọn sản phẩm Ảo hóa và điện toán đám mây 39
  • 40. Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB • Tạo bảng bằng cách nhấn vào nút ‘Create table’ Ảo hóa và điện toán đám mây 40
  • 41. Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB • Đặt tên Bảng và tên Khóa phân vùng Ảo hóa và điện toán đám mây 41
  • 42. Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB • Thêm Khóa sắp xếp cho Khóa phân vùng Ảo hóa và điện toán đám mây 42
  • 43. Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB • Các trường khác để mặc định, nhấn nút ‘Create’ để tạo bảng Ảo hóa và điện toán đám mây 43
  • 44. Thêm dữ liệu vào bảng NoSQL • Chọn tab ‘Items’, chọn tiếp nút ‘Create item’ Ảo hóa và điện toán đám mây 44
  • 45. Thêm dữ liệu vào bảng NoSQL • Nhập liệu, sau đó nhấn nút ‘Save’ để lưu Ảo hóa và điện toán đám mây 45
  • 46. Thêm dữ liệu vào bảng NoSQL • Lặp lại tương tự để nhập nhiều thông tin Ảo hóa và điện toán đám mây 46
  • 47. Truy vấn bảng NoSQL • Chọn ‘Query’ để thực hiện truy vấn Ảo hóa và điện toán đám mây 47
  • 48. Truy vấn bảng NoSQL • Mục Partition key, nhập ‘Duy Khánh’. Nhấn nút ‘Start search’ Ảo hóa và điện toán đám mây 48
  • 49. Truy vấn bảng NoSQL • Kết quả hiển thị các bài hát của Nhạc sỹ Duy Khánh Ảo hóa và điện toán đám mây 49
  • 50. Truy vấn bảng NoSQL • Thử truy vấn khác: Nhạc sỹ Trịnh Công Sơn với bài hát bắt đầu bằng chữ ‘C’ Ảo hóa và điện toán đám mây 50
  • 51. Truy vấn bảng NoSQL • Ta được kết quả truy vấn Ảo hóa và điện toán đám mây 51
  • 52. Hoạt động 3 – sử dụng Amazon DynamoDB •Tạo bảng bằng việc sử dụng bảng điều khiển DynamoDB Thực hiện lại theo hướng dẫn với dữ liệu tự đề xuất •Tạo, truy vấn và quản lý các bảng DynamoDB với Python Thực hiện theo hướng dẫn tại: https://aws.amazon.com/vi/getting- started/hands-on/create-manage- nonrelational-database-dynamodb/ Ảo hóa và điện toán đám mây 52
  • 53. Hoạt động 4 Chọn 1 trong các hoạt động sau: 1. Tìm một công cụ tạo cơ sở dữ liệu đồ thị (Graph). Sử dụng công cụ để minh họa cơ sở dữ liệu đồ thị. Ví dụ: Neo4j 2. Tìm một công cụ tạo cơ sở dữ liệu cột (Column). Sử dụng công cụ để minh họa cơ sở dữ liệu Column. Ví dụ: Apache HBase 3. Tìm một công cụ tạo cơ sở dữ liệu tài liệu (Document). Sử dụng công cụ để minh họa cơ sở dữ liệu Document. Ví dụ: MongoDB Chụp hình lại kết quả và ghi vào Google Docs được chia sẻ bởi GV Ảo hóa và điện toán đám mây 53
  • 54. HỎI ĐÁP Ảo hóa và điện toán đám mây 54