123

1. Báo cáo bài tập Lưu trữ
và xử lý dữ liệu lớn
Học viên: Nguyễn Hoàng Tiến Bách
MSHV: 20202149
Trường đại học Bách khoa Hà Nội
Viện Công nghệ thông tin và truyền thông
1

2. Nội dung
I/ Đặt vấn đề
II/ Các công nghệ nền tảng và nghiên cứu liên quan
III/ Lưu trữ dữ liệu
IV/ Phân tích dữ liệu
V/ Kết quả
2

3. I/ Đặt vấn đề
1/ Giới thiệu bài toán và nhiệm vụ
Với sự bùng nổ của mạng xã hội đã tạo nên lượng lớn dữ liệu của
người dùng trên các nền tảng xã hội. Nếu có thể thu thập và phân tích
được dữ liệu người dùng này đúng cách thì có thể lấy được các thông
tin về hành vi người dùng để phục vụ cải thiện chất lượng dịch vụ.
Bài toán sử dụng bộ dữ liệu Nodes - Edges trên Tweeter để phân tích
và đánh giá các vấn đề:
* Phân tích và trích xuất ra thông tin người dùng có nhiều lượng theo
dõi nhất.
* Trích xuất thông tin người dùng có xu hướng hay theo dõi mọi người
nhất.
* Phân tích người dùng ít tương tác với mạng xã hội nhất.
3

4. 2/ Đặc trưng bộ dữ liệu và tóm tắt phương pháp phân tích
Bộ dữ liệu sử dụng có kích thước 1.32 GB. (file format: .txt). Số lượng đỉnh: 11,316,811. Số lượng cạnh:
85,331,846
Format của bộ dữ liệu: USER_ID t FOLLOWER_ID n
VD:
12 13
12 14
12 15
16 17
Người dùng 13, 14 và 15 là theo dõi người dùng 12.
Người dùng 17 theo dõi người dùng 16.
4
12 13
14
15

5. Tóm tắt phương pháp lưu trữ và phân tích:
Bước 1: Sử dụng HDFS để lưu trữ dữ liệu trên local.
Bước 2: Sử dụng các truy vấn trên Apache Pig để lọc các thông tin (đếm số lượng người
theo dõi của từng user) và sắp xếp lại theo thứ tự ID người dùng tăng dần.
Bước 3: Lữu trữ lại thông tin đã trích xuất được lên HDFS.
5

6. II/ Các công nghệ nền tảng và nghiên cứu liên
quan
Pig
(Dễ dàng để lập trình với
các ngôn ngữ khác Java)
Hive
(Tương tác sử dụng
truy vấn SQL)
Spark
Xử lý dữ liệu
Xử lý nhanh hơn
6

7. III/ Lưu trữ dữ liệu
Bài toán sử dụng HDFS của Hadoop để
lưu trữ dữ liệu trên local với chế độ
“Pseudo-Distributed Mode”.
HDFS đảm nhiệm chức năng lưu trữ
trong các ứng dụng Hadoop.
HDFS gồm NameNode và các DataNode.
- NameNode điều phối các thao tác truy
nhập vào các DataNode.
- DataNode: Là nơi lưu trữ dữ liệu của
các khối trong hệ thống.
7

8. III/ Lưu trữ dữ liệu
Khởi động Hadoop trên local:
8

9. III/ Lưu trữ dữ liệu
Câu lệnh tương tác với hdfs:
- hdfs dfs <<command>>
Ví dụ về lưu trữ file lên trên HDFS:
9

10. III/ Lưu trữ dữ liệu
10

11. IV/ Phân tích dữ liệu
Sử dụng Pig và Python để phân tích dữ liệu.
Pig Latin: Là ngôn ngữ lập trình sử dụng cho
phân tích dữ liệu lớn, được phát triển bởi
Yahoo! vào năm 2008.
Việc sử dụng trực tiếp MapReduce gây khó
khăn cho những nhà phân tích dữ liệu vì vậy
Pig được tạo ra để dễ dàng sử dụng
MapReduce.
Kiến trúc tương tác của Pig
11

12. IV/ Phân tích dữ liệu
Python file: analysis.py
12

13. IV/ Phân tích dữ liệu
Pig file: analysis.pig
13

14. V/ Kết quả
14

15. V/ Kết quả
15

16. V/ Kết quả
16

17. 17
THANK YOU!