1. Trình bày: Bùi Ngọc Tín
MWG
THỰC TẾ TRIỂN KHAI HẠ TẦNG
CÔNG NGHỆ THÔNG TIN
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

2. NỘI DUNG
TRÌNH BÀY
• Tiêu chí xây dựng hạ tầng hệ thống CNTT
tại MWG
• Mô hình hệ thống
Ø Datacenter (DC) site
Ø Disaster Recovery (DR) site
Ø Giải pháp kết nối từ hệ thống siêu thị
về trung tâm
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

3. • Các phân hệ dịch vụ trong hệ thống
• Vận hành, nhân sự
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
NỘI DUNG
TRÌNH BÀY

4. • An toàn thông tin là tiêu chí được
ưu tiên hàng đầu của cả hệ thống
• Tập trung hóa hệ thống dữ liệu của
toàn công ty
TIÊU CHÍ XÂY DỰNG
HẠ TẦNG HỆ THỐNG
CNTT TẠI MWG
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

5. • Hệ thống phải hoạt động ổn định trong
mọi tình huống và có độ sẵn sàng cao.
• Đảm bảo khả năng mở rộng và tích hợp
các giải pháp CNTT khác như các
phần mềm ERP, CRM…
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
TIÊU CHÍ XÂY DỰNG
HẠ TẦNG HỆ THỐNG
CNTT TẠI MWG

6. • Tiết kiệm chi phí: Áp dụng triệt để các
ứng dụng mã nguồn mở trong khả năng
quản trị được
• Đảm bảo kế hoạch đầu tư CNTT theo
chi phí và tiến độ
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
TIÊU CHÍ XÂY DỰNG
HẠ TẦNG HỆ THỐNG
CNTT TẠI MWG

7. 20Gbps
P2P 40Gbps
1Gbps
40Gbps
Internet VDC IDC
AS-7643
1Gbps eBGP
TGDD
AS-131425
Subnet: 103.48.76.0/22
...
ToR ToR
1Gbps
40Gbps
Viettel IDC
AS-7552
1Gbps eBGP
...
ToR ToR
10Gbps 10Gbps 10Gbps
C2 Office Call Center Etown Head Office
10Gbps
MetroNet of TGDD Backup link
Active Link
Ghi chú:
Rack 1 Rack n Rack 1 Rack n
Spine
Leaf
Spine
Leaf
Firewall Firewall
MÔ HÌNH
HỆ THỐNG
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

8. • Chúng tôi sử dụng đấu nối
Active-Active với BGP ANYCAST.
Hai liên kết đấu nối trên 02 router
riêng biệt của chúng tôi với 02 router
riêng biệt của 02 nhà cung cấp dịch vụ
ở 02 Data Center.
LÝ GIẢI
MÔ HÌNH ĐẤU NỐI
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

9. • Trên các kênh đấu nối với 02 IXP, chúng
tôi thực hiện tách hai loại traffic Quốc tế
và trong nước một cách riêng biệt với
nhau.
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
LÝ GIẢI
MÔ HÌNH ĐẤU NỐI

10. • Bên trong hệ thống Data Center,
chúng tôi sử dụng mô hình Leaf-Spine và
công nghệ MLAG (Multi-Chasis Link
Aggregation) nhằm mục tích tiện lợi cho
việc maintain thiết bị và thuận tiện cho
việc mở rộng các Rack khi cần thiết.
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
LÝ GIẢI
MÔ HÌNH ĐẤU NỐI

11. • Liên kết giữa hai data center chúng tôi sử
dụng kênh đấu nối P2P, và tuyến metro
backup nối 02 Data center với các văn
phòng.
• Sử dụng giải pháp DR (2+1), 2 cho Site
chính (VDC) và 1 cho Site phụ
(Viettel=IDC)
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
LÝ GIẢI
MÔ HÌNH ĐẤU NỐI

12. GIẢI PHÁP
KẾT NỐI
SIÊU THỊ VỀ
TRUNG TÂM
DỮ LIỆU
INTERNET
VIETTEL DATA CENTER VDC
DATA
CENTER
SIÊU THỊ
FPT VNPT VIETTEL
LED SERVER
Firewall & Load
balancer
Lan network
Wifi network
SIÊU THỊ
VNPT VIETTEL
LED SERVER
Firewall & Load
balancer
Lan network
Wifi network
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

13. 1. Database Oracle
• Công nghệ ảo hoá: Oracle VM for SPARC
• Hệ điều hành (OS) Oracle Solaris 11
• Database: Oracle Enterprise 11g
CÁC PHÂN HỆ DỊCH VỤ
TRONG HỆ THỐNG
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

14. 1. Database Oracle
• Hệ thống bao gồm các máy chủ Oracle
SPARC, phân chia ảo hoá thành các
server database dùng cho các phân hệ
ứ n g d ụ n g b ê n t r ê n ( W E B , C R M ,
DATAWAREHOUSE, ERP).
CÁC PHÂN HỆ DỊCH VỤ
TRONG HỆ THỐNG
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

15. 1. Database Oracle
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
1. Database Oracle
CÁC PHÂN HỆ DỊCH VỤ
TRONG HỆ THỐNG
Hạ tầng phần cứng dùng cho lưu trữ:
ü Hệ thống lưu trữ tập trung SAN/NAS của
Oracle, dựa trên nền tảng ZFS: ZS3-2.
ü Hệ thống lưu trữ local với hệ thống
đĩa cứng SSD, nhằm tăng tốc độ đọc
ghi dữ liệu.

16. 1. Database Oracle
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
1. Database Oracle
CÁC PHÂN HỆ DỊCH VỤ
TRONG HỆ THỐNG
ü Hệ thống lưu trữ local cho Database Oracle với
công nghệ card Flash NVME có tốc độ truy
xuất cực nhanh, IOPS lớn (750000 iops/1card
NVME).
ü Giải pháp HA: DATAGUARD 2 node tại DC
(1 primary + 1 standby) và 1 node tại DR site
(standby).

17. 1800-1060 1800-1061
1800-1062 1800-1063
1800-1064 1800-1065
PSTN
CÁP QUANG (SIP
TRUNKING)CÁP QUANG DỰ PHÒNG
CRM, SMS,
ERP,..
SIÊU THỊ
VTN
MWG CALL CENTER
Agents Laptop
with soft
phone
IP phone
Các thiết bị
WiFi with
softphone
2. Contact Center
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

18. 2. Contact Center
Tổng số lượng đàm thoại 1 ngày
(trung bình): 84,000 calls
Tổng thời lượng đàm thoại 1 ngày
(trung bình): 111,000 phút
Tổng số lượng đàm thoại CCU
(trung bình): 200 calls
Thống kê sơ bộ về
hệ thống contact
center đang được
vận hành bởi MWG
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

19. 3. Hệ thống
quản trị WIFI
controller-less
INTERNET
Wifi
management
servers
SIÊU THỊ
SIÊU THỊ
SIÊU THỊ
Administration
tasks
DATA CENTER
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

20. 4. Hệ thống ITOP
(Quản trị tài sản
IT, sự cố…)
iTop (IT Operational Portal) là một
ứng dụng web mã nguồn mở cho
phép quản trị các hoạt động hàng
ngày trong một môi trường CNTT.
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

21. 4. Hệ thống ITOP
(Quản trị tài sản
IT, sự cố…)
iTop được thiết kế
theo chuẩn ITIL,
ứng dụng là đủ linh
hoạt để thích ứng
với quá trình của
bạn
Yêu cầu hàng hóa
(siêu thị=>nhân
viên IT)
PKV -
kiểm tra lại yêu
cầu xem có cần
thiết và hợp lí
PKV tạo đơn hàng
trên ITop
Hủy yêu cầu
KhoIT tiếp nhận
yêu cầu
Đặt hàng NCC
NCC gởi hàng đến
địa chỉ như đơn
đặt hàng
KhoIT cập nhật
trạng thái đơn
hàng trên Itop (loại
hình vận chuyển,
ngày đi, ngày đến)
Nhân viên IT
kiểm tra hàng
Bàn giao cho siêu
thị, chụp biên bản
bàn giao up lên
đúng đơn hàng
trên ITop
Thông tin lại cho
KhoIT, làm việc lại
với NCC
Không đồng ý
Đồng ý
Đã có
Chưa có
Phản hồi
Cập nhật hoàn tất
và đóng đơn hàng
Phản hồi
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

22. Diễn giải hoạt động của hệ thống ITOP
iTop có thể được sử dụng bởi nhiều người
dùng khác nhau:
• Help Desk
• Kỹ sư hỗ trợ (cấp 1, cấp 2 ...)
• Quản lý dịch vụ
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

23. Diễn giải hoạt động của hệ thống ITOP
• Quản lý IT
• Người dùng đầu cuối: một giao diện
đơn giản "portal" có sẵn để cho phép
họ gửi yêu cầu trực tiếp
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

24. Diễn giải hoạt động của hệ thống ITOP
Quy trình quản lý kho IT (iTop) của công ty bắt đầu
bằng việc nhận yêu cầu từ phía siêu thị. Nhân viên
helpdesk có nhiệm vụ tạo yêu cầu hàng hóa trên
iTop, quản lý kho tiếp nhận thông tin yêu cầu hàng
hóa đặt hàng, và xác nhận đặt hàng.
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

25. 5. Hệ thống
Private Cloud
MWG
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

26. Hệ thống Private Cloud MWG
• Cloud Mobile World Group (Cloud MWG) là một ứng giao diện web mạnh mẽ với
mục đích xây dựng một hệ thống lưu trữ đám mây nhằm đồng bộ hóa dữ liệu,
chia sẻ tập tin, và lưu trữ từ xa
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

27. Hệ thống Private Cloud MWG
• Lưu trữ các file, thư mục, danh bạ, thư viện ảnh, lịch…
• Có thể truy cập từ điện thoại, thiết bị di động, laptop, hoặc trình duyệt web.
• Đồng bộ dữ liệu lưu trữ từ server về các thiết bị cá nhân và ngược lại.
• Chia sẽ dữ liệu lưu trữ cá nhân với người khác thông qua URLs.
• Đồng bộ dữ liệu từ DC về siêu thị
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

28. 6. Hệ thống Web
conferencing
• Phục vụ triển khai
khuyến mãi,
đào tạo, phổ biến
chính sách nhân
sự… cho toàn hệ
thống.
• Đáp ứng số người
dùng tham gia:
1,000 users.
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

29. 7. Hệ thống
Load
balancing
Clients request Servers FarmLoad Balancers
Standby keep alive
Active
Internet
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

30. Hệ thống Load balancing
• Phân phối số lượng request trên nhiều máy tính hoặc một cụm máy tính.
• Cơ chế giám sát tình trạng các máy chủ của dịch vụ trong một Farm.
• Tăng khả năng phục vụ.
• Linh hoạt, chủ động chia tải hoặc chỉ định riêng Server.
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

31. Hệ thống Load balancing
• Mở rộng thêm Server dễ dàng.
• Dịch vụ không gián đoạn ngay cả khi lỗi hoặc bảo trì máy chủ phía sau.
• Client request gián tiếp qua Load Balancer -> Tăng bảo mật
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

32. 8. Hệ thống
redis - cache
INTERNET
Clients
request
Load
Balancer
Database
Cụm server REDIS
(Master+slave)
Web
Server
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

33. 8. Hệ thống redis - cache
Redis là hệ thống được sử dụng cho hầu hết
các ứng dụng tại MWG nhằm giảm tải cho
hệ thống database, tăng tốc độ nạp dữ liệu
và truy xuất dữ liệu cho người dùng cuối
bằng phương thức lưu trữ key-value trên
RAM đồng thời hỗ trợ ghi dữ liệu trên đĩa
cứng đảm bảo an toàn cho dữ liệu.
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

34. Hệ thống redis - cache
• Dữ liệu lưu trữ phân tán nhiều Node. Không quá tốn resource khi triển khai DB lớn
hoặc nhiều Cluster.
• Bất kì node nào lỗi đều có thể skip qua -> failover
• Tăng khả năng phục vụ đồng thời cho cả read/write -> scale UP
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

35. Hệ thống redis - cache
• Mở rộng Cluster bằng cách join thêm cặp Master/Slave -> scale OUT
• Đơn giản
• Dữ liệu đồng bộ nhanh
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com

36. Hệ thống redis - cache
• Cần thống kê nhanh truy cập tại một thời điểm?
• Cần biết các truy cập hợp lệ?
• Có đang nghẽn cổ chai – Băng thông thiếu?
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
Hệ thống giám sát và cảnh báo (hiển thị trên một màn hình,
âm thanh alarm, gởi email và SMS)

37. Hệ thống redis - cache
• Hết tài nguyên, treo service?
• Máy tính bị virus
• Tê liệt toàn bộ dịch vụ trong hoạt động
• Port/Dịch vụ/Máy tính nào chiếm traffic quá cao
• Trạng thái hoạt động của thiết bị
Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
Hệ thống giám sát và cảnh báo (hiển thị trên một màn hình,
âm thanh alarm, gởi email và SMS)

38. Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
Vài hình ảnh của hệ thống giám sát

39. Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
MÔ HÌNH TỔ CHỨC VẬN HÀNH

40. Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com
QUY TRÌNH XỬ LÍ YÊU CẦU
CÔNG VIỆC

41. Công Ty Cổ Phần Thế Giới Di Động
www.thegioididong.com