Xây dựng mô hình điều khiển lưu lượng trong ảo hóa chức năng mạng sử dụng học tăng cường sâu
- 94 trang
- file .pdf
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
LUẬN VĂN THẠC SĨ
Xây dựng mô hình điều khiển lưu lượng trong
ảo hóa chức năng mạng sử dụng học tăng
cường sâu
NGUYỄN XUÂN TUẤN TRUNG
[email protected]
Ngành Kỹ thuật viễn thông
Chữ ký của GVHD
Giảng viên hướng dẫn: TS. Phạm Tuấn Minh
PGS.TS. Nguyễn Hữu Thanh
Trường: Điện - Điện tử
HÀ NỘI, 09/2022
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ
Họ và tên tác giả luận văn : Nguyễn Xuân Tuấn Trung
Đề tài luận văn: Xây dựng mô hình điều khiển lưu lượng trong ảo hóa chức năng
mạng sử dụng học tăng cường sâu
Chuyên ngành: Kỹ thuật viễn thông
Mã số SV: 20202893M
Tác giả, người hướng dẫn khoa học và hội đồng chấm luận văn xác nhận tác giả
đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 27/10/2022 với
các nội dung sau:
• Bổ sung thông tin thiếu ở mục 2.2 bao gồm: thế nào là một luồng phục vụ
thành công; khi nào không được phục vụ thành công; mối quan hệ giữa các
thành phần dịch vụ 𝑐𝑖 và năng lực tính toán của nút 𝑐𝑎𝑝𝑖 .
• Giải thích về cách huấn luyện các mạng nơ-ron tác nhân và nhà phê bình ở
mục 2.3.2.3
• Giải thích kết quả hình 3.2, 3.3, 3.4.
• Thêm bảng định nghĩa các công thức toán học
Hà Nội, Ngày tháng 11 năm 2022
Giáo viên hướng dẫn Tác giả luận văn
CHỦ TỊCH HỘI ĐỒNG
LỜI CAM ĐOAN
Tôi là Nguyễn Xuân Tuấn Trung, mã số học viên 20202893M, học viên lớp kỹ
thuật viễn thông (KH), khóa 2020B. Người hướng dẫn là TS. Phạm Tuấn Minh và
PGS. TS. Nguyễn Hữu Thanh. Tôi xin cam đoan toàn bộ nội dung được trình bày
trong luận văn “Xây dựng mô hình điều khiển lưu lượng trong ảo hóa chức năng
mạng sử dụng học tăng cường sâu” là kết quả quá trình tìm hiểu và nghiên cứu
của tôi. Các dữ liệu được nêu trong luận văn là hoàn toàn trung thực, phản ánh
đúng kết quả mô phỏng thực tế. Mọi thông tin trích dẫn đều tuân thủ các quy định
về sở hữu trí tuệ, các tài liệu tham khảo được liệt kê rõ ràng. Tôi xin chịu hoàn
toàn trách nhiệm với những nội dung được viết trong luận văn này.
Hà Nội, ngày 29 tháng 09 năm 2022
Người cam đoan
Nguyễn Xuân Tuấn Trung
MỞ ĐẦU
Ảo hóa chức năng mạng (Network Function Virtualization - NFV) đang dần
trở thành một thành phần của kiến trúc mạng Internet thế hệ mới. Dịch vụ trong
NFV sẽ bao gồm các thành phần chức năng được kết nối với nhau, gọi là chuỗi
chức năng dịch vụ (Service Function Chaining - SFC), có thể chạy trên nhiều nút
mạng theo yêu cầu. Để đáp ứng các yêu cầu dịch vụ, các chức năng dịch vụ cần
được khởi tạo tại các nút. Sau đó các luồng dữ liệu của các yêu cầu dịch vụ được
điều khiển đến các nút này, tùy theo các chuỗi chức năng dịch vụ và mục tiêu tối
ưu của nhà cung cấp dịch vụ NFV. Thông thường để giải quyết vấn đề điều khiển
lưu lượng, các nhà cung cấp thường tiếp cận bằng phương pháp tùy chỉnh được
thiết kế bởi các chuyên gia. Tuy nhiên, phương pháp này chỉ hoạt động tốt cho
những kịch bản nhất định và các mô hình thường dựa vào các giả định không thực
tế hoặc những kiến thức không có sẵn.
Học tăng cường sâu trong những năm gần đây đang trở nên phổ biến với những
bài toán ra quyết định phức tạp với thông tin về môi trường không đầy đủ. Phương
pháp này có thể học cách đưa ra quyết định điều phối dịch vụ tốt nhất hướng tới
những giả định thực tế. Nó tương tác trực tiếp với môi trường mạng và hoạt động
dựa trên các thông tin giám sát có sẵn. Một tác nhân sẽ được huấn luyện ngoại
tuyến mà không cần tới kiến thức chuyên gia rồi sau đấy triển khai trực tuyến trong
mạng. Tác nhân sẽ học các quyết định điều khiển lưu lượng tốt nhằm tối ưu hóa
các mục tiêu khác nhau. So sánh với thuật toán heuristic, mô hình học tăng cường
sâu có khả năng áp dụng linh hoạt cho các mô hình lưu lượng dữ liệu cũng như các
mục tiêu tối ưu khác nhau. Vì vậy, em xin chọn đề tài "Xây dựng mô hình điều
khiển lưu lượng trong ảo hóa chức năng mạng sử dụng học tăng cường sâu”.
Qua luận văn này, em xin chân thành cảm ơn sự hướng dẫn trực tiếp và hỗ trợ
từ TS. Phạm Tuấn Minh cũng như những góp ý đến từ PGS.TS. Nguyễn Hữu
Thanh. Em cũng xin bày tỏ sự biết ơn tới gia đình, người thân và bạn bè đã hỗ trợ
và động viên tinh thần trong suốt quá trình nghiên cứu và hoàn thành luận văn.
HỌC VIÊN
TÓM TẮT LUẬN VĂN
Mục tiêu của luận văn là áp dụng học tăng cường sâu để xây dựng mô hình
điều khiển lưu lượng trong ảo hóa chức năng mạng có thể đáp ứng được nhiều mục
tiêu tối ưu cũng như các mô hình lưu lượng khác nhau. Đồng thời, so sánh đánh
giá hiệu quả với mô hình ứng dụng học tăng cường sâu với thuật toán heuristic
trong việc điều khiển lưu lượng. Mô hình đưa ra sẽ dựa vào những thông tin giám
sát có sẵn từ hệ thống mạng, học và tìm ra giải pháp điều khiển lưu lượng nhằm
tối ưu các mục tiêu về tỷ lệ chấp nhận yêu cầu cũng như trễ đầu cuối trung bình
trên các luồng. Tác nhân trong mô hình đề xuất sẽ được huấn luyện ngoại tuyến và
triển khai trực tuyến trong mạng. Các kết quả từ mô phỏng cho thấy, mô hình mà
tác giả đề xuất vượt trội hơn so với thuật toán xấp xỉ luyện kim. Ngoài ra trong
trường hợp quy mô mạng thay đổi như thực tế, mô hình cũng cho những kết quả
khả quan. Luận văn được trình bày thành các chương như sau:
Chương một giới thiệu tổng quan lý thuyết về ảo hóa chức năng mạng bao gồm
khái niệm, đặc điểm, kiến trúc và mô hình dịch vụ trong NFV. Trong chương này
tác giả cũng giới thiệu về phương pháp học tăng cường sâu, bao gồm khái niệm,
mô hình, các phương pháp và lịch sử phát triển của loại hình học máy này. Chương
một là tiền đề để xây dựng mô hình đề xuất trong chương sau.
Chương hai của luận văn trình bày vấn đề điều khiển lưu lượng trong ảo hóa
chức năng mạng, những hạn chế của các phương pháp đã được sử dụng. Cùng với
đó là những khảo sát của tác giả về các nghiên cứu đã có. Tiếp đó, tác giả đưa ra
mô hình hóa bài toán điều khiển lưu lượng trong NFV cũng như đưa ra các phương
pháp giải quyết vấn đề mà tác giả đề xuất dựa trên học tăng cường sâu cũng như
phương pháp xấp xỉ.
Chương ba luận văn sẽ đưa ra đề xuất về mô hình thí nghiệm mà tác giả sẽ tiến
hành để đánh giá hiệu quả của thuật toán đề xuất với thuật toán xấp xỉ. Các thí
nghiệm sẽ tiến hành ở các kịch bản khác nhau như tăng số lượng nút đầu vào, tăng
năng lực tính toán của các nút mạng và mở rộng quy mô mạng. Kết quả đánh giá
cho thấy tính hiệu quả của mô hình đề xuất với các thông số hiệu năng như độ trễ
đầu cuối và tỷ lệ đáp ứng yêu cầu dịch vụ.
HỌC VIÊN
MỤC LỤC
MỤC LỤC .............................................................................................................. i
DANH MỤC CÁC KÝ HIỆU TOÁN HỌC ...................................................... iii
DANH MỤC THUẬT NGỮ VIẾT TẮT ........................................................... iv
DANH MỤC HÌNH VẼ ...................................................................................... vi
DANH MỤC BẢNG BIỂU ................................................................................ vii
CHƯƠNG 1. GIỚI THIỆU VỀ ẢO HÓA CHỨC NĂNG MẠNG VÀ HỌC
TĂNG CƯỜNG SÂU ........................................................................................... 1
1.1 Giới thiệu về ảo hóa chức năng mạng ........................................................ 1
1.1.1 Khái niệm.......................................................................................... 1
1.1.2 Đặc điểm của NFV ........................................................................... 2
1.1.3 Kiến trúc của NFV ............................................................................ 8
1.1.4 Dịch vụ trong NFV ......................................................................... 10
1.2 Giới thiệu về học tăng cường sâu ............................................................. 12
1.2.1 Giới thiệu về học tăng cường.......................................................... 12
1.2.2 Phân loại các thuật toán .................................................................. 14
1.2.3 Học sâu cho học tăng cường ........................................................... 19
1.2.4 Lịch sử phát triển ............................................................................ 21
1.3 Kết luận chương 1 .................................................................................... 28
CHƯƠNG 2. BÀI TOÁN ĐIỀU KHIỂN LƯU LƯỢNG TRONG ẢO HÓA
CHỨC NĂNG MẠNG ....................................................................................... 29
2.1 Giới thiệu bài toán điều khiển lưu lượng trong NFV ............................... 29
2.1.1 Mô tả bài toán ................................................................................. 29
2.1.2 Các nghiên cứu liên quan ............................................................... 31
2.2 Mô hình hóa bài toán ................................................................................ 32
2.2.1 Mô hình hóa đầu vào ...................................................................... 32
2.2.2 Mô hình hóa đầu ra ......................................................................... 34
2.2.3 Mô hình hóa mục tiêu tối ưu........................................................... 34
2.3 Thuật toán học tăng cường sâu để điều khiển lưu lượng trong NFV ....... 35
i
2.3.1 Mô tả thuật toán .............................................................................. 35
2.3.2 Xây dựng thuật toán học tăng cường sâu cho bài toán NFV.......... 40
2.4 Thuật toán luyện kim để điều khiển lưu lượng trong NFV ...................... 45
2.4.1 Mô tả thuật toán .............................................................................. 45
2.4.2 Xây dựng thuật toán luyện kim để giải quyết bài toán ................... 47
2.5 Kết luận chương 2 .................................................................................... 48
CHƯƠNG 3. ĐÁNH GIÁ THUẬT TOÁN ...................................................... 49
3.1 Cài đặt thuật toán ..................................................................................... 49
3.1.1 Thuật toán học tăng cường sâu DDPG ........................................... 49
3.1.2 Thuật toán luyện kim SA................................................................ 49
3.2 Kịch bản đánh giá ..................................................................................... 49
3.2.1 Mô hình lưu lượng dữ liệu.............................................................. 49
3.2.2 Mô hình mạng................................................................................. 53
3.2.3 Mô hình chuỗi dịch vụ.................................................................... 54
3.2.4 Môi trường mô phỏng..................................................................... 55
3.3 Kết quả và đánh giá .................................................................................. 55
3.3.1 Chọn số vòng lặp huấn luyện ......................................................... 55
3.3.2 Số nút đầu vào của mỗi dịch vụ thay đổi ....................................... 56
3.3.3 Khả năng tính toán của nút trong mô hình mạng thay đổi ............. 62
3.3.4 Quy mô mô hình mạng thay đổi ..................................................... 64
3.4 Kết luận .................................................................................................... 65
TÀI LIỆU THAM KHẢO ................................................................................. 67
ii
DANH MỤC CÁC KÝ HIỆU TOÁN HỌC
Ký hiệu Ý nghĩa
Tập hợp các số thực dương
ℝ+
Phần tử thuộc tập hợp
Kỳ vọng
𝔼
Hàm Q-learning với trạng thái 𝑠𝑡 và hành động
𝑄𝜋 (𝑠𝑡 , 𝑎𝑡 )
𝑎𝑡
Gradient descent của hàm J theo các biến được
𝐽
tham số hóa bởi mạng nơ-ron
Gradient descent của hàm Q-learning theo các
𝑄(𝑠, 𝑎|𝑄 )|𝑠=𝑠𝑡,𝑎=(𝑠𝑡|) biến được tham số hóa bởi mạng nơ-ron
Gradient descent của hàm Q-learning theo các
𝑎 𝑄(𝑠, 𝑎|𝑄 )|𝑠=𝑠𝑡,𝑎=(𝑠𝑡) biến hành động 𝑎
Gradient descent của hàm chính sách theo các
(𝑠| )|𝑠=𝑠𝑡
biến được tham số hóa bởi mạng nơ-ron
iii
DANH MỤC THUẬT NGỮ VIẾT TẮT
Từ viết tắt Từ gốc
NFV Network Function Virtualization
VNF Virtualized Network Function
WAN Wide Area Network
CAPEX Capital Expenditure
OPEX Operating Expenditure
COTS Commercial-off-the-shelf
NFs Network Functions
SDN Software Defined Networking
BNG Broadband Network Gateway
CG-NAT Carrier-Grade Network Address translation
HLR Home Location Register
HSS Home Subscriber Server
MME Mobility Management Entity
SGSN Serving GPRS Support Node
GGSN Gateway GPRS Support Node
PDN-GW Packet Data Network Gateway
RNC Radio Network Controller
DPI Deep Packet Inspection
VPN Virtual Private Network
QoE Quality of Experience
SLA Sevice Level Agreement
NGN Next Generation Network
SBC Session Border Controller
IMS IP Multimedia Subsystem
CDN Content Delivery Network
M2M Machine to Machine
DSL Digital Subcriber Line
NFVI Network Function Virtualization Infrastructure
MANO Management and Orchestration
VM Virtual Machine
SDO Standards Development Organization
E2E End to End
MDP Markov Decision Process
DRL Deep Reinforcement Learning
DQN Deep Q-Network
DoubleDQN Double QDeep Q-Network
MCTS Monte Carlo Tree Search
iLQR iterative Linear Quadratic Regulators
TRPO Trust Region Policy Optimization
PPO Proximal Policy Optimization
DDPG Deep Deterministic Policy Gradients
SAC Soft Actor-Critic
SGD Stochastic Gradient Descent
SNARCs Stochastic Neural-Analog Reinforcement Calculators
iv
Từ viết tắt Từ gốc
MENACE Matchbox Educable Naughts and Crosses Engine
GLEE Game Learning Expectimaxing Engine
LMS Least Mean Square
TD Temporal Difference
DPG Deterministic Policy Gradient
NFQCA Neural Fitted Q Iteration with Continuous Actions
POMDP Markov Decision Process With Partial Observability
SA Simulated Annealing
ISSU In-Service Software Upgrade
VNA Virtualized Network Appliance
PoP Point of Presence
CPU Central Processing Unit
v
DANH MỤC HÌNH VẼ
Hình 1.1 Tầm nhìn cho ảo hóa chức năng mạng [1].............................................. 1
Hình 1.2 Sơ đồ khối khuôn khổ NFV ở mức cao .................................................. 9
Hình 1.3 Đồ thị biểu diễn một dịch vụ mạng đầu cuối ........................................ 11
Hình 1.4 Ví dụ về dịch vụ mạng đầu cuối với VNF và đồ thị chuyển tiếp lồng nhau
.............................................................................................................................. 11
Hình 1.5 Họ các thuật toán học tăng cường sâu [3]............................................. 15
Hình 2.1 Ví dụ mô tả về bảng lập lịch ................................................................. 41
Hình 2.2 Khuôn khổ điều phối lưu lượng dịch vụ DRL ...................................... 43
Hình 3.1 Đường cong học tập của tác nhân DRL với các mạng có kích thước khác
nhau ...................................................................................................................... 56
Hình 3.2 Tỷ lệ chấp nhận yêu cầu với mô hình lưu lượng Fixed Arrival............ 57
Hình 3.3 Tỷ lệ chấp nhận yêu cầu với mô hình lưu lượng Poisson Arrival ........ 58
Hình 3.4 Tỷ lệ chấp nhận yêu cầu với mô hình lưu lượng MMPP Arrival ......... 59
Hình 3.5 Trễ đầu cuối trung bình với mô hình lưu lượng Fixed Arrival ............. 60
Hình 3.6 Trễ đầu cuối trung bình với mô hình lưu lượng Poisson Arrival ......... 61
Hình 3.7 Trễ đầu cuối trung bình với mô hình lưu lượng MMPP Arrival .......... 61
Hình 3.8 Tỷ lệ chấp nhận yêu cầu khi năng lực tính toán của nút mạng tăng ..... 62
Hình 3.9 Trễ đầu cuối trung bình khi năng lực tính toán của nút tăng ................ 63
Hình 3.10 Tỷ lệ chấp nhận yêu cầu khi quy mô mạng thay đổi .......................... 64
Hình 3.11 Trễ đầu cuối trung bình khi quy mô mạng thay đổi ........................... 65
vi
DANH MỤC BẢNG BIỂU
Bảng 3.1 Các tham số cấu hình mô hình lưu lượng dữ liệu chung ................ 50
Bảng 3.2 Bảng giá trị tham số mô hình lưu lượng dữ liệu Fixed Arrival ...... 51
Bảng 3.3 Bảng giá trị tham số mô hình lưu lượng dữ liệu Poisson Arrival ... 52
Bảng 3.4 Bảng giá trị tham số mô hình lưu lượng dữ liệu MMPP Arrival .... 53
Bảng 3.5 Bảng thuộc tính các nút trong mạng ............................................... 54
Bảng 3.6 Bảng thuộc tính các cạnh trong mạng ............................................. 54
vii
CHƯƠNG 1. GIỚI THIỆU VỀ ẢO HÓA CHỨC NĂNG
MẠNG VÀ HỌC TĂNG CƯỜNG SÂU
Chương đầu tiên sẽ giới thiệu về khái niệm, đặc điểm, kiến trúc và mô hình
dịch vụ trong kiến trúc ảo hóa chức năng mạng. Tiếp đó tác giả sẽ giới thiệu về
học tăng cường sâu, vai trò của học sâu trong học tăng cường sâu, phân loại các
thuật toán và tóm tắt lịch sử phát triển của phương pháp này. Đây là những cơ sở
lý thuyết quan trọng cho mô hình đề xuất của tác giả trong chương sau.
1.1 Giới thiệu về ảo hóa chức năng mạng
1.1.1 Khái niệm
Ảo hóa chức năng mạng (Network Functions Virtualization – NFV) là kiểu
kiến trúc mạng dựa trên sự phát triển của công nghệ ảo hóa hệ thống thông tin,
phục vụ cho việc ảo hóa toàn bộ các lớp chức năng mạng thành các khối hoặc
chuỗi có thể kết nối với nhau nhằm tạo lập và cung cấp các dịch vụ truyền thông.
NFV dựa trên các kỹ thuật ảo hóa máy chủ truyền thống thường được sử dụng
trong hệ thống thông tin doanh nghiệp. Một chức năng mạng được ảo hóa
(Virtualized Network Function – VNF) được cài đặt trong một hoặc nhiều máy ảo
hoặc container chạy nhiều phần mềm và tiến trình khác nhau. Các máy ảo hoặc
container này được chạy trên các máy chủ khối lượng lớn, bộ chuyển mạch
(switches) và thiết bị lưu trữ trên hạ tầng đám mây. Điều này làm giảm sự phụ
thuộc vào phần cứng chuyên dụng đến từ nhà cung cấp.
Hình 1.1 Tầm nhìn cho ảo hóa chức năng mạng [1]
1
Các chức năng mạng được ảo hóa có thể kể đến như bộ cân bằng tải, tường lửa,
thiết bị phát hiện xâm nhập hoặc bộ tăng tốc WAN minh họa trong hình 1.1. Việc
tách chức năng mạng khỏi phần cứng tạo ra một kiến trúc mạng linh hoạt cho phép
quản lý mạng một cách linh hoạt, triển khai mạng mới nhanh chóng với mức giảm
đáng kể về chi phí vốn (Capital Expenditure - CAPEX) cũng như chi phí vận hành
(Operating Expenditure – OPEX).
1.1.2 Đặc điểm của NFV
Trong phần này, tác giả sẽ nêu khái quát các mục tiêu mà NFV hướng tới cũng
như những thuận lợi và khó khăn khi triển khai kiến trúc này. Cuối cùng, tác giả
sẽ đưa ra một vài trường hợp sử dụng của NFV trong các lĩnh vực cụ thể.
Tổng quan về các mục tiêu của NFV
Về mục tiêu của NFV, sẽ có những nội dung như sau:
• Cải thiện hiệu quả sử dụng vốn so với việc triển khai phần cứng chuyên
dụng. Điều này đạt được bởi việc sử dụng phần cứng cho thuê thương mại
(Commercial-off-the-shelf – COTS) như máy chủ có mục đích chung cũng
như thiết bị lưu trữ, phục vụ cho việc cung cấp chức năng mạng (Network
Functions – NFs) thông qua kỹ thuật ảo hóa phần mềm. Những chức năng
mạng này được gọi là các chức năng mạng được ảo hóa (Virtualized
Network Functions – VNFs). Việc chia sẻ phần cứng và giảm số lượng phần
cứng trong mạng cũng góp phần đạt được mục tiêu này.
• Cải thiện tính linh hoạt trong việc gán các VNF cho phần cứng. Điều này
hỗ trợ khả năng mở rộng và phân tách chức năng mạng, cho phép cài đặt
phần mềm tại những địa điểm thích hợp nhất, ví dụ như tại cơ sở của khách
hàng, tại các văn phòng trung tâm, trung tâm dữ liệu, … Điều này hỗ trợ
cho việc thử nghiệm các phiên bản alpha/beta cho tới sản phẩm cuối cùng,
tăng cường khả năng phục hồi thông qua ảo hóa và tạo điều kiện chia sẻ tài
nguyên.
• Đổi mới dịch vụ một cách nhanh chóng thông qua việc triển khai dịch vụ
dựa trên phần mềm.
• Cải thiện hiệu quả hoạt động nhờ các quy trình vận hành tự động hóa.
• Giảm mức sử dụng điện năng nhờ việc dịch chuyển tải lượng (workload)
và ngắt nguồn các thiết bị phần cứng không sử dụng.
• Chuẩn hóa và tạo các giao diện giữa các VNF, cơ sở hạ tầng mạng cũng
như các thực thể quản lý liên quan, nhờ vậy mà các thiết bị từ các nhà cung
cấp khác nhau có thể liên kết và hoạt động trao đổi thông tin.
2
Lợi ích của NFV
Việc ứng dụng ảo hóa chức năng mạng đem lại nhiều lợi ích cho các nhà khai
thác mạng, góp phần thay đổi mạnh mẽ toàn cảnh ngành viễn thông:
• Giảm chi phí thiết bị và giảm tiêu thụ điện năng thông qua việc hợp nhất
thiết bị và khai thác tính kinh tế theo quy mô ngành công nghiệp công nghệ
thông tin.
• Tăng tốc độ thương mại hóa bằng cách giảm chu kỳ đổi mới của nhà khai
thác mạng. Quy mô kinh tế cần thiết cho các khoản đầu tư dành cho chức
năng mạng phụ thuộc phần cứng không còn áp dụng cho các chức năng
mạng phát triển dựa trên phần mềm, tạo điều kiện cho phương thức phát
triển tính năng mới trở nên nhanh hơn. Điều này giúp cho các nhà khai thác
mạng giảm đáng kể chu kỳ phát triển của chức năng mạng.
• Cho phép việc chạy sản phẩm chính thức, thử nghiệm và tham chiếu trên
cùng một cơ sở hạ tầng. Qua đó giúp cho việc kiểm tra và tích hợp hiệu quả
hơn, giảm chi phí phát triển và thời gian ra mắt thị trường.
• Mang tới những dịch vụ nhắm tới các mục tiêu dựa trên vị trí địa lý và tập
khách hàng cụ thể. Dịch vụ có thể nhanh chóng mở rộng cũng như thu hẹp
tùy theo nhu cầu. Thêm nữa, tốc độ dịch vụ được cải thiện bởi khả năng
cung cấp từ xa trong phần mềm mà không cần phải cài đặt thủ công trên
phần cứng.
• Tạo điều kiện cho nhiều hệ sinh thái đa dạng và khuyến khích sự mở rộng.
Điều này mở cửa thị trường thiết bị ảo cho những nhà phát triển phần mềm
thuần túy cũng như giới học thuật; khuyến khích đổi mới để mang lại các
dịch vụ mới và dòng doanh thu mới một cách nhanh chóng với rủi ro thấp.
• Tối ưu hóa cấu hình mạng hoặc mô hình mạng gần thời gian thực dựa trên
lưu lượng truy cập thực tế, mô hình di động/dữ liệu và nhu cầu dịch vụ. Ví
dụ, việc tối ưu hóa vị trí và phân bổ tài nguyên cho các chức năng mạng
một cách tự động gần thời gian thực cung cấp khả năng bảo vệ hệ thống
khỏi những hỏng hóc không có khả năng phục hồi đầy đủ.
• Hỗ trợ hình thức nhiều khách thuê (multi-tenancy) bằng cách cho phép nhà
khai thác mạng cung cấp các dịch vụ phù hợp và kết nối nhiều người dùng,
nhiều ứng dụng, hệ thống nội bộ hoặc mạng khác. Tất cả cùng tồn tại trên
một phần cứng với sự phân tách an toàn thích hợp cho việc quản trị.
• Giảm mức tiêu thụ năng lượng bằng cách khai thác các tính năng quản lý
năng lượng trong các máy chủ tiêu chuẩn và thiết bị lưu trữ, cũng như củng
cố tải lượng và tối ưu vị trí. Ví dụ, dựa vào kỹ thuật ảo hóa, ta có thể tập
trung tải lượng vào một số ít lượng máy chủ trong giờ thấp điểm như nửa
3
đêm, nhờ vậy mà các máy chủ còn lại có thể tắt đi hoặc đưa vào chế độ tiết
kiệm năng lượng.
• Cải thiện hiệu quả hoạt động bằng cách tận dụng tính đồng nhất cao của nền
tảng mạng vật lý và tính tương thích đối với các nền tảng hỗ trợ khác:
o Cơ chế điều phối hệ thống thông tin cung cấp khả năng cài đặt tự
động, nhân rộng, mở rộng dung tích và tái sử dụng các máy ảo
(Virtual Machine – VM).
o Loại bỏ nhu cầu phần cứng dành riêng cho ứng dụng. Cơ sở kỹ năng
dành cho việc vận hành các máy chủ khối lượng lớn ngày càng rộng
và ít bị phân mảnh hơn so với các thiết bị mạng dành riêng cho viễn
thông ngày nay.
o Giảm nhiều loại thiết bị sử dụng cho việc lập kế hoạch và dự phòng.
Các công cụ giả định được phát triển nhằm mục đích tự động hóa và
đối phó với sự gia tăng độ phức tạp của phần mềm ảo hóa.
o Sửa chữa tạm thời các lỗi bằng cách tự động cấu hình lại và di chuyển
tải lượng mạng sang dung lượng dự phòng thông qua việc sử dụng
cơ chế điều phối hệ thống thông tin. Điều này có thể giảm chi phí
vận hành 24/7 nhờ sự giảm thiểu các lỗi một cách tự động.
o Hỗ trợ nâng cấp phần mềm tại chỗ (In-Service Software Upgrade -
ISSU) với việc đảo ngược dễ dàng cài đặt phiên bản cũ của thiết bị
mạng được ảo hóa (Virtualized Network Appliance - VNA) thông
qua máy ảo mới (VM). Giả sử lưu lượng truy cập có thể được chuyển
từ máy ảo cũ sang máy ảo mới mà không làm gián đoạn dịch vụ. Đối
với một số ứng dụng, có thể cần đồng bộ hóa trạng thái của máy ảo
mới với máy ảo cũ.
Thách thức của NFV
Bên cạnh những lợi ích mang lại, NFV cũng đặt ra nhiều thách thức đòi hỏi các
nhà khai thác mạng khi triển khai kiến trúc này phải tìm phương án giải quyết.
Những thách thức ấy bao gồm:
• Khả năng di động/Khả năng tương tác: Khả năng chịu tải và thực thi của
các thiết bị được ảo hóa khác nhau trong môi trường trung tâm dữ liệu tiêu
chuẩn, được cung cấp bởi các nhà cung cấp khác nhau cho các nhà khai thác
khác nhau. Thách thức là xác định một giao diện thống nhất phân tách rõ
ràng các phiên bản phần mềm từ phần cứng bên dưới, đại diện bởi các máy
ảo và chương trình giám sát (hypervisor). Tính di động và khả năng tương
tác rất quan trọng vì nó tạo ra sự khác biệt hệ sinh thái cho nhà cung cấp
thiết bị ảo và nhà cung cấp trung tâm dữ liệu, trong khi cả hai hệ sinh thái
rõ ràng được kết hợp và phụ thuộc lẫn nhau. Tính di động cũng cho phép
4
LUẬN VĂN THẠC SĨ
Xây dựng mô hình điều khiển lưu lượng trong
ảo hóa chức năng mạng sử dụng học tăng
cường sâu
NGUYỄN XUÂN TUẤN TRUNG
[email protected]
Ngành Kỹ thuật viễn thông
Chữ ký của GVHD
Giảng viên hướng dẫn: TS. Phạm Tuấn Minh
PGS.TS. Nguyễn Hữu Thanh
Trường: Điện - Điện tử
HÀ NỘI, 09/2022
CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ
Họ và tên tác giả luận văn : Nguyễn Xuân Tuấn Trung
Đề tài luận văn: Xây dựng mô hình điều khiển lưu lượng trong ảo hóa chức năng
mạng sử dụng học tăng cường sâu
Chuyên ngành: Kỹ thuật viễn thông
Mã số SV: 20202893M
Tác giả, người hướng dẫn khoa học và hội đồng chấm luận văn xác nhận tác giả
đã sửa chữa, bổ sung luận văn theo biên bản họp Hội đồng ngày 27/10/2022 với
các nội dung sau:
• Bổ sung thông tin thiếu ở mục 2.2 bao gồm: thế nào là một luồng phục vụ
thành công; khi nào không được phục vụ thành công; mối quan hệ giữa các
thành phần dịch vụ 𝑐𝑖 và năng lực tính toán của nút 𝑐𝑎𝑝𝑖 .
• Giải thích về cách huấn luyện các mạng nơ-ron tác nhân và nhà phê bình ở
mục 2.3.2.3
• Giải thích kết quả hình 3.2, 3.3, 3.4.
• Thêm bảng định nghĩa các công thức toán học
Hà Nội, Ngày tháng 11 năm 2022
Giáo viên hướng dẫn Tác giả luận văn
CHỦ TỊCH HỘI ĐỒNG
LỜI CAM ĐOAN
Tôi là Nguyễn Xuân Tuấn Trung, mã số học viên 20202893M, học viên lớp kỹ
thuật viễn thông (KH), khóa 2020B. Người hướng dẫn là TS. Phạm Tuấn Minh và
PGS. TS. Nguyễn Hữu Thanh. Tôi xin cam đoan toàn bộ nội dung được trình bày
trong luận văn “Xây dựng mô hình điều khiển lưu lượng trong ảo hóa chức năng
mạng sử dụng học tăng cường sâu” là kết quả quá trình tìm hiểu và nghiên cứu
của tôi. Các dữ liệu được nêu trong luận văn là hoàn toàn trung thực, phản ánh
đúng kết quả mô phỏng thực tế. Mọi thông tin trích dẫn đều tuân thủ các quy định
về sở hữu trí tuệ, các tài liệu tham khảo được liệt kê rõ ràng. Tôi xin chịu hoàn
toàn trách nhiệm với những nội dung được viết trong luận văn này.
Hà Nội, ngày 29 tháng 09 năm 2022
Người cam đoan
Nguyễn Xuân Tuấn Trung
MỞ ĐẦU
Ảo hóa chức năng mạng (Network Function Virtualization - NFV) đang dần
trở thành một thành phần của kiến trúc mạng Internet thế hệ mới. Dịch vụ trong
NFV sẽ bao gồm các thành phần chức năng được kết nối với nhau, gọi là chuỗi
chức năng dịch vụ (Service Function Chaining - SFC), có thể chạy trên nhiều nút
mạng theo yêu cầu. Để đáp ứng các yêu cầu dịch vụ, các chức năng dịch vụ cần
được khởi tạo tại các nút. Sau đó các luồng dữ liệu của các yêu cầu dịch vụ được
điều khiển đến các nút này, tùy theo các chuỗi chức năng dịch vụ và mục tiêu tối
ưu của nhà cung cấp dịch vụ NFV. Thông thường để giải quyết vấn đề điều khiển
lưu lượng, các nhà cung cấp thường tiếp cận bằng phương pháp tùy chỉnh được
thiết kế bởi các chuyên gia. Tuy nhiên, phương pháp này chỉ hoạt động tốt cho
những kịch bản nhất định và các mô hình thường dựa vào các giả định không thực
tế hoặc những kiến thức không có sẵn.
Học tăng cường sâu trong những năm gần đây đang trở nên phổ biến với những
bài toán ra quyết định phức tạp với thông tin về môi trường không đầy đủ. Phương
pháp này có thể học cách đưa ra quyết định điều phối dịch vụ tốt nhất hướng tới
những giả định thực tế. Nó tương tác trực tiếp với môi trường mạng và hoạt động
dựa trên các thông tin giám sát có sẵn. Một tác nhân sẽ được huấn luyện ngoại
tuyến mà không cần tới kiến thức chuyên gia rồi sau đấy triển khai trực tuyến trong
mạng. Tác nhân sẽ học các quyết định điều khiển lưu lượng tốt nhằm tối ưu hóa
các mục tiêu khác nhau. So sánh với thuật toán heuristic, mô hình học tăng cường
sâu có khả năng áp dụng linh hoạt cho các mô hình lưu lượng dữ liệu cũng như các
mục tiêu tối ưu khác nhau. Vì vậy, em xin chọn đề tài "Xây dựng mô hình điều
khiển lưu lượng trong ảo hóa chức năng mạng sử dụng học tăng cường sâu”.
Qua luận văn này, em xin chân thành cảm ơn sự hướng dẫn trực tiếp và hỗ trợ
từ TS. Phạm Tuấn Minh cũng như những góp ý đến từ PGS.TS. Nguyễn Hữu
Thanh. Em cũng xin bày tỏ sự biết ơn tới gia đình, người thân và bạn bè đã hỗ trợ
và động viên tinh thần trong suốt quá trình nghiên cứu và hoàn thành luận văn.
HỌC VIÊN
TÓM TẮT LUẬN VĂN
Mục tiêu của luận văn là áp dụng học tăng cường sâu để xây dựng mô hình
điều khiển lưu lượng trong ảo hóa chức năng mạng có thể đáp ứng được nhiều mục
tiêu tối ưu cũng như các mô hình lưu lượng khác nhau. Đồng thời, so sánh đánh
giá hiệu quả với mô hình ứng dụng học tăng cường sâu với thuật toán heuristic
trong việc điều khiển lưu lượng. Mô hình đưa ra sẽ dựa vào những thông tin giám
sát có sẵn từ hệ thống mạng, học và tìm ra giải pháp điều khiển lưu lượng nhằm
tối ưu các mục tiêu về tỷ lệ chấp nhận yêu cầu cũng như trễ đầu cuối trung bình
trên các luồng. Tác nhân trong mô hình đề xuất sẽ được huấn luyện ngoại tuyến và
triển khai trực tuyến trong mạng. Các kết quả từ mô phỏng cho thấy, mô hình mà
tác giả đề xuất vượt trội hơn so với thuật toán xấp xỉ luyện kim. Ngoài ra trong
trường hợp quy mô mạng thay đổi như thực tế, mô hình cũng cho những kết quả
khả quan. Luận văn được trình bày thành các chương như sau:
Chương một giới thiệu tổng quan lý thuyết về ảo hóa chức năng mạng bao gồm
khái niệm, đặc điểm, kiến trúc và mô hình dịch vụ trong NFV. Trong chương này
tác giả cũng giới thiệu về phương pháp học tăng cường sâu, bao gồm khái niệm,
mô hình, các phương pháp và lịch sử phát triển của loại hình học máy này. Chương
một là tiền đề để xây dựng mô hình đề xuất trong chương sau.
Chương hai của luận văn trình bày vấn đề điều khiển lưu lượng trong ảo hóa
chức năng mạng, những hạn chế của các phương pháp đã được sử dụng. Cùng với
đó là những khảo sát của tác giả về các nghiên cứu đã có. Tiếp đó, tác giả đưa ra
mô hình hóa bài toán điều khiển lưu lượng trong NFV cũng như đưa ra các phương
pháp giải quyết vấn đề mà tác giả đề xuất dựa trên học tăng cường sâu cũng như
phương pháp xấp xỉ.
Chương ba luận văn sẽ đưa ra đề xuất về mô hình thí nghiệm mà tác giả sẽ tiến
hành để đánh giá hiệu quả của thuật toán đề xuất với thuật toán xấp xỉ. Các thí
nghiệm sẽ tiến hành ở các kịch bản khác nhau như tăng số lượng nút đầu vào, tăng
năng lực tính toán của các nút mạng và mở rộng quy mô mạng. Kết quả đánh giá
cho thấy tính hiệu quả của mô hình đề xuất với các thông số hiệu năng như độ trễ
đầu cuối và tỷ lệ đáp ứng yêu cầu dịch vụ.
HỌC VIÊN
MỤC LỤC
MỤC LỤC .............................................................................................................. i
DANH MỤC CÁC KÝ HIỆU TOÁN HỌC ...................................................... iii
DANH MỤC THUẬT NGỮ VIẾT TẮT ........................................................... iv
DANH MỤC HÌNH VẼ ...................................................................................... vi
DANH MỤC BẢNG BIỂU ................................................................................ vii
CHƯƠNG 1. GIỚI THIỆU VỀ ẢO HÓA CHỨC NĂNG MẠNG VÀ HỌC
TĂNG CƯỜNG SÂU ........................................................................................... 1
1.1 Giới thiệu về ảo hóa chức năng mạng ........................................................ 1
1.1.1 Khái niệm.......................................................................................... 1
1.1.2 Đặc điểm của NFV ........................................................................... 2
1.1.3 Kiến trúc của NFV ............................................................................ 8
1.1.4 Dịch vụ trong NFV ......................................................................... 10
1.2 Giới thiệu về học tăng cường sâu ............................................................. 12
1.2.1 Giới thiệu về học tăng cường.......................................................... 12
1.2.2 Phân loại các thuật toán .................................................................. 14
1.2.3 Học sâu cho học tăng cường ........................................................... 19
1.2.4 Lịch sử phát triển ............................................................................ 21
1.3 Kết luận chương 1 .................................................................................... 28
CHƯƠNG 2. BÀI TOÁN ĐIỀU KHIỂN LƯU LƯỢNG TRONG ẢO HÓA
CHỨC NĂNG MẠNG ....................................................................................... 29
2.1 Giới thiệu bài toán điều khiển lưu lượng trong NFV ............................... 29
2.1.1 Mô tả bài toán ................................................................................. 29
2.1.2 Các nghiên cứu liên quan ............................................................... 31
2.2 Mô hình hóa bài toán ................................................................................ 32
2.2.1 Mô hình hóa đầu vào ...................................................................... 32
2.2.2 Mô hình hóa đầu ra ......................................................................... 34
2.2.3 Mô hình hóa mục tiêu tối ưu........................................................... 34
2.3 Thuật toán học tăng cường sâu để điều khiển lưu lượng trong NFV ....... 35
i
2.3.1 Mô tả thuật toán .............................................................................. 35
2.3.2 Xây dựng thuật toán học tăng cường sâu cho bài toán NFV.......... 40
2.4 Thuật toán luyện kim để điều khiển lưu lượng trong NFV ...................... 45
2.4.1 Mô tả thuật toán .............................................................................. 45
2.4.2 Xây dựng thuật toán luyện kim để giải quyết bài toán ................... 47
2.5 Kết luận chương 2 .................................................................................... 48
CHƯƠNG 3. ĐÁNH GIÁ THUẬT TOÁN ...................................................... 49
3.1 Cài đặt thuật toán ..................................................................................... 49
3.1.1 Thuật toán học tăng cường sâu DDPG ........................................... 49
3.1.2 Thuật toán luyện kim SA................................................................ 49
3.2 Kịch bản đánh giá ..................................................................................... 49
3.2.1 Mô hình lưu lượng dữ liệu.............................................................. 49
3.2.2 Mô hình mạng................................................................................. 53
3.2.3 Mô hình chuỗi dịch vụ.................................................................... 54
3.2.4 Môi trường mô phỏng..................................................................... 55
3.3 Kết quả và đánh giá .................................................................................. 55
3.3.1 Chọn số vòng lặp huấn luyện ......................................................... 55
3.3.2 Số nút đầu vào của mỗi dịch vụ thay đổi ....................................... 56
3.3.3 Khả năng tính toán của nút trong mô hình mạng thay đổi ............. 62
3.3.4 Quy mô mô hình mạng thay đổi ..................................................... 64
3.4 Kết luận .................................................................................................... 65
TÀI LIỆU THAM KHẢO ................................................................................. 67
ii
DANH MỤC CÁC KÝ HIỆU TOÁN HỌC
Ký hiệu Ý nghĩa
Tập hợp các số thực dương
ℝ+
Phần tử thuộc tập hợp
Kỳ vọng
𝔼
Hàm Q-learning với trạng thái 𝑠𝑡 và hành động
𝑄𝜋 (𝑠𝑡 , 𝑎𝑡 )
𝑎𝑡
Gradient descent của hàm J theo các biến được
𝐽
tham số hóa bởi mạng nơ-ron
Gradient descent của hàm Q-learning theo các
𝑄(𝑠, 𝑎|𝑄 )|𝑠=𝑠𝑡,𝑎=(𝑠𝑡|) biến được tham số hóa bởi mạng nơ-ron
Gradient descent của hàm Q-learning theo các
𝑎 𝑄(𝑠, 𝑎|𝑄 )|𝑠=𝑠𝑡,𝑎=(𝑠𝑡) biến hành động 𝑎
Gradient descent của hàm chính sách theo các
(𝑠| )|𝑠=𝑠𝑡
biến được tham số hóa bởi mạng nơ-ron
iii
DANH MỤC THUẬT NGỮ VIẾT TẮT
Từ viết tắt Từ gốc
NFV Network Function Virtualization
VNF Virtualized Network Function
WAN Wide Area Network
CAPEX Capital Expenditure
OPEX Operating Expenditure
COTS Commercial-off-the-shelf
NFs Network Functions
SDN Software Defined Networking
BNG Broadband Network Gateway
CG-NAT Carrier-Grade Network Address translation
HLR Home Location Register
HSS Home Subscriber Server
MME Mobility Management Entity
SGSN Serving GPRS Support Node
GGSN Gateway GPRS Support Node
PDN-GW Packet Data Network Gateway
RNC Radio Network Controller
DPI Deep Packet Inspection
VPN Virtual Private Network
QoE Quality of Experience
SLA Sevice Level Agreement
NGN Next Generation Network
SBC Session Border Controller
IMS IP Multimedia Subsystem
CDN Content Delivery Network
M2M Machine to Machine
DSL Digital Subcriber Line
NFVI Network Function Virtualization Infrastructure
MANO Management and Orchestration
VM Virtual Machine
SDO Standards Development Organization
E2E End to End
MDP Markov Decision Process
DRL Deep Reinforcement Learning
DQN Deep Q-Network
DoubleDQN Double QDeep Q-Network
MCTS Monte Carlo Tree Search
iLQR iterative Linear Quadratic Regulators
TRPO Trust Region Policy Optimization
PPO Proximal Policy Optimization
DDPG Deep Deterministic Policy Gradients
SAC Soft Actor-Critic
SGD Stochastic Gradient Descent
SNARCs Stochastic Neural-Analog Reinforcement Calculators
iv
Từ viết tắt Từ gốc
MENACE Matchbox Educable Naughts and Crosses Engine
GLEE Game Learning Expectimaxing Engine
LMS Least Mean Square
TD Temporal Difference
DPG Deterministic Policy Gradient
NFQCA Neural Fitted Q Iteration with Continuous Actions
POMDP Markov Decision Process With Partial Observability
SA Simulated Annealing
ISSU In-Service Software Upgrade
VNA Virtualized Network Appliance
PoP Point of Presence
CPU Central Processing Unit
v
DANH MỤC HÌNH VẼ
Hình 1.1 Tầm nhìn cho ảo hóa chức năng mạng [1].............................................. 1
Hình 1.2 Sơ đồ khối khuôn khổ NFV ở mức cao .................................................. 9
Hình 1.3 Đồ thị biểu diễn một dịch vụ mạng đầu cuối ........................................ 11
Hình 1.4 Ví dụ về dịch vụ mạng đầu cuối với VNF và đồ thị chuyển tiếp lồng nhau
.............................................................................................................................. 11
Hình 1.5 Họ các thuật toán học tăng cường sâu [3]............................................. 15
Hình 2.1 Ví dụ mô tả về bảng lập lịch ................................................................. 41
Hình 2.2 Khuôn khổ điều phối lưu lượng dịch vụ DRL ...................................... 43
Hình 3.1 Đường cong học tập của tác nhân DRL với các mạng có kích thước khác
nhau ...................................................................................................................... 56
Hình 3.2 Tỷ lệ chấp nhận yêu cầu với mô hình lưu lượng Fixed Arrival............ 57
Hình 3.3 Tỷ lệ chấp nhận yêu cầu với mô hình lưu lượng Poisson Arrival ........ 58
Hình 3.4 Tỷ lệ chấp nhận yêu cầu với mô hình lưu lượng MMPP Arrival ......... 59
Hình 3.5 Trễ đầu cuối trung bình với mô hình lưu lượng Fixed Arrival ............. 60
Hình 3.6 Trễ đầu cuối trung bình với mô hình lưu lượng Poisson Arrival ......... 61
Hình 3.7 Trễ đầu cuối trung bình với mô hình lưu lượng MMPP Arrival .......... 61
Hình 3.8 Tỷ lệ chấp nhận yêu cầu khi năng lực tính toán của nút mạng tăng ..... 62
Hình 3.9 Trễ đầu cuối trung bình khi năng lực tính toán của nút tăng ................ 63
Hình 3.10 Tỷ lệ chấp nhận yêu cầu khi quy mô mạng thay đổi .......................... 64
Hình 3.11 Trễ đầu cuối trung bình khi quy mô mạng thay đổi ........................... 65
vi
DANH MỤC BẢNG BIỂU
Bảng 3.1 Các tham số cấu hình mô hình lưu lượng dữ liệu chung ................ 50
Bảng 3.2 Bảng giá trị tham số mô hình lưu lượng dữ liệu Fixed Arrival ...... 51
Bảng 3.3 Bảng giá trị tham số mô hình lưu lượng dữ liệu Poisson Arrival ... 52
Bảng 3.4 Bảng giá trị tham số mô hình lưu lượng dữ liệu MMPP Arrival .... 53
Bảng 3.5 Bảng thuộc tính các nút trong mạng ............................................... 54
Bảng 3.6 Bảng thuộc tính các cạnh trong mạng ............................................. 54
vii
CHƯƠNG 1. GIỚI THIỆU VỀ ẢO HÓA CHỨC NĂNG
MẠNG VÀ HỌC TĂNG CƯỜNG SÂU
Chương đầu tiên sẽ giới thiệu về khái niệm, đặc điểm, kiến trúc và mô hình
dịch vụ trong kiến trúc ảo hóa chức năng mạng. Tiếp đó tác giả sẽ giới thiệu về
học tăng cường sâu, vai trò của học sâu trong học tăng cường sâu, phân loại các
thuật toán và tóm tắt lịch sử phát triển của phương pháp này. Đây là những cơ sở
lý thuyết quan trọng cho mô hình đề xuất của tác giả trong chương sau.
1.1 Giới thiệu về ảo hóa chức năng mạng
1.1.1 Khái niệm
Ảo hóa chức năng mạng (Network Functions Virtualization – NFV) là kiểu
kiến trúc mạng dựa trên sự phát triển của công nghệ ảo hóa hệ thống thông tin,
phục vụ cho việc ảo hóa toàn bộ các lớp chức năng mạng thành các khối hoặc
chuỗi có thể kết nối với nhau nhằm tạo lập và cung cấp các dịch vụ truyền thông.
NFV dựa trên các kỹ thuật ảo hóa máy chủ truyền thống thường được sử dụng
trong hệ thống thông tin doanh nghiệp. Một chức năng mạng được ảo hóa
(Virtualized Network Function – VNF) được cài đặt trong một hoặc nhiều máy ảo
hoặc container chạy nhiều phần mềm và tiến trình khác nhau. Các máy ảo hoặc
container này được chạy trên các máy chủ khối lượng lớn, bộ chuyển mạch
(switches) và thiết bị lưu trữ trên hạ tầng đám mây. Điều này làm giảm sự phụ
thuộc vào phần cứng chuyên dụng đến từ nhà cung cấp.
Hình 1.1 Tầm nhìn cho ảo hóa chức năng mạng [1]
1
Các chức năng mạng được ảo hóa có thể kể đến như bộ cân bằng tải, tường lửa,
thiết bị phát hiện xâm nhập hoặc bộ tăng tốc WAN minh họa trong hình 1.1. Việc
tách chức năng mạng khỏi phần cứng tạo ra một kiến trúc mạng linh hoạt cho phép
quản lý mạng một cách linh hoạt, triển khai mạng mới nhanh chóng với mức giảm
đáng kể về chi phí vốn (Capital Expenditure - CAPEX) cũng như chi phí vận hành
(Operating Expenditure – OPEX).
1.1.2 Đặc điểm của NFV
Trong phần này, tác giả sẽ nêu khái quát các mục tiêu mà NFV hướng tới cũng
như những thuận lợi và khó khăn khi triển khai kiến trúc này. Cuối cùng, tác giả
sẽ đưa ra một vài trường hợp sử dụng của NFV trong các lĩnh vực cụ thể.
Tổng quan về các mục tiêu của NFV
Về mục tiêu của NFV, sẽ có những nội dung như sau:
• Cải thiện hiệu quả sử dụng vốn so với việc triển khai phần cứng chuyên
dụng. Điều này đạt được bởi việc sử dụng phần cứng cho thuê thương mại
(Commercial-off-the-shelf – COTS) như máy chủ có mục đích chung cũng
như thiết bị lưu trữ, phục vụ cho việc cung cấp chức năng mạng (Network
Functions – NFs) thông qua kỹ thuật ảo hóa phần mềm. Những chức năng
mạng này được gọi là các chức năng mạng được ảo hóa (Virtualized
Network Functions – VNFs). Việc chia sẻ phần cứng và giảm số lượng phần
cứng trong mạng cũng góp phần đạt được mục tiêu này.
• Cải thiện tính linh hoạt trong việc gán các VNF cho phần cứng. Điều này
hỗ trợ khả năng mở rộng và phân tách chức năng mạng, cho phép cài đặt
phần mềm tại những địa điểm thích hợp nhất, ví dụ như tại cơ sở của khách
hàng, tại các văn phòng trung tâm, trung tâm dữ liệu, … Điều này hỗ trợ
cho việc thử nghiệm các phiên bản alpha/beta cho tới sản phẩm cuối cùng,
tăng cường khả năng phục hồi thông qua ảo hóa và tạo điều kiện chia sẻ tài
nguyên.
• Đổi mới dịch vụ một cách nhanh chóng thông qua việc triển khai dịch vụ
dựa trên phần mềm.
• Cải thiện hiệu quả hoạt động nhờ các quy trình vận hành tự động hóa.
• Giảm mức sử dụng điện năng nhờ việc dịch chuyển tải lượng (workload)
và ngắt nguồn các thiết bị phần cứng không sử dụng.
• Chuẩn hóa và tạo các giao diện giữa các VNF, cơ sở hạ tầng mạng cũng
như các thực thể quản lý liên quan, nhờ vậy mà các thiết bị từ các nhà cung
cấp khác nhau có thể liên kết và hoạt động trao đổi thông tin.
2
Lợi ích của NFV
Việc ứng dụng ảo hóa chức năng mạng đem lại nhiều lợi ích cho các nhà khai
thác mạng, góp phần thay đổi mạnh mẽ toàn cảnh ngành viễn thông:
• Giảm chi phí thiết bị và giảm tiêu thụ điện năng thông qua việc hợp nhất
thiết bị và khai thác tính kinh tế theo quy mô ngành công nghiệp công nghệ
thông tin.
• Tăng tốc độ thương mại hóa bằng cách giảm chu kỳ đổi mới của nhà khai
thác mạng. Quy mô kinh tế cần thiết cho các khoản đầu tư dành cho chức
năng mạng phụ thuộc phần cứng không còn áp dụng cho các chức năng
mạng phát triển dựa trên phần mềm, tạo điều kiện cho phương thức phát
triển tính năng mới trở nên nhanh hơn. Điều này giúp cho các nhà khai thác
mạng giảm đáng kể chu kỳ phát triển của chức năng mạng.
• Cho phép việc chạy sản phẩm chính thức, thử nghiệm và tham chiếu trên
cùng một cơ sở hạ tầng. Qua đó giúp cho việc kiểm tra và tích hợp hiệu quả
hơn, giảm chi phí phát triển và thời gian ra mắt thị trường.
• Mang tới những dịch vụ nhắm tới các mục tiêu dựa trên vị trí địa lý và tập
khách hàng cụ thể. Dịch vụ có thể nhanh chóng mở rộng cũng như thu hẹp
tùy theo nhu cầu. Thêm nữa, tốc độ dịch vụ được cải thiện bởi khả năng
cung cấp từ xa trong phần mềm mà không cần phải cài đặt thủ công trên
phần cứng.
• Tạo điều kiện cho nhiều hệ sinh thái đa dạng và khuyến khích sự mở rộng.
Điều này mở cửa thị trường thiết bị ảo cho những nhà phát triển phần mềm
thuần túy cũng như giới học thuật; khuyến khích đổi mới để mang lại các
dịch vụ mới và dòng doanh thu mới một cách nhanh chóng với rủi ro thấp.
• Tối ưu hóa cấu hình mạng hoặc mô hình mạng gần thời gian thực dựa trên
lưu lượng truy cập thực tế, mô hình di động/dữ liệu và nhu cầu dịch vụ. Ví
dụ, việc tối ưu hóa vị trí và phân bổ tài nguyên cho các chức năng mạng
một cách tự động gần thời gian thực cung cấp khả năng bảo vệ hệ thống
khỏi những hỏng hóc không có khả năng phục hồi đầy đủ.
• Hỗ trợ hình thức nhiều khách thuê (multi-tenancy) bằng cách cho phép nhà
khai thác mạng cung cấp các dịch vụ phù hợp và kết nối nhiều người dùng,
nhiều ứng dụng, hệ thống nội bộ hoặc mạng khác. Tất cả cùng tồn tại trên
một phần cứng với sự phân tách an toàn thích hợp cho việc quản trị.
• Giảm mức tiêu thụ năng lượng bằng cách khai thác các tính năng quản lý
năng lượng trong các máy chủ tiêu chuẩn và thiết bị lưu trữ, cũng như củng
cố tải lượng và tối ưu vị trí. Ví dụ, dựa vào kỹ thuật ảo hóa, ta có thể tập
trung tải lượng vào một số ít lượng máy chủ trong giờ thấp điểm như nửa
3
đêm, nhờ vậy mà các máy chủ còn lại có thể tắt đi hoặc đưa vào chế độ tiết
kiệm năng lượng.
• Cải thiện hiệu quả hoạt động bằng cách tận dụng tính đồng nhất cao của nền
tảng mạng vật lý và tính tương thích đối với các nền tảng hỗ trợ khác:
o Cơ chế điều phối hệ thống thông tin cung cấp khả năng cài đặt tự
động, nhân rộng, mở rộng dung tích và tái sử dụng các máy ảo
(Virtual Machine – VM).
o Loại bỏ nhu cầu phần cứng dành riêng cho ứng dụng. Cơ sở kỹ năng
dành cho việc vận hành các máy chủ khối lượng lớn ngày càng rộng
và ít bị phân mảnh hơn so với các thiết bị mạng dành riêng cho viễn
thông ngày nay.
o Giảm nhiều loại thiết bị sử dụng cho việc lập kế hoạch và dự phòng.
Các công cụ giả định được phát triển nhằm mục đích tự động hóa và
đối phó với sự gia tăng độ phức tạp của phần mềm ảo hóa.
o Sửa chữa tạm thời các lỗi bằng cách tự động cấu hình lại và di chuyển
tải lượng mạng sang dung lượng dự phòng thông qua việc sử dụng
cơ chế điều phối hệ thống thông tin. Điều này có thể giảm chi phí
vận hành 24/7 nhờ sự giảm thiểu các lỗi một cách tự động.
o Hỗ trợ nâng cấp phần mềm tại chỗ (In-Service Software Upgrade -
ISSU) với việc đảo ngược dễ dàng cài đặt phiên bản cũ của thiết bị
mạng được ảo hóa (Virtualized Network Appliance - VNA) thông
qua máy ảo mới (VM). Giả sử lưu lượng truy cập có thể được chuyển
từ máy ảo cũ sang máy ảo mới mà không làm gián đoạn dịch vụ. Đối
với một số ứng dụng, có thể cần đồng bộ hóa trạng thái của máy ảo
mới với máy ảo cũ.
Thách thức của NFV
Bên cạnh những lợi ích mang lại, NFV cũng đặt ra nhiều thách thức đòi hỏi các
nhà khai thác mạng khi triển khai kiến trúc này phải tìm phương án giải quyết.
Những thách thức ấy bao gồm:
• Khả năng di động/Khả năng tương tác: Khả năng chịu tải và thực thi của
các thiết bị được ảo hóa khác nhau trong môi trường trung tâm dữ liệu tiêu
chuẩn, được cung cấp bởi các nhà cung cấp khác nhau cho các nhà khai thác
khác nhau. Thách thức là xác định một giao diện thống nhất phân tách rõ
ràng các phiên bản phần mềm từ phần cứng bên dưới, đại diện bởi các máy
ảo và chương trình giám sát (hypervisor). Tính di động và khả năng tương
tác rất quan trọng vì nó tạo ra sự khác biệt hệ sinh thái cho nhà cung cấp
thiết bị ảo và nhà cung cấp trung tâm dữ liệu, trong khi cả hai hệ sinh thái
rõ ràng được kết hợp và phụ thuộc lẫn nhau. Tính di động cũng cho phép
4