Phát triển một ứng dụng đám mây sử dụng hướng tiếp cận dịch vụ (soa)
- 96 trang
- file .pdf
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
TRẦN NGỌC THÚY
TRẦN NGỌC THÚY
CÔNG NGHỆ THÔNG TIN
PHÁT TRIỂN MỘT ỨNG DỤNG ĐÁM MÂY SỬ DỤNG HƯỚNG
TIẾP CẬN HƯỚNG DỊCH VỤ (SOA)
LUẬN VĂN THẠC SĨ KỸ THUẬT
CÔNG NGHỆ THÔNG TIN
KHOÁ 2010
Hà Nội – Năm 2013
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
TRẦN NGỌC THÚY
PHÁT TRIỂN MỘT ỨNG DỤNG ĐÁM MÂY SỬ DỤNG HƯỚNG TIẾP
CẬN HƯỚNG DỊCH VỤ (SOA)
Chuyên ngành : Công nghệ thông tin
LUẬN VĂN THẠC SĨ KỸ THUẬT
CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC :
TS. VŨ THỊ HƯƠNG GIANG
Hà Nội – Năm 2013
LỜI CẢM ƠN
Em xin chân thành cảm ơn Viện Công Nghệ Thông Tin và Truyền Thông, Trường
Đại học Bách Khoa Hà Nội đã hỗ trợ tạo nhiều điều kiện thuân lợi cho chúng em
trong quá trình học tập cũng như quá trình thực hiện luận văn.
Em xin bày tỏ lòng biết ơn sâu sắc đến TS Vũ Thị Hương Giang đã tận tình
hướng dẫn, định hướng và truyền đạt cho em những kiến thức quý báu cùng với
những lời động viên khuyến khích của Cô trong những lúc khó khăn, gặp trở ngại
khi thực hiện đề tài.
Cuối cùng tôi xin gửi lời cám ơn đến bạn bè đã hỏi thăm động viên khuyến khích
và giúp đỡ tôi trong quá trình thực hiện đề tài.
Mặc dù em đã cố gắng hết mình để hoàn thành tốt đề tài của mình nhưng dù sao
những điều sai sót trong đề tài là không thể tránh khỏi, kính mong các Thầy Cô
thông cảm và tận tình chỉ bảo cho em, mong các bạn đóng góp ý kiến để em có thể
hoàn thiện đề tài của mình hơn.
Trần Ngọc Thuý
1
LỜI CAM ĐOAN
Tôi xin khẳng định các kết quả được trình bày trong luận văn là của riêng tôi, tôi
không sao chép từ bất kỳ một công trình nào khác. Nếu có điều gì không trung
thực , tôi xin hoàn toàn chịu trách nhiệm.
Tác giả
Trần Ngọc Thuý
2
MỤC LỤC
LỜI CẢM ƠN........................................................................................................... 1
LỜI CAM ĐOAN ..................................................................................................... 2
MỤC LỤC ................................................................................................................ 3
DANH MỤC HÌNH VẼ ......................................................................................... 10
MỞ ĐẦU ................................................................................................................ 12
CHƯƠNG I: ĐẶT VẤN ĐỀ .................................................................................. 14
Mở đầu .................................................................................................................... 14
1.1. Kiến trúc hướng dịch vụ - Service-oriented architecture (SOA) ................. 14
1.1.1. Tầm nhìn mức khái niệm của mô hình SOA ......................................... 16
1.1.2. Dịch vụ .................................................................................................. 16
1.1.3. Công nghệ tạo khả năng (Enabling Technology) .................................. 18
1.1.4. Quản trị và chính sách trong mô hình SOA .......................................... 19
1.1.5. Các chuẩn đo (metrics) .......................................................................... 19
1.1.6. Mô hình tổ chức và ứng xử ................................................................... 19
1.1.7. Hệ thống vật lý điển hình ...................................................................... 19
1.2. Tính toán đám mây – Cloud Computing (CC) ................................................ 21
1.2.1.Các đặc tính của điện toán đám mây ......................................................... 21
1.2.2.Mô hình dịch vụ của cloud computing ...................................................... 23
1.2.3. Lợi ích và hạn chế của việc sử dụng Cloud computing ........................... 25
1.3. Lưu trữ, phân tích và xử lý dữ liệu lớn............................................................ 27
1.3.1. Nhu cầu lưu trữ, phân tích, xử lý dữ liệu lớn trong thực tế ................... 27
1.3.2. Khái niệm Big data ................................................................................ 27
a. Dữ liệu lớn- Big data ............................................................................. 27
b. Các hạn chế của cơ sở dữ liệu quan hệ truyền thống ............................ 29
c. Vấn đề lưu trữ cho big data ................................................................... 33
3
d. Mô hình khai thác big data .................................................................... 34
1.3.3. Big data và cloud computing và SOA ................................................... 39
a. SOA và cloud computing ...................................................................... 39
b. Big data và SOA .................................................................................... 45
c. Big data và Cloud Computing ............................................................... 46
1.4. Mục tiêu và phạm vi nghiên cứu của luận văn............................................. 48
Kết chương ............................................................................................................. 49
CHƯƠNG II: GIẢI PHÁP LƯU TRỮ VÀ KHAI THÁC BIGDATA DƯỚI
DẠNG DỊCH VỤ MÂY......................................................................................... 50
Mở đầu .................................................................................................................... 50
2.1. Định hướng giải pháp ...................................................................................... 50
Các định hướng chính trong giải pháp đề xuất................................................... 50
2.2. Mô hình phân tích dữ liệu ............................................................................... 51
2.1.1. OLAP ........................................................................................................ 51
a. Định nghĩa ............................................................................................. 51
b. Các thành phần của OLAP .................................................................... 53
c. Các thao tác OLAP trong mô hình dữ liệu đa chiều ............................. 56
d. Phân loại ................................................................................................ 57
2.1.2. Sử dụng OLAP để mô hình hoá big data.................................................. 58
a. So sánh mô hình MOLAP và ROLAP .................................................. 58
b. Sử dụng mô hình MOLAP .................................................................... 61
2.3. Mô hình tính toán đám mây ............................................................................ 63
2.3.1. Hadoop MapReduce ................................................................................. 63
a. Các thành phần của Hadoop .................................................................. 64
b. Tổng quan về Hadoop cluster ................................................................ 65
c. Hadoop Distributed File System (HDFS) ............................................. 67
4
d. MapReduce ............................................................................................ 71
2.3.2. Tính toán MapReduce cho OLAP ............................................................ 76
2.4. Mô hình lưu trữ................................................................................................ 78
2.4.1. Hbase ........................................................................................................ 78
a. Giới thiệu .................................................................................................... 78
b.Các tính năng của Hbase ............................................................................. 79
2.4.2. Lưu OLAP trong Hbase............................................................................ 80
2.5. Mô hình sử dụng .............................................................................................. 81
Kết chương ............................................................................................................. 81
CHƯƠNG III: THỬ NGHIỆM GIẢI PHÁP XÂY DỰNG MÔ HÌNH OLAP CHO
DỮ LIỆU LỚN ....................................................................................................... 82
Mở đầu .................................................................................................................... 82
3.1. Đặc tả hệ thống thực nghiệm ........................................................................... 82
3.2. Kiến trúc mô hình OLAP cho xử lý dữ liệu lớn .............................................. 82
3.2.1. Thiết kế của tầng dịch vụ ......................................................................... 85
3.2.2. Thiết kế của tầng GWT client .................................................................. 85
3.2.4. Thiết kế của tầng server............................................................................ 85
3.3. Luồng dữ liệu trong hệ thống .......................................................................... 86
3.3.1 Luồng dữ liệu của truy vấn OLAP client ................................................. 86
3.3.2 Luồng dữ liệu của truy vấn OLAP quản trị .............................................. 87
3.4. Cài đặt và triển khai thử nghiệm ..................................................................... 88
3.4.1. Chuẩn bị.................................................................................................... 88
a. Danh sách công cụ phần mềm và thư viện cần cài đặt ............................... 88
b. Cài đặt .................................................................................................... 88
3.4.2. Demo chương trình thử nghiệm ............................................................... 89
3.5. Đánh giá hệ thống thử nghiệm ........................................................................ 91
5
Kết chương ............................................................................................................. 91
KẾT LUẬN ............................................................................................................ 92
TÀI LIỆU THAM KHẢO ...................................................................................... 93
6
Danh sách các thuật ngữ
Access control service Dịch vụ kiểm soát truy cập
Cloud computing Tính toán đám mây
Data mining Khai thác dữ liệu
Hybrid cloud Đám mây hỗn hợp
Private cloud Đám mây riêng
Public cloud Đám mây công cộng
Platform –as- a –service Dịch vụ nền tảng
7
Danh sách từ viết tắt
CC Cloud computing
SOA Service Oriented Architecture
RDBMs Relational Database Management System
IaaS Infrastructure as a Service
PaaS Platform as a Service
SaaS Software as a Service
8
9
DANH MỤC HÌNH VẼ
Hình 1: Khái quát mô hình hướng dịch vụ SOA .................................................... 15
Hình 2: Mô hình điện toán đám mây ...................................................................... 21
Hình 3:Minh họa các dịch vụ ................................................................................. 23
Hình 4: Kiến trúc của Big Data .............................................................................. 29
Hình 5: Định hướng giải pháp OLAP cho xử lý big data ...................................... 51
Hình 6:Mô hình Cube trong OLAP ........................................................................ 53
Hình 7: Cube cho Roll-up và Drill-down ............................................................... 56
Hình 8: Cube cho Slicing ....................................................................................... 56
Hình 9: Cube cho Dicing ........................................................................................ 57
Hình 10: Cube cho Pivoting ................................................................................... 57
Hình 11: Mô hình sử dụng MOLAP....................................................................... 61
Hình 12: Mô hình Cube trong đồ án....................................................................... 62
Hình 13: Cấu trúc thành phần của Hadoop ............................................................ 64
Hình 14: Kiến trúc của Hadoop cluster .................................................................. 66
Hình 15: Kiến trúc HDFS ....................................................................................... 70
Hình 16: Hàm Map ................................................................................................. 72
Hình 17: Hàm Reduce ............................................................................................ 73
Hình 18: Kiến trúc MapReduce Engine ................................................................. 73
Hình 19: Cơ chế hoạt động của Hadoop MapReduce ............................................ 75
Hình 20: Minh họa quá trình chia nhóm ................................................................ 77
Hình 21: Mối liên hệ của Hbase và Hadoop .......................................................... 79
Hình 22: Bảng trong Hbase .................................................................................... 80
Hình 23: Mô hình sử dụng của OLAP cho big data ............................................... 81
10
Hình 24: Mô hình kiến trúc tham chiếu OLAP cho xử lý dữ liệu lớn ................... 83
Hình 25: Nguồn dữ liệu cho OLAP........................................................................ 84
Hình 26: OMML giữa người dùng và OLAP cloud ............................................... 85
Hình 27: Luồng dữ liệu của truy vấn OLAP client ................................................ 86
Hình 28: Luồng dữ liệu của OLAP quản trị ........................................................... 87
Hình 29: Mô hình xây dựng cụm master, slave .................................................... 89
11
MỞ ĐẦU
Trong vài năm trở lại đây, lĩnh vực công nghệ thông tin đã chứng kiến hai xu
hướng lớn với những phân hóa rõ rệt trong cách thức mà các phần mềm được phát
triển và triển khai. Xu hướng thứ nhất tập trung vào phương diện phát triển phần
mềm và được biểu trưng bằng sự sử dụng và ủng hộ rộng rãi các dịch vụ phần
mềm và kiến trúc hướng dịch vụ- Service Oriented Architecture( SOA). Xu hướng
thứ hai cung cấp sự hỗ trợ cho SOA và thay đổi rất nhiều quan điểm về cách thức
mà các dịch vụ tính toán được triển khai và tiêu thụ mà tiêu biểu chính là xu
hướng tính toán đám mây-Cloud Computing( CC). Vậy cơ sở để kết hợp được CC
và SOA là gì?
Thật vậy SOA và CC hoạt động bổ sung cho nhau, cả hai sẽ đóng vai trò lãnh đạo
công nghệ thông tin trong những năm tới. Cloud Computing cung cấp một trung
tâm dữ liệu lớn, nó có sẵn công nghệ ảo hoá, sử dụng tự do và linh hoạt thông qua
Internet. Chính vì vậy kỹ thuật khai thác dữ liệu đã ra đời. Khai thác dữ liệu- data
mining đã được sử dụng để khai thác thông tin có tiềm năng hữu ích từ dữ liệu thô
có trên CC. Kỹ thuật khai thác dữ liệu và các ứng dụng của nó rất cần thiết trong
mô hình điện toán đám mây. Việc thực hiện các kỹ thuật khai thác dữ liệu thông
qua điện toán đám mây sẽ cho phép người sử dụng lấy thông tin có ý nghĩa từ kho
dữ liệu tích hợp và làm giảm chi phí cơ sở hạ tầng và lưu trữ.
Với mục tiêu xây dựng một mô hình cho phép cung cấp các phương tiện để quản
lý và tương tác với các dữ liệu trên đám mây tôi đã chọn đề tài “ Phát triển một
ứng dụng đám mây sử dụng hướng tiếp cận hướng dịch vụ”. Cụ thể đề tài sẽ thiết
kế và thực hiện một hệ thống xử lý và phân tích On-Line (On-Line Analytical
Processing- OLAP) trên môi trường tính toán đám mây. Trong ứng dụng này ta có
thể tổ chức và tích hợp các dữ liệu thô từ cơ sở dữ liệu Hbase, biến nó thành mô
hình dữ liệu phân tích đa chiều và cung cấp các thông tin có ý nghĩa đối với người
dùng. Môi trường điện toán đám mây được sử dụng trong đề tài là Hadoop.
Nội dung của luận văn chia làm 3 chương cụ thể như sau:
Chương thứ nhất: Đặt vấn đề
Phân tích nhu cầu khai thác, lưu trữ đối với dữ liệu lớn. Từ đó đưa ra mối quan hệ
giữa big data, cloud computing và SOA
12
Chương thứ hai: Đề xuất giải pháp lưu trữ và khai thác bigdata trên nền cloud
computing theo SOA
Trình bày giải pháp để xây dựng mô hình lưu trữ và khai thác bigdata trên nền các
công nghệ đề xuất
Chương thứ ba: Thử nghiệm giải pháp xây dựng mô hình OLAP cho dữ liệu lớn
Nội dung chương trình bày về việc áp dụng giải pháp đề xuất trong xây dựng và
thực nghiệm “ Mô hình OLAP xử lý dữ liệu lớn”, từ đó rút ra các đánh giá căn cứ
trên các kết quả thực nghiệm đã có
Phần kết luận: Tóm tắt về những kết quả nghiên cứu đã đạt được và những vấn đề
cần nghiên cứu tiếp theo
13
CHƯƠNG I: ĐẶT VẤN ĐỀ
Mở đầu
Nhu cầu lưu trữ, trích rút và phân tích trên tập dữ liệu lớn hiện nay là rất lớn đã
dẫn đến sự cần thiết trong phát triển các công cụ cho phép khai phá nó một cách
hữu hiệu. Đó chính là các phần mềm mã nguồn mở cho phép lưu trữ dữ liệu lớn,
các công cụ cho phép xử lý lượng dữ liệu lớn trong thời gian thực như
OLAP…Nội dung chương phân tích tổng quan về SOA, Cloud Computing và một
số điểm hạn chế của cơ sở dữ liệu quan hệ truyền thống, từ đó xác định mục tiêu
và phạm vi nghiên cứu của luận văn.
1.1. Kiến trúc hướng dịch vụ - Service-oriented architecture (SOA)
Kiến trúc hướng dịch vụ (Service Oriented Architechture – SOA) là một khái
niệm về kiến trúc hệ thống nhằm đem lại một cách thuận tiện nhất những chức
năng nghiệp vụ, hoặc là những quy trình ứng dụng, tới người sử dụng dưới dạng
các dịch vụ hoạt động trên môi trường mạng có khả năng chia sẻ và sử dụng lạị.
Dịch vụ ở đây được hiểu là những mô-đun nghiệp vụ hoặc chức năng ứng dụng
với giao diện được thiết kế theo quy định và được tương tác bằng cách gửi nhận
thông điệp. Hình vẽ dưới đây khái quát hóa mô hình SOA.
14
Hình 1: Khái quát mô hình hướng dịch vụ SOA
Một số lợi ích cơ bản của việc sử dụng SOA :
- Cho phép hướng sự tập trung vào xây dựng các tính năng nghiệp vụ trong quá
trình phát triển phần mềm
- Giảm thiểu chi phí trong quá trình phát triển
- Giảm thiểu yêu cầu về đào tạo và kỹ năng
- Chi phí bảo trì thấp
- Chu trình phát triển phần mềm nhanh chóng hơn.
Mô hình SOA có ưu thế hơn các mô hình truyền thống (như mô hình hướng ứng
dụng hoặc mô hình hướng lập trình) là mô hình SOA chủ yếu tập trung nguồn lực
phát triển vào các chức năng và tính năng phục vụ hoạt động và quy trình nghiệp
vụ. Điều này cho phép nhà quản lý chỉ cần dựa trên đặc điểm mang tính nghiệp vụ
rà soát, xác định rõ chi tiết, thành phần cần thêm, sửa đổi hoặc loại bỏ. Do đó, các
hệ thống phần mềm phát triển phía sau có thể được thiết kế nhằm đáp ứng những
quy trình nghiệp vụ (thay vì quy trình nghiệp vụ phải thay đổi để tận dụng những
15
tính năng phần mềm như trong các mô hình thường thấy ở nhiều cơ quan tổ chức
với hạ tầng ứng dụng Công nghệ thông tin được phát triển từ trước).
Bằng cách phát triển và tập hợp danh mục các dịch vụ, nhà phát triển có một bộ
sưu tập những mô-đun phần mềm có sẵn, có thể được sử dụng để lắp ghép nên
một hệ thống mới (thay vì phải xây dựng hệ thống này từ đầu). Danh mục dịch vụ
này sẽ nhanh chóng được gia tăng về qui mô và số lượng, khiến việc phát triển các
hệ thống mới ngày càng trở nên thuận tiện, nhanh chóng. Khả năng sử dụng lại
cũng cho phép giảm bớt chi phí phát sinh khi thêm các tính năng mới vào hệ
thống.
Các thành phần logic của kiến trúc hướng dịch vụ SOA
Mô hình SOA gồm nhiều thành phần khác nhau, không chỉ gói gọn vào những
thành phần mang tính công nghệ hỗ trợ sự vận hành của mô hình. Một số thành
phần cơ bản nhất sẽ được liệt kê và mô tả sau đây. Các thành phần này sẽ ảnh
hưởng trực tiếp và chủ yếu vào kết quả ứng dụng mô hình SOA.
1.1.1. Tầm nhìn mức khái niệm của mô hình SOA
Mô hình SOA có thể được coi như một ý niệm mang tính nghiệp vụ cao, một sáng
kiến hoặc một phương pháp, phục vụ việc lên kế hoạch, thiết kế và chuyển giao
chức năng Công nghệ thông tin dưới hình thức là các dịch vụ nghiệp vụ nhằm đạt
được các lợi ích nghiệp vụ cụ thể của một cơ quan, tổ chức. Tầm nhìn mức khái
niệm của mô hình SOA bao gồm các nghiệp vụ được định nghĩa chặt chẽ, có mục
tiêu (cả về giá trị Công nghệ thông tin lẫn về kiến trúc), cùng với mô hình quản trị
và tập hợp chính sách phù hợp nhằm thiết lập những ràng buộc chặt chẽ về tiêu
chuẩn và nền tảng kỹ thuật trong suốt thời gian phát triển. Đây chính là định nghĩa
của mô hình SOA đích, mô hình mục tiêu sẽ cần phải đạt được.
1.1.2. Dịch vụ
Dịch vụ là vừa là khái niệm, vừa là thực thể quan trọng nhất, đóng vai trò trung
tâm trong mô hình SOA. Có nhiều quan điểm về khái niệm dịch vụ tùy thuộc vào
16
từng ngữ cảnh cụ thể. Trong mô hình SOA, dịch vụ được xác định cách đơn giản
là một mô đun phần mềm hay một chương trình hoàn chỉnh được cấu trúc để có
thể liên kết với nhau một cách dễ dàng thông qua hình thức trao đổi thông điệp.
Đặc điểm chính của dịch vụ trong mô hình SOA thể hiện ở việc sử dụng dịch vụ
này sẽ được diễn ra liên tục và có tính lặp đi lặp lại. Đối tượng sử dụng dịch vụ
gồm nhiều thành phần khác nhau, có thể từ kiến trúc sư, nhà phát triển, nhà phân
tích thiết kế phần mềm, đến các khách hàng, đối tác hay chính những thành viên
của cơ quan, tổ chức. Kèm với việc xây dựng các dịch vụ, một mô hình dịch vụ
cần được thiết kế nhằm đảm bảo tính chất sử dụng lại, tương tác liên thông và tích
hợp của toàn bộ qui trình nghiệp vụ cũng như giữa các hạ tầng công nghệ khác
nhau của hệ thống.
Để đáp ứng được những yêu cầu của một cơ quan, tổ chức nào đó, dịch vụ phải
thỏa mãn được những yêu cầu về khả năng đem lại giá trị ở mức cao nhất cho cơ
quan, tổ chức này. Một số đặc điểm chính của dịch vụ bao gồm:
- Dịch vụ dạng thô (coarse-grained services);
- Thỏa thuận làm rõ dịch vụ (well-defined service contracts);
- Liên kết mềm dẻo;
- Khả năng phát hiện được;
- Tính bền vững;
- Khả năng phối ghép (composable);
- Phù hợp với nghiệp vụ (business aligned);
- Sử dụng lại được;
- Tương tác liên thông.
17
Trên lý thuyết, mô hình SOA không phụ thuộc vào bất cứ ngôn ngữ lập trình nào.
Tuy nhiên sự phổ biến của ngôn ngữ lập trình Java cùng với các giao diện và giao
thức được lập trình sẵn đã giúp Java trở thành một trong những ngôn ngữ được ưu
tiên sử dụng khi phát triển mô hình SOA. Trong môi trường SOA, Java thường
được sử dụng trong việc mã hóa chức năng của mỗi dịch vụ, điều khiển các đối
tượng dữ liệu và tương tác với đối tượng được đóng gói một cách logic bên trong
dịch vụ. Tuy rằng bất cứ một chức năng nào đều có thể chuyển đổi thành dịch vụ,
thách thức ở đây là việc phải định nghĩa giao diện dịch vụ ở một mức độ bậc cao
phù hợp. Dịch vụ cũng cần cung cấp các chức năng có khả năng tinh chỉnh.
1.1.3. Công nghệ tạo khả năng (Enabling Technology)
Hiện nay, có khá nhiều giải pháp công nghệ khác nhau trong lĩnh vực dịch vụ Web
và SOA. Tuy nhiên, điều này không gây khó khăn khi thực hiện phát triển hệ
thống phần mềm sử dụng mô hình SOA. Tuy rằng công nghệ có vai trò trong việc
nhận thức và đưa ra tầm nhìn trong ứng dụng mô hình SOA, bản thân công nghệ
chỉ là yếu tố hỗ trợ chứ không phải là thành phần cốt lõi của mô hình SOA. Việc
thực hiện công nghệ tạo khả năng hướng tới hai mục đích: (1) cho phép các dịch
vụ được triển khai một cách tin cậy và an toàn, hướng tới hỗ trợ các mục tiêu
nghiệp vụ; (2) tạo ra khả năng duy trì hạ tầng Công nghệ thông tin sẵn có cũng
như tận dụng các hệ thống cũ nhằm phục vụ mục đích ứng dụng mô hình SOA.
Thực tế là, một trong những giá trị lớn nhất của SOA là cho phép sử dụng lại hệ
thống máy tính lớn và các tài sản Công nghệ thông tin đang tồn tại. Trong khá
nhiều các tổ chức lớn, chính các hệ thống chính cũ và các ứng dụng cài đặt đi kèm
lại là những thành tố quan trọng đóng góp vào cung cấp dịch vụ trong thời gian
đầu triển khai SOA. Điều này hết sức quan trọng vì các phần mềm và dữ liệu liên
quan đến quy trình nghiệp vụ cơ bản thường được cài đặt và lưu trử trong các hệ
thống chính chuyên dụng. Bằng cách cho phép các dịch vụ truy cập vào các hệ
thống này, các giá trị thông tin đã có có thể được tái sử dụng ngay lập tức trong
các mô hình và quá trình tự động.
18
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
TRẦN NGỌC THÚY
TRẦN NGỌC THÚY
CÔNG NGHỆ THÔNG TIN
PHÁT TRIỂN MỘT ỨNG DỤNG ĐÁM MÂY SỬ DỤNG HƯỚNG
TIẾP CẬN HƯỚNG DỊCH VỤ (SOA)
LUẬN VĂN THẠC SĨ KỸ THUẬT
CÔNG NGHỆ THÔNG TIN
KHOÁ 2010
Hà Nội – Năm 2013
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
TRẦN NGỌC THÚY
PHÁT TRIỂN MỘT ỨNG DỤNG ĐÁM MÂY SỬ DỤNG HƯỚNG TIẾP
CẬN HƯỚNG DỊCH VỤ (SOA)
Chuyên ngành : Công nghệ thông tin
LUẬN VĂN THẠC SĨ KỸ THUẬT
CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC :
TS. VŨ THỊ HƯƠNG GIANG
Hà Nội – Năm 2013
LỜI CẢM ƠN
Em xin chân thành cảm ơn Viện Công Nghệ Thông Tin và Truyền Thông, Trường
Đại học Bách Khoa Hà Nội đã hỗ trợ tạo nhiều điều kiện thuân lợi cho chúng em
trong quá trình học tập cũng như quá trình thực hiện luận văn.
Em xin bày tỏ lòng biết ơn sâu sắc đến TS Vũ Thị Hương Giang đã tận tình
hướng dẫn, định hướng và truyền đạt cho em những kiến thức quý báu cùng với
những lời động viên khuyến khích của Cô trong những lúc khó khăn, gặp trở ngại
khi thực hiện đề tài.
Cuối cùng tôi xin gửi lời cám ơn đến bạn bè đã hỏi thăm động viên khuyến khích
và giúp đỡ tôi trong quá trình thực hiện đề tài.
Mặc dù em đã cố gắng hết mình để hoàn thành tốt đề tài của mình nhưng dù sao
những điều sai sót trong đề tài là không thể tránh khỏi, kính mong các Thầy Cô
thông cảm và tận tình chỉ bảo cho em, mong các bạn đóng góp ý kiến để em có thể
hoàn thiện đề tài của mình hơn.
Trần Ngọc Thuý
1
LỜI CAM ĐOAN
Tôi xin khẳng định các kết quả được trình bày trong luận văn là của riêng tôi, tôi
không sao chép từ bất kỳ một công trình nào khác. Nếu có điều gì không trung
thực , tôi xin hoàn toàn chịu trách nhiệm.
Tác giả
Trần Ngọc Thuý
2
MỤC LỤC
LỜI CẢM ƠN........................................................................................................... 1
LỜI CAM ĐOAN ..................................................................................................... 2
MỤC LỤC ................................................................................................................ 3
DANH MỤC HÌNH VẼ ......................................................................................... 10
MỞ ĐẦU ................................................................................................................ 12
CHƯƠNG I: ĐẶT VẤN ĐỀ .................................................................................. 14
Mở đầu .................................................................................................................... 14
1.1. Kiến trúc hướng dịch vụ - Service-oriented architecture (SOA) ................. 14
1.1.1. Tầm nhìn mức khái niệm của mô hình SOA ......................................... 16
1.1.2. Dịch vụ .................................................................................................. 16
1.1.3. Công nghệ tạo khả năng (Enabling Technology) .................................. 18
1.1.4. Quản trị và chính sách trong mô hình SOA .......................................... 19
1.1.5. Các chuẩn đo (metrics) .......................................................................... 19
1.1.6. Mô hình tổ chức và ứng xử ................................................................... 19
1.1.7. Hệ thống vật lý điển hình ...................................................................... 19
1.2. Tính toán đám mây – Cloud Computing (CC) ................................................ 21
1.2.1.Các đặc tính của điện toán đám mây ......................................................... 21
1.2.2.Mô hình dịch vụ của cloud computing ...................................................... 23
1.2.3. Lợi ích và hạn chế của việc sử dụng Cloud computing ........................... 25
1.3. Lưu trữ, phân tích và xử lý dữ liệu lớn............................................................ 27
1.3.1. Nhu cầu lưu trữ, phân tích, xử lý dữ liệu lớn trong thực tế ................... 27
1.3.2. Khái niệm Big data ................................................................................ 27
a. Dữ liệu lớn- Big data ............................................................................. 27
b. Các hạn chế của cơ sở dữ liệu quan hệ truyền thống ............................ 29
c. Vấn đề lưu trữ cho big data ................................................................... 33
3
d. Mô hình khai thác big data .................................................................... 34
1.3.3. Big data và cloud computing và SOA ................................................... 39
a. SOA và cloud computing ...................................................................... 39
b. Big data và SOA .................................................................................... 45
c. Big data và Cloud Computing ............................................................... 46
1.4. Mục tiêu và phạm vi nghiên cứu của luận văn............................................. 48
Kết chương ............................................................................................................. 49
CHƯƠNG II: GIẢI PHÁP LƯU TRỮ VÀ KHAI THÁC BIGDATA DƯỚI
DẠNG DỊCH VỤ MÂY......................................................................................... 50
Mở đầu .................................................................................................................... 50
2.1. Định hướng giải pháp ...................................................................................... 50
Các định hướng chính trong giải pháp đề xuất................................................... 50
2.2. Mô hình phân tích dữ liệu ............................................................................... 51
2.1.1. OLAP ........................................................................................................ 51
a. Định nghĩa ............................................................................................. 51
b. Các thành phần của OLAP .................................................................... 53
c. Các thao tác OLAP trong mô hình dữ liệu đa chiều ............................. 56
d. Phân loại ................................................................................................ 57
2.1.2. Sử dụng OLAP để mô hình hoá big data.................................................. 58
a. So sánh mô hình MOLAP và ROLAP .................................................. 58
b. Sử dụng mô hình MOLAP .................................................................... 61
2.3. Mô hình tính toán đám mây ............................................................................ 63
2.3.1. Hadoop MapReduce ................................................................................. 63
a. Các thành phần của Hadoop .................................................................. 64
b. Tổng quan về Hadoop cluster ................................................................ 65
c. Hadoop Distributed File System (HDFS) ............................................. 67
4
d. MapReduce ............................................................................................ 71
2.3.2. Tính toán MapReduce cho OLAP ............................................................ 76
2.4. Mô hình lưu trữ................................................................................................ 78
2.4.1. Hbase ........................................................................................................ 78
a. Giới thiệu .................................................................................................... 78
b.Các tính năng của Hbase ............................................................................. 79
2.4.2. Lưu OLAP trong Hbase............................................................................ 80
2.5. Mô hình sử dụng .............................................................................................. 81
Kết chương ............................................................................................................. 81
CHƯƠNG III: THỬ NGHIỆM GIẢI PHÁP XÂY DỰNG MÔ HÌNH OLAP CHO
DỮ LIỆU LỚN ....................................................................................................... 82
Mở đầu .................................................................................................................... 82
3.1. Đặc tả hệ thống thực nghiệm ........................................................................... 82
3.2. Kiến trúc mô hình OLAP cho xử lý dữ liệu lớn .............................................. 82
3.2.1. Thiết kế của tầng dịch vụ ......................................................................... 85
3.2.2. Thiết kế của tầng GWT client .................................................................. 85
3.2.4. Thiết kế của tầng server............................................................................ 85
3.3. Luồng dữ liệu trong hệ thống .......................................................................... 86
3.3.1 Luồng dữ liệu của truy vấn OLAP client ................................................. 86
3.3.2 Luồng dữ liệu của truy vấn OLAP quản trị .............................................. 87
3.4. Cài đặt và triển khai thử nghiệm ..................................................................... 88
3.4.1. Chuẩn bị.................................................................................................... 88
a. Danh sách công cụ phần mềm và thư viện cần cài đặt ............................... 88
b. Cài đặt .................................................................................................... 88
3.4.2. Demo chương trình thử nghiệm ............................................................... 89
3.5. Đánh giá hệ thống thử nghiệm ........................................................................ 91
5
Kết chương ............................................................................................................. 91
KẾT LUẬN ............................................................................................................ 92
TÀI LIỆU THAM KHẢO ...................................................................................... 93
6
Danh sách các thuật ngữ
Access control service Dịch vụ kiểm soát truy cập
Cloud computing Tính toán đám mây
Data mining Khai thác dữ liệu
Hybrid cloud Đám mây hỗn hợp
Private cloud Đám mây riêng
Public cloud Đám mây công cộng
Platform –as- a –service Dịch vụ nền tảng
7
Danh sách từ viết tắt
CC Cloud computing
SOA Service Oriented Architecture
RDBMs Relational Database Management System
IaaS Infrastructure as a Service
PaaS Platform as a Service
SaaS Software as a Service
8
9
DANH MỤC HÌNH VẼ
Hình 1: Khái quát mô hình hướng dịch vụ SOA .................................................... 15
Hình 2: Mô hình điện toán đám mây ...................................................................... 21
Hình 3:Minh họa các dịch vụ ................................................................................. 23
Hình 4: Kiến trúc của Big Data .............................................................................. 29
Hình 5: Định hướng giải pháp OLAP cho xử lý big data ...................................... 51
Hình 6:Mô hình Cube trong OLAP ........................................................................ 53
Hình 7: Cube cho Roll-up và Drill-down ............................................................... 56
Hình 8: Cube cho Slicing ....................................................................................... 56
Hình 9: Cube cho Dicing ........................................................................................ 57
Hình 10: Cube cho Pivoting ................................................................................... 57
Hình 11: Mô hình sử dụng MOLAP....................................................................... 61
Hình 12: Mô hình Cube trong đồ án....................................................................... 62
Hình 13: Cấu trúc thành phần của Hadoop ............................................................ 64
Hình 14: Kiến trúc của Hadoop cluster .................................................................. 66
Hình 15: Kiến trúc HDFS ....................................................................................... 70
Hình 16: Hàm Map ................................................................................................. 72
Hình 17: Hàm Reduce ............................................................................................ 73
Hình 18: Kiến trúc MapReduce Engine ................................................................. 73
Hình 19: Cơ chế hoạt động của Hadoop MapReduce ............................................ 75
Hình 20: Minh họa quá trình chia nhóm ................................................................ 77
Hình 21: Mối liên hệ của Hbase và Hadoop .......................................................... 79
Hình 22: Bảng trong Hbase .................................................................................... 80
Hình 23: Mô hình sử dụng của OLAP cho big data ............................................... 81
10
Hình 24: Mô hình kiến trúc tham chiếu OLAP cho xử lý dữ liệu lớn ................... 83
Hình 25: Nguồn dữ liệu cho OLAP........................................................................ 84
Hình 26: OMML giữa người dùng và OLAP cloud ............................................... 85
Hình 27: Luồng dữ liệu của truy vấn OLAP client ................................................ 86
Hình 28: Luồng dữ liệu của OLAP quản trị ........................................................... 87
Hình 29: Mô hình xây dựng cụm master, slave .................................................... 89
11
MỞ ĐẦU
Trong vài năm trở lại đây, lĩnh vực công nghệ thông tin đã chứng kiến hai xu
hướng lớn với những phân hóa rõ rệt trong cách thức mà các phần mềm được phát
triển và triển khai. Xu hướng thứ nhất tập trung vào phương diện phát triển phần
mềm và được biểu trưng bằng sự sử dụng và ủng hộ rộng rãi các dịch vụ phần
mềm và kiến trúc hướng dịch vụ- Service Oriented Architecture( SOA). Xu hướng
thứ hai cung cấp sự hỗ trợ cho SOA và thay đổi rất nhiều quan điểm về cách thức
mà các dịch vụ tính toán được triển khai và tiêu thụ mà tiêu biểu chính là xu
hướng tính toán đám mây-Cloud Computing( CC). Vậy cơ sở để kết hợp được CC
và SOA là gì?
Thật vậy SOA và CC hoạt động bổ sung cho nhau, cả hai sẽ đóng vai trò lãnh đạo
công nghệ thông tin trong những năm tới. Cloud Computing cung cấp một trung
tâm dữ liệu lớn, nó có sẵn công nghệ ảo hoá, sử dụng tự do và linh hoạt thông qua
Internet. Chính vì vậy kỹ thuật khai thác dữ liệu đã ra đời. Khai thác dữ liệu- data
mining đã được sử dụng để khai thác thông tin có tiềm năng hữu ích từ dữ liệu thô
có trên CC. Kỹ thuật khai thác dữ liệu và các ứng dụng của nó rất cần thiết trong
mô hình điện toán đám mây. Việc thực hiện các kỹ thuật khai thác dữ liệu thông
qua điện toán đám mây sẽ cho phép người sử dụng lấy thông tin có ý nghĩa từ kho
dữ liệu tích hợp và làm giảm chi phí cơ sở hạ tầng và lưu trữ.
Với mục tiêu xây dựng một mô hình cho phép cung cấp các phương tiện để quản
lý và tương tác với các dữ liệu trên đám mây tôi đã chọn đề tài “ Phát triển một
ứng dụng đám mây sử dụng hướng tiếp cận hướng dịch vụ”. Cụ thể đề tài sẽ thiết
kế và thực hiện một hệ thống xử lý và phân tích On-Line (On-Line Analytical
Processing- OLAP) trên môi trường tính toán đám mây. Trong ứng dụng này ta có
thể tổ chức và tích hợp các dữ liệu thô từ cơ sở dữ liệu Hbase, biến nó thành mô
hình dữ liệu phân tích đa chiều và cung cấp các thông tin có ý nghĩa đối với người
dùng. Môi trường điện toán đám mây được sử dụng trong đề tài là Hadoop.
Nội dung của luận văn chia làm 3 chương cụ thể như sau:
Chương thứ nhất: Đặt vấn đề
Phân tích nhu cầu khai thác, lưu trữ đối với dữ liệu lớn. Từ đó đưa ra mối quan hệ
giữa big data, cloud computing và SOA
12
Chương thứ hai: Đề xuất giải pháp lưu trữ và khai thác bigdata trên nền cloud
computing theo SOA
Trình bày giải pháp để xây dựng mô hình lưu trữ và khai thác bigdata trên nền các
công nghệ đề xuất
Chương thứ ba: Thử nghiệm giải pháp xây dựng mô hình OLAP cho dữ liệu lớn
Nội dung chương trình bày về việc áp dụng giải pháp đề xuất trong xây dựng và
thực nghiệm “ Mô hình OLAP xử lý dữ liệu lớn”, từ đó rút ra các đánh giá căn cứ
trên các kết quả thực nghiệm đã có
Phần kết luận: Tóm tắt về những kết quả nghiên cứu đã đạt được và những vấn đề
cần nghiên cứu tiếp theo
13
CHƯƠNG I: ĐẶT VẤN ĐỀ
Mở đầu
Nhu cầu lưu trữ, trích rút và phân tích trên tập dữ liệu lớn hiện nay là rất lớn đã
dẫn đến sự cần thiết trong phát triển các công cụ cho phép khai phá nó một cách
hữu hiệu. Đó chính là các phần mềm mã nguồn mở cho phép lưu trữ dữ liệu lớn,
các công cụ cho phép xử lý lượng dữ liệu lớn trong thời gian thực như
OLAP…Nội dung chương phân tích tổng quan về SOA, Cloud Computing và một
số điểm hạn chế của cơ sở dữ liệu quan hệ truyền thống, từ đó xác định mục tiêu
và phạm vi nghiên cứu của luận văn.
1.1. Kiến trúc hướng dịch vụ - Service-oriented architecture (SOA)
Kiến trúc hướng dịch vụ (Service Oriented Architechture – SOA) là một khái
niệm về kiến trúc hệ thống nhằm đem lại một cách thuận tiện nhất những chức
năng nghiệp vụ, hoặc là những quy trình ứng dụng, tới người sử dụng dưới dạng
các dịch vụ hoạt động trên môi trường mạng có khả năng chia sẻ và sử dụng lạị.
Dịch vụ ở đây được hiểu là những mô-đun nghiệp vụ hoặc chức năng ứng dụng
với giao diện được thiết kế theo quy định và được tương tác bằng cách gửi nhận
thông điệp. Hình vẽ dưới đây khái quát hóa mô hình SOA.
14
Hình 1: Khái quát mô hình hướng dịch vụ SOA
Một số lợi ích cơ bản của việc sử dụng SOA :
- Cho phép hướng sự tập trung vào xây dựng các tính năng nghiệp vụ trong quá
trình phát triển phần mềm
- Giảm thiểu chi phí trong quá trình phát triển
- Giảm thiểu yêu cầu về đào tạo và kỹ năng
- Chi phí bảo trì thấp
- Chu trình phát triển phần mềm nhanh chóng hơn.
Mô hình SOA có ưu thế hơn các mô hình truyền thống (như mô hình hướng ứng
dụng hoặc mô hình hướng lập trình) là mô hình SOA chủ yếu tập trung nguồn lực
phát triển vào các chức năng và tính năng phục vụ hoạt động và quy trình nghiệp
vụ. Điều này cho phép nhà quản lý chỉ cần dựa trên đặc điểm mang tính nghiệp vụ
rà soát, xác định rõ chi tiết, thành phần cần thêm, sửa đổi hoặc loại bỏ. Do đó, các
hệ thống phần mềm phát triển phía sau có thể được thiết kế nhằm đáp ứng những
quy trình nghiệp vụ (thay vì quy trình nghiệp vụ phải thay đổi để tận dụng những
15
tính năng phần mềm như trong các mô hình thường thấy ở nhiều cơ quan tổ chức
với hạ tầng ứng dụng Công nghệ thông tin được phát triển từ trước).
Bằng cách phát triển và tập hợp danh mục các dịch vụ, nhà phát triển có một bộ
sưu tập những mô-đun phần mềm có sẵn, có thể được sử dụng để lắp ghép nên
một hệ thống mới (thay vì phải xây dựng hệ thống này từ đầu). Danh mục dịch vụ
này sẽ nhanh chóng được gia tăng về qui mô và số lượng, khiến việc phát triển các
hệ thống mới ngày càng trở nên thuận tiện, nhanh chóng. Khả năng sử dụng lại
cũng cho phép giảm bớt chi phí phát sinh khi thêm các tính năng mới vào hệ
thống.
Các thành phần logic của kiến trúc hướng dịch vụ SOA
Mô hình SOA gồm nhiều thành phần khác nhau, không chỉ gói gọn vào những
thành phần mang tính công nghệ hỗ trợ sự vận hành của mô hình. Một số thành
phần cơ bản nhất sẽ được liệt kê và mô tả sau đây. Các thành phần này sẽ ảnh
hưởng trực tiếp và chủ yếu vào kết quả ứng dụng mô hình SOA.
1.1.1. Tầm nhìn mức khái niệm của mô hình SOA
Mô hình SOA có thể được coi như một ý niệm mang tính nghiệp vụ cao, một sáng
kiến hoặc một phương pháp, phục vụ việc lên kế hoạch, thiết kế và chuyển giao
chức năng Công nghệ thông tin dưới hình thức là các dịch vụ nghiệp vụ nhằm đạt
được các lợi ích nghiệp vụ cụ thể của một cơ quan, tổ chức. Tầm nhìn mức khái
niệm của mô hình SOA bao gồm các nghiệp vụ được định nghĩa chặt chẽ, có mục
tiêu (cả về giá trị Công nghệ thông tin lẫn về kiến trúc), cùng với mô hình quản trị
và tập hợp chính sách phù hợp nhằm thiết lập những ràng buộc chặt chẽ về tiêu
chuẩn và nền tảng kỹ thuật trong suốt thời gian phát triển. Đây chính là định nghĩa
của mô hình SOA đích, mô hình mục tiêu sẽ cần phải đạt được.
1.1.2. Dịch vụ
Dịch vụ là vừa là khái niệm, vừa là thực thể quan trọng nhất, đóng vai trò trung
tâm trong mô hình SOA. Có nhiều quan điểm về khái niệm dịch vụ tùy thuộc vào
16
từng ngữ cảnh cụ thể. Trong mô hình SOA, dịch vụ được xác định cách đơn giản
là một mô đun phần mềm hay một chương trình hoàn chỉnh được cấu trúc để có
thể liên kết với nhau một cách dễ dàng thông qua hình thức trao đổi thông điệp.
Đặc điểm chính của dịch vụ trong mô hình SOA thể hiện ở việc sử dụng dịch vụ
này sẽ được diễn ra liên tục và có tính lặp đi lặp lại. Đối tượng sử dụng dịch vụ
gồm nhiều thành phần khác nhau, có thể từ kiến trúc sư, nhà phát triển, nhà phân
tích thiết kế phần mềm, đến các khách hàng, đối tác hay chính những thành viên
của cơ quan, tổ chức. Kèm với việc xây dựng các dịch vụ, một mô hình dịch vụ
cần được thiết kế nhằm đảm bảo tính chất sử dụng lại, tương tác liên thông và tích
hợp của toàn bộ qui trình nghiệp vụ cũng như giữa các hạ tầng công nghệ khác
nhau của hệ thống.
Để đáp ứng được những yêu cầu của một cơ quan, tổ chức nào đó, dịch vụ phải
thỏa mãn được những yêu cầu về khả năng đem lại giá trị ở mức cao nhất cho cơ
quan, tổ chức này. Một số đặc điểm chính của dịch vụ bao gồm:
- Dịch vụ dạng thô (coarse-grained services);
- Thỏa thuận làm rõ dịch vụ (well-defined service contracts);
- Liên kết mềm dẻo;
- Khả năng phát hiện được;
- Tính bền vững;
- Khả năng phối ghép (composable);
- Phù hợp với nghiệp vụ (business aligned);
- Sử dụng lại được;
- Tương tác liên thông.
17
Trên lý thuyết, mô hình SOA không phụ thuộc vào bất cứ ngôn ngữ lập trình nào.
Tuy nhiên sự phổ biến của ngôn ngữ lập trình Java cùng với các giao diện và giao
thức được lập trình sẵn đã giúp Java trở thành một trong những ngôn ngữ được ưu
tiên sử dụng khi phát triển mô hình SOA. Trong môi trường SOA, Java thường
được sử dụng trong việc mã hóa chức năng của mỗi dịch vụ, điều khiển các đối
tượng dữ liệu và tương tác với đối tượng được đóng gói một cách logic bên trong
dịch vụ. Tuy rằng bất cứ một chức năng nào đều có thể chuyển đổi thành dịch vụ,
thách thức ở đây là việc phải định nghĩa giao diện dịch vụ ở một mức độ bậc cao
phù hợp. Dịch vụ cũng cần cung cấp các chức năng có khả năng tinh chỉnh.
1.1.3. Công nghệ tạo khả năng (Enabling Technology)
Hiện nay, có khá nhiều giải pháp công nghệ khác nhau trong lĩnh vực dịch vụ Web
và SOA. Tuy nhiên, điều này không gây khó khăn khi thực hiện phát triển hệ
thống phần mềm sử dụng mô hình SOA. Tuy rằng công nghệ có vai trò trong việc
nhận thức và đưa ra tầm nhìn trong ứng dụng mô hình SOA, bản thân công nghệ
chỉ là yếu tố hỗ trợ chứ không phải là thành phần cốt lõi của mô hình SOA. Việc
thực hiện công nghệ tạo khả năng hướng tới hai mục đích: (1) cho phép các dịch
vụ được triển khai một cách tin cậy và an toàn, hướng tới hỗ trợ các mục tiêu
nghiệp vụ; (2) tạo ra khả năng duy trì hạ tầng Công nghệ thông tin sẵn có cũng
như tận dụng các hệ thống cũ nhằm phục vụ mục đích ứng dụng mô hình SOA.
Thực tế là, một trong những giá trị lớn nhất của SOA là cho phép sử dụng lại hệ
thống máy tính lớn và các tài sản Công nghệ thông tin đang tồn tại. Trong khá
nhiều các tổ chức lớn, chính các hệ thống chính cũ và các ứng dụng cài đặt đi kèm
lại là những thành tố quan trọng đóng góp vào cung cấp dịch vụ trong thời gian
đầu triển khai SOA. Điều này hết sức quan trọng vì các phần mềm và dữ liệu liên
quan đến quy trình nghiệp vụ cơ bản thường được cài đặt và lưu trử trong các hệ
thống chính chuyên dụng. Bằng cách cho phép các dịch vụ truy cập vào các hệ
thống này, các giá trị thông tin đã có có thể được tái sử dụng ngay lập tức trong
các mô hình và quá trình tự động.
18