Tài liệu Big Data nguồn mở, Phần 1: Hướng dẫn Hadoop: Tạo ứng dụng Hello World với Java, Pig, Hive,

Big Data nguồn mở, Phần 1: Hướng dẫn Hadoop: Tạo ứng

dụng Hello World với Java, Pig, Hive, Flume, Fuse, Oozie và

Sqoop với Informix, DB2 và MySQL

Có rất nhiều điều thú vị về Big Data và cũng có rất nhiều sự nhầm lẫn về nó. Bài

này sẽ cung cấp một định nghĩa về Big Data và sau đó thực hiện một loạt các ví dụ

để bạn có thể có được những hiểu biết ban đầu về một số khả năng của Hadoop,

công nghệ nguồn mở hàng đầu trong lĩnh vực Big Data. Cụ thể, ta tập trung vào

những câu hỏi sau:.

 Big Data, Hadoop, Sqoop, Hive và Pig là gì và tại sao lĩnh vực này lại có

nhiều điều thú vị?

 Hadoop liên quan đến DB2 và Informix của IBM như thế nào? Các công

nghệ này có thể chạy với nhau không?

 Tôi có thể bắt đầu với Big Data như thế nào? Có ví dụ nào dễ để thử chạy

trên máy tính không?

 Nếu bạn đã biết khái niệm về Hadoop rồi và muốn vào thẳng công việc với

các ví dụ mẫu, thì hãy làm như sau.

1. Hãy bắt đầu chạy một thể hiện Informix hoặc DB2 của bạn.

2. Tải về file ảnh cho máy ảo VMWare từ Trang web của Cloudera và

tăng thông số RAM máy ảo lên thành 1,5 GB.

3. Chuyển đến mục chứa các ví dụ mẫu.

4. Có một thể hiện MySQL đã được xây dựng sẵn trong máy ảo

VMWare này. Nếu bạn đang làm các bài thực hành mà không kết nối

mạng, hãy sử dụng các ví dụ MySQL này.

Ngoài ra, xin vui lòng xem tiếp...

Big Data là gì?

Big Data lớn về số lượng, được bắt giữ với tốc độ nhanh, có cấu trúc hoặc không

có cấu trúc, hoặc là bao gồm các yếu tố ở trên. Những yếu tố này làm cho Big Data

khó bắt giữ lại, khai phá và quản lý nếu dùng các phương thức truyền thống. Có rất

nhiều ý kiến về lĩnh vực này, đến nỗi có thể cần đến một cuộc tranh luận kéo dài

chỉ để định nghĩa thế nào là Big Data.

Sử dụng công nghệ Big Data không chỉ giới hạn về các khối lượng lớn. Bài này sử

dụng các ví dụ mẫu nhỏ để minh họa các khả năng của công nghệ này. Tính đến

năm 2012, các hệ thống được coi là lớn nằm trong phạm vi 100 Petabyte.

Dữ liệu lớn có thể vừa là dữ liệu có cấu trúc, vừa là dữ liệu không có cấu trúc. Các

cơ sở dữ liệu quan hệ truyền thống, như Informix và DB2, cung cấp các giải pháp

đã được kiểm chứng với dữ liệu có cấu trúc. Thông qua khả năng mở rộng, các cơ

sở dữ liệu này cũng quản lý cả dữ liệu không có cấu trúc. Công nghệ Hadoop mang

đến những kỹ thuật lập trình mới và dễ sử dụng hơn để làm việc với các kho dữ

liệu lớn có cả dữ liệu có cấu trúc lẫn dữ liệu không có cấu trúc.

Về đầu trang

Tại sao lại có những điều thú vị ấy?

Có nhiều yếu tố tạo nên sự cường điệu xoay quanh Big Data, bao gồm:.

 Mang tính toán và lưu trữ lại cùng với nhau trên phần cứng thông dụng: Cho

kết quả tốc độ nhanh với chi phí thấp.

 Tỷ số giá hiệu năng: Công nghệ Big Data của Hadoop đưa ra mức tiết kiệm

chi phí đáng kể (hãy nghĩ đến một hệ số nhân xấp xỉ 10) với những cải thiện

hiệu năng đáng kể (một lần nữa, hãy nghĩ đến một hệ số nhân là 10). Lời lãi

của bạn có thể thay đổi. Nếu công nghệ hiện tại có thể bị đánh bại nặng nề

như vậy, thì thật đáng để xem xét xem Hadoop có thể bổ sung hoặc thay thế

các khía cạnh của kiến trúc hiện tại của bạn không.

 Khả năng mở rộng quy mô tuyến tính: Tất cả các công nghệ song song đều

tuyên bố dễ mở rộng quy mô. Hadoop có khả năng mở rộng quy mô kể từ

khi phát hành bản mới nhất có khả năng mở rộng giới hạn số lượng các nút

vượt quá 4.000.

 Truy cập đầy đủ đến dữ liệu không có cấu trúc: Một kho dữ liệu có thể mở

rộng quy mô cao với một mô hình lập trình song song thích hợp,

MapReduce, đã là một thách thức cho ngành công nghiệp từ lâu nay. Mô

hình lập trình của Hadoop không giải quyết tất cả vấn đề, nhưng nó là một

giải pháp mạnh cho nhiều nhiệm vụ.

Các bản phân phối Hadoop: IBM và Cloudera

Đối với những người mới bắt đầu thì họ thường bối rối rằng "Tôi có thể tìm phần

mềm để làm việc với Big Data ở đâu?" Các ví dụ trong bài này đều dựa trên bản

phân phối Hadoop miễn phí của Cloudera được gọi là CDH (viết tắt của Cloudera

distribution including Hadoop). Bản phân phối này có sẵn dưới dạng một file ảnh

máy ảo VMWare từ trang web Cloudera. Gần đây IBM đang sửa đổi nền tảng Big

Data của mình để chạy trên CDH. Xem thông tin chi tiết trong phần Tài nguyên.

Thường thì thuật ngữ công nghệ đột phá bị lạm dụng rất nhiều, nhưng có thể nó rất

phù hợp trong trường hợp này.

Về đầu trang

Hadoop là gì?

Dưới đây là một vài định nghĩa về Hadoop, mỗi định nghĩa nhắm vào một nhóm

đối tượng khác nhau trong doanh nghiệp:

 Đối với các giám đốc điều hành: Hadoop là một dự án phần mềm nguồn mở

của Apache để thu được giá trị từ khối lượng/ tốc độ/ tính đa dạng đáng kinh

ngạc của dữ liệu về tổ chức của bạn. Hãy sử dụng dữ liệu thay vì vứt bỏ hầu

hết dữ liệu đó đi.

 Đối với các giám đốc kỹ thuật: Hadoop là một bộ phần mềm nguồn mở để

khai phá Big Data có cấu trúc và không có cấu trúc về công ty của bạn. Nó

tích hợp với hệ sinh thái Business Intelligence của bạn.

 Đối với nhân viên pháp lý: Hadoop là một bộ phần mềm nguồn mở được

nhiều nhà cung cấp đóng gói và hỗ trợ. Hãy xem phần Tài nguyên về việc

trả tiền sở hữu trí tuệ (IP).

 Đối với các kỹ sư: Hadoop là một môi trường song song thực thi map-reduce

dựa trên Java, không chia sẻ gì cả. Hãy nghĩ đến hàng trăm, hàng ngàn máy

tính đang làm việc để giải quyết cùng một vấn đề, có khả năng khôi phục lỗi

dựng sẵn. Các dự án trong hệ sinh thái Hadoop cung cấp khả năng load (tải)

dữ liệu, hỗ trợ ngôn ngữ cấp cao, triển khai trên đám mây tự động và các khả

năng khác.

 Đối với chuyên gia bảo mật: Hadoop là một bộ phần mềm bảo mật￾Kerberos.

Hadoop có những thành phần nào?

Dự án Hadoop của Apache có hai thành phần cốt lõi, kho lưu trữ tệp gọi là Hadoop

Distributed File System (HDFS – Hệ thống tệp phân tán Hadoop) và khung công

tác lập trình gọi là MapReduce. Có một số dự án hỗ trợ để sử dụng HDFS và

MapReduce. Bài này sẽ cung cấp một cái nhìn sơ lược, bạn hãy tìm đọc cuốn sách

của OReily "Hadoop The Definitive Guide", tái bản lần thứ 3, để biết thêm chi tiết.

Các định nghĩa dưới đây nhằm cung cấp cho bạn những thông tin cơ bản để sử

dụng các ví dụ mã tiếp theo. Bài này thực sự mong muốn giúp bạn bắt đầu bằng

trải nghiệm thực hành với công nghệ này. Đây là một bài hướng dẫn hơn là bài hỏi

đáp thảo luận.

 HDFS: Nếu bạn muốn có hơn 4000 máy tính làm việc với dữ liệu của bạn,

thì tốt hơn bạn nên phổ biến dữ liệu của bạn trên hơn 4000 máy tính đó.

HDFS thực hiện điều này cho bạn. HDFS có một vài bộ phận dịch chuyển.

Các Datanode (Nút dữ liệu) lưu trữ dữ liệu của bạn và Namenode (Nút tên)

theo dõi nơi lưu trữ các thứ. Ngoài ra còn có những thành phần khác nữa,

nhưng như thế đã đủ để bắt đầu.

 MapReduce: Đây là mô hình lập trình cho Hadoop. Có hai giai đoạn, không

ngạc nhiên khi được gọi là Map và Reduce. Để gây ấn tượng với các bạn bè

của bạn hãy nói với họ là có một quá trình shuffle-sort (ND.: một quá trình

mà hệ thống thực hiện sắp xếp và chuyển các kết quả đầu ra của map tới các

đầu vào của các bộ rút gọn) giữa hai giai đoạn Map và Reduce. JobTracker

(Trình theo dõi công việc) quản lý hơn 4000 thành phần công việc

MapReduce. Các TaskTracker (Trình theo dõi nhiệm vụ) nhận các lệnh từ

JobTracker. Nếu bạn thích Java thì viết mã bằng Java. Nếu bạn thích SQL

hoặc các ngôn ngữ khác không phải Java thì rất may là bạn có thể sử dụng

một tiện ích gọi là Hadoop Streaming (Luồng dữ liệu Hadoop).

 Hadoop Streaming: Một tiện ích để tạo nên mã MapReduce bằng bất kỳ

ngôn ngữ nào: C, Perl, Python, C++, Bash, v.v. Các ví dụ bao gồm một trình

mapper Python và một trình reducer AWK.

 Hive và Hue: Nếu bạn thích SQL, bạn sẽ rất vui khi biết rằng bạn có thể viết

SQL và yêu cầu Hive chuyển đổi nó thành một tác vụ MapReduce. Đúng là

bạn chưa có một môi trường ANSI-SQL đầy đủ, nhưng bạn có 4000 ghi

chép và khả năng mở rộng quy mô ra nhiều Petabyte. Hue cung cấp cho bạn

một giao diện đồ họa dựa trên trình duyệt để làm công việc Hive của bạn.

 Pig: Một môi trường lập trình mức cao hơn để viết mã MapReduce. Ngôn

ngữ Pig được gọi là Pig Latin. Bạn có thể thấy các quy ước đặt tên hơi khác

thường một chút, nhưng bạn sẽ có tỷ số giá-hiệu năng đáng kinh ngạc và

tính sẵn sàng cao.

 Sqoop: Cung cấp việc truyền dữ liệu hai chiều giữa Hadoop và cơ sở dữ liệu

quan hệ yêu thích của bạn.

 Oozie: Quản lý luồng công việc Hadoop. Oozie không thay thế trình lập lịch

biểu hay công cụ BPM của bạn, nhưng nó cung cấp cấu trúc phân nhánh if￾then-else và điều khiển trong phạm vi tác vụ Hadoop của bạn.

 HBase: Một kho lưu trữ key-value có thể mở rộng quy mô rất lớn. Nó hoạt

động rất giống như một hash-map để lưu trữ lâu bền (với những người hâm

mộ python, hãy nghĩ đến một từ điển). Nó không phải là một cơ sở dữ liệu

quan hệ, mặc dù có tên là HBase.

 FlumeNG: Trình nạp thời gian thực để tạo luồng dữ liệu của bạn vào

Hadoop. Nó lưu trữ dữ liệu trong HDFS và HBase. Bạn sẽ muốn bắt đầu với

FlumeNG, để cải thiện luồng ban đầu.

 Whirr: Cung cấp Đám mây cho Hadoop. Bạn có thể khởi động một hệ thống

chỉ trong vài phút với một tệp cấu hình rất ngắn.

 Mahout: Máy học dành cho Hadoop. Được sử dụng cho các phân tích dự báo

và phân tích nâng cao khác.

 Fuse: Làm cho hệ thống HDFS trông như một hệ thống tệp thông thường, do

đó bạn có thể sử dụng lệnh ls, cd, rm và những lệnh khác với dữ liệu HDFS.

 Zookeeper: Được sử dụng để quản lý đồng bộ cho hệ thống. Bạn sẽ không

phải làm việc nhiều với Zookeeper, nhưng nó sẽ làm việc rất nhiều cho bạn.

Nếu bạn nghĩ rằng bạn cần viết một chương trình có sử dụng Zookeeper thì

bạn hoặc là rất, rất thông minh và bạn có thể là một ủy viên cho một dự án

Apache hoặc bạn sắp có một ngày rất tồi tệ.

Hình 1 cho thấy các phần quan trọng của Hadoop.

Hình 1. Kiến trúc Hadoop

HDFS, tầng dưới cùng, nằm trên một cụm phần cứng thông thường. Các máy chủ

lắp vào tủ khung (rack-mounted) đơn giản, mỗi máy chủ có các CPU lõi 2-Hex, 6

đến 12 đĩa và 32 Gb ram. Đối với một công việc map-reduce, tầng trình ánh xạ đọc

từ các đĩa ở tốc độ rất cao. Trình ánh xạ phát ra các cặp khóa giá trị được sắp xếp

và được đưa tới trình rút gọn và tầng trình rút gọn tóm lược các cặp key-value.

Không, bạn không phải tóm lược các cặp key-value, trên thực tế bạn có thể có một

tác vụ map-reduce chỉ có có các trình ánh xạ. Điều này sẽ trở nên dễ hiểu hơn khi

bạn xem ví dụ python-awk.

Hadoop tích hợp với cơ sở hạ tầng Informix hoặc DB2 như thế nào?

Hadoop tích hợp rất tốt với cơ sở dữ liệu Informix và cơ sở dữ liệu DB2 thông qua

Sqoop. Sqoop là công cụ nguồn mở hàng đầu để di chuyển dữ liệu giữa Hadoop và

các cơ sở dữ liệu quan hệ. Nó sử dụng JDBC để đọc và viết vào Informix, DB2,

MySQL, Oracle và các nguồn khác. Có các bộ thích ứng được tối ưu hoá cho một

vài cơ sở dữ liệu, bao gồm Netezza và DB2. Hãy xem phần Tài nguyên về cách tải

về các bộ thích ứng này. Tất cả các ví dụ đều là đặc trưng của Sqoop.