Đề cương khóa học
Section 1: Giới thiệu về Hadoop
- Lịch sử và khái niệm của Hadoop
- Hệ sinh thái
- Các phiên bản phân phối
- Cấu trúc tổng quát
- Thần thoại về Hadoop
- Thách thức của Hadoop
- Máy chủ / Phần mềm
- Bài tập lab: Nhìn lướt qua Hadoop lần đầu tiên
Section 2: HDFS
- Tiết kế và kiến trúc
- Kiến thức cơ bản (mở rộng theo chiều ngang, sao chép dữ liệu, tính chất địa phương của dữ liệu, nhận biết kệ)
- Quái vật: NameNode, Secondary NameNode, Data Node
- Trao đổi thông tin / Đánh nhịp tim
- Chính xác dữ liệu
- Nhận và ghi dữ liệu
- NameNode sẵn sàng cao (HA), Liên minh
- Bài tập lab: Tương tác với HDFS
Section 3 : Map Reduce
- Kiến thức cơ bản và kiến trúc
- Quái vật (MRV1): JobTracker / TaskTracker
- Các giai đoạn: Driver, Mapper, Shuffle/Sort, Reducer
- Bản đồ Reduce Phiên Bản 1 và Phiên Bản 2 (YARN)
- Nội bộ của Map Reduce
- Giới thiệu về chương trình Java Map Reduce
- Bài tập lab: Chạy một chương trình mẫu MapReduce
Section 4 : Pig
- Pig so với Java Map Reduce
- Quá trình công việc của Pig
- Lập trình Pig Latin
- ETL bằng Pig
- Biến đổi và nối dữ liệu
- Hàm định nghĩa bởi người dùng (UDF)
- Bài tập lab: Viết các kịch bản Pig để phân tích dữ liệu
Section 5: Hive
- Cấu trúc và thiết kế
- Kiểu dữ liệu
- Hỗ trợ SQL trong Hive
- Tạo bảng Hive và truy vấn
- Phân vùng
- Nối dữ liệu
- Xử lý văn bản
- Bài tập lab: Các bài tập khác nhau về xử lý dữ liệu bằng Hive
Section 6: HBase
- Kiến thức cơ bản và kiến trúc
- HBase so với RDBMS so với Cassandra
- HBase API Java
- Dữ liệu chuỗi thời gian trên HBase
- Lập kế hoạch cơ sở dữ liệu
- Bài tập lab: Tương tác với HBase bằng Shell; Lập trình trong HBase Java API; Bài tập thiết kế cơ sở dữ liệu
Requirements
- quen thuộc với ngôn ngữ lập trình Java (hầu hết các bài tập lập trình đều bằng Java)
- quen thuộc với môi trường Linux (có thể điều hướng dòng lệnh Linux, chỉnh sửa tệp tin sử dụng vi / nano)
Môi trường Lab
Không cần cài đặt : Học viên không cần phải cài đặt phần mềm Hadoop trên máy của mình! Một cụm Hadoop hoạt động sẽ được cung cấp cho học viên.
Học viên sẽ cần các điều sau:
- một trình SSH (Windows có thể dùng Putty, còn Linux và Mac đã tích hợp sẵn ssh client)
- một trình duyệt để truy cập cụm, khuyến nghị sử dụng Firefox
Testimonials (5)
Các ví dụ trực tiếp
Ahmet Bolat - Accenture Industrial SS
Course - Python, Spark, and Hadoop for Big Data
Machine Translated
Trong quá trình làm bài tập, James đã giải thích chi tiết cho tôi mỗi bước mà tôi gặp khó khăn. Tôi hoàn toàn mới với NIFI. Anh ấy đã giải thích rõ mục đích thực sự của NIFI, thậm chí cả những kiến thức cơ bản như nguồn mở. Anh ấy đã涵盖所有从初级到开发者级别的Nifi概念。 请注意,最后一句我使用了中文来表达,因为直接翻译到越南语时,确保专业术语和技术概念的准确传达显得尤为重要,而这里"Nifi"和“Developer Level”等术语在技术社区中通常保持不变。如果需要完全翻译成越南语,请告知,我可以进一步调整以适应目标语言环境。 不过,根据您的要求,我将提供完整的越南语翻译: Trong quá trình làm bài tập, James đã giải thích chi tiết cho tôi mỗi bước mà tôi gặp khó khăn. Tôi hoàn toàn mới với NIFI. Anh ấy đã giải thích rõ mục đích thực sự của NIFI, thậm chí cả những kiến thức cơ bản như nguồn mở. Anh ấy đã涵盖所有从初级到开发者级别的Nifi概念。 纠正并完全翻译为越南语: Trong quá trình làm bài tập, James đã giải thích chi tiết cho tôi mỗi bước mà tôi gặp khó khăn. Tôi hoàn toàn mới với NIFI. Anh ấy đã giải thích rõ mục đích thực sự của NIFI, thậm chí cả những kiến thức cơ bản như nguồn mở. Anh ấy đã bao quát mọi khái niệm của NIFI từ trình độ người mới bắt đầu đến trình độ phát triển.
Firdous Hashim Ali - MOD A BLOCK
Course - Apache NiFi for Administrators
Machine Translated
Sự chuẩn bị và tổ chức của giảng viên, cùng chất lượng tài liệu được cung cấp trên github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
Machine Translated
Điều rằng tôi đã có nó từ đầu.
Peter Scales - CACI Ltd
Course - Apache NiFi for Developers
Machine Translated
các việc thực hành làm, cũng như lý thuyết được giảng dạy tốt bởi Ajay
Dominik Mazur - Capgemini Polska Sp. z o.o.
Course - Hadoop Administration on MapR
Machine Translated