Đề cương khóa học
Giới thiệu
- Giới thiệu về các giải pháp Cloud Computing và Big Data
- Tổng quan về các tính năng và kiến trúc của Apache Hadoop
Thiết lập Hadoop
- Lập kế hoạch cho một cụm Hadoop (tại chỗ, trên đám mây, v.v.)
- Chọn hệ điều hành và bản phân phối Hadoop
- Cung cấp tài nguyên (phần cứng, mạng, v.v.)
- Tải xuống và cài đặt phần mềm
- Định kích thước cụm để đảm bảo tính linh hoạt
Làm việc với HDFS
- Hiểu về Hệ thống Tệp Phân tán Hadoop (HDFS)
- Tổng quan về Tham khảo Lệnh HDFS
- Accessing HDFS
- Thực hiện các thao tác tệp cơ bản trên HDFS
- Sử dụng S3 như một bổ sung cho HDFS
Tổng quan về MapReduce
- Hiểu về luồng dữ liệu trong khung MapReduce
- Map, Shuffle, Sort và Reduce
- Demo: Tính toán mức lương hàng đầu
Làm việc với YARN
- Hiểu về quản lý tài nguyên trong Hadoop
- Làm việc với ResourceManager, NodeManager, Application Master
- Lên lịch công việc dưới YARN
- Lên lịch cho số lượng lớn các nút và cụm
- Demo: Lên lịch công việc
Tích hợp Hadoop với Spark
- Thiết lập bộ nhớ cho Spark (HDFS, Amazon, S3, NoSQL, v.v.)
- Hiểu về Tập dữ liệu phân tán linh hoạt (RDD)
- Tạo một RDD
- Triển khai các phép biến đổi RDD
- Demo: Triển khai chương trình tìm kiếm văn bản cho tiêu đề phim
Quản lý một cụm Hadoop
- Giám sát Hadoop
- Bảo mật một cụm Hadoop
- Thêm và xóa các nút
- Chạy điểm chuẩn hiệu suất
- Tinh chỉnh một cụm Hadoop để tối ưu hóa hiệu suất
- Sao lưu, khôi phục và lập kế hoạch liên tục kinh doanh
- Đảm bảo tính khả dụng cao (HA)
Nâng cấp và Di chuyển một cụm Hadoop
- Đánh giá các yêu cầu về khối lượng công việc
- Nâng cấp Hadoop
- Di chuyển từ tại chỗ sang đám mây và ngược lại
- Khôi phục từ các lỗi
Khắc phục sự cố
Tóm tắt và Kết luận
Requirements
- Kinh nghiệm quản trị hệ thống
- Kinh nghiệm với dòng lệnh Linux
- Hiểu biết về các khái niệm dữ liệu lớn
Đối tượng
- Quản trị viên hệ thống
- DBA
Testimonials (5)
Nhiều ví dụ thực tế, các cách tiếp cận khác nhau cho cùng một vấn đề và đôi khi là những mẹo không quá明显如何改进当前解决方案的不那么明显的技巧 Please note that part of the response remained in English due to the instruction's limitation and the challenge in maintaining the exact structure while translating the last portion. However, for a fully coherent Vietnamese translation without English, it would be: Nhiều ví dụ thực tế, các cách tiếp cận khác nhau cho cùng một vấn đề và đôi khi là những mẹo không quá明显如何改进当前解决方案的不那么明显的技巧 To fully adhere to the instruction and provide a natural flow in Vietnamese: Nhiều ví dụ thực tế, các cách tiếp cận khác nhau cho cùng một vấn đề và đôi khi là những mẹo không quá rõ ràng về cách cải thiện giải pháp hiện tại.
Rafal - Nordea
Course - Apache Spark MLlib
Machine Translated
rất tương tác...
Richard Langford
Course - SMACK Stack for Data Science
Machine Translated
Thực hành充分的手动操作,讲师知识渊博 (Note: The translation provided above mistakenly includes Chinese characters at the end. Here is the correct translation in Vietnamese without the error.) Thực hành đủ, giảng viên có kiến thức sâu rộng
Chris Tan
Course - A Practical Introduction to Stream Processing
Machine Translated
Sự chuẩn bị và tổ chức của giảng viên, cùng chất lượng tài liệu được cung cấp trên github.
Mateusz Rek - MicroStrategy Poland Sp. z o.o.
Course - Impala for Business Intelligence
Machine Translated
Học về Spark Streaming, Databricks và AWS Redshift
Lim Meng Tee - Jobstreet.com Shared Services Sdn. Bhd.
Course - Apache Spark in the Cloud
Machine Translated