Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
- Giới thiệu
- Hadoop lịch sử, khái niệm
- Hệ sinh thái
- Phân phối
- Cấu trúc tổng thể
- Hadoop những điều sai lầm phổ biến
- Hadoop thách thức (hàm phần cứng / phần mềm)
- Lab: thảo luận về các Big Data dự án và vấn đề của bạn
- Lập kế hoạch và cài đặt
- Chọn phần mềm, Hadoop phân phối
- Xác định kích thước cụm, lập kế hoạch cho sự phát triển
- Chọn thiết bị và mạng
- Cấu trúc kệ rack
- Cài đặt
- Đa thuê bao
- Cấu trúc thư mục, nhật ký
- Đánh giá hiệu suất
- Lab: cài đặt cụm, chạy đánh giá hiệu suất
- Hoạt động HDFS
- Khái niệm (tăng quy mô ngang, sao lưu, tính cục bộ dữ liệu, nhận thức về rack)
- Node và quỷ (NameNode, Secondary NameNode, HA Standby NameNode, DataNode)
- Giám sát sức khỏe
- Quản lý bằng dòng lệnh và trình duyệt
- Thêm lưu trữ, thay thế ổ hỏng
- Lab: làm quen với dòng lệnh HDFS
- Nhập dữ liệu
- Flume để nhập nhật ký và các loại dữ liệu khác vào HDFS
- Sqoop để nhập từ SQL cơ sở dữ liệu đến HDFS, cũng như xuất ngược lại
- Hadoop kho dữ liệu với Hive
- Sao chép dữ liệu giữa các cụm (distcp)
- Sử dụng S3 làm bổ sung cho HDFS
- Nguyên tắc và kiến trúc tốt nhất trong việc nhập dữ liệu
- Lab: cài đặt và sử dụng Flume, cùng với Sqoop
- Hoạt động và quản lý MapReduce
- Tính toán song song trước mapreduce: so sánh HPC vs Hadoop quản lý
- Nагрузки cụm MapReduce
- Node và quỷ (JobTracker, TaskTracker)
- Hướng dẫn sử dụng giao diện người dùng MapReduce
- Cấu hình MapReduce
- Cấu hình công việc
- Tối ưu hóa MapReduce
- Bảo vệ MR: những gì bạn nên nói với lập trình viên của mình
- Lab: chạy các ví dụ MapReduce
- YARN: kiến trúc và khả năng mới
- Mục tiêu thiết kế và kiến trúc triển khai của YARN
- Nhân vật mới: ResourceManager, NodeManager, Application Master
- Cài đặt YARN
- Đặt lịch công việc dưới YARN
- Lab: điều tra việc định lịch công việc
- Các chủ đề nâng cao
- Giám sát thiết bị phần cứng
- Giám sát cụm
- Thêm và loại bỏ máy chủ, cập nhật Hadoop
- Sao lưu, khôi phục và kế hoạch liên tục kinh doanh
- Công việc luồng Oozie
- Hadoop sẵn sàng cao (HA)
- Hadoop Liên kết
- Bảo mật cụm với Kerberos
- Lab: thiết lập giám sát
- Đường chạy tùy chọn
- Cloudera Manager cho quản lý, giám sát và các tác vụ hàng ngày của cụm; cài đặt, sử dụng. Trong đường chạy này, tất cả bài tập và lab đều được thực hiện trong môi trường phân phối Cloudera (CDH5)
- Ambari cho quản lý, giám sát và các tác vụ hàng ngày của cụm; cài đặt, sử dụng. Trong đường chạy này, tất cả bài tập và lab đều được thực hiện trong trình quản lý cụm Ambari và Hortonworks Data Platform (HDP 2.0)
Yêu cầu
- thông thạo quản trị hệ thống cơ bản Linux
- kỹ năng viết kịch bản cơ bản
Kiến thức về Hadoop và Tính toán Phân tán không bắt buộc, nhưng sẽ được giới thiệu và giải thích trong khóa học.
Môi trường Lab
Không cần cài đặt: Không cần phải cài đặt phần mềm Hadoop trên máy của sinh viên! Một cụm Hadoop hoạt động sẽ được cung cấp cho sinh viên.
Sinh viên sẽ cần:
- một trình khách SSH (Linux và Mac đã có trình SSH, khuyến nghị dùng Putty cho Windows)
- một trình duyệt để truy cập cụm. Chúng tôi khuyên dùng trình duyệt Firefox với tiện ích mở rộng FoxyProxy được cài đặt
21 Giờ
Đánh giá (5)
Các ví dụ trực tiếp
Ahmet Bolat - Accenture Industrial SS
Khóa học - Python, Spark, and Hadoop for Big Data
Dịch thuật bằng máy
Trong quá trình thực hành, James đã giải thích cho tôi từng bước một khi tôi gặp khó khăn, với độ chi tiết hơn. Tôi hoàn toàn mới với NIFI. Ông đã giải thích mục đích thật sự của NIFI, thậm chí cả những kiến thức cơ bản như mã nguồn mở. Ông đã bao quát mọi khái niệm về Nifi từ mức độ Người Mới Bắt Đầu đến mức độ Nhà Phát Triển.
Firdous Hashim Ali - MOD A BLOCK
Khóa học - Apache NiFi for Administrators
Dịch thuật bằng máy
Rằng tôi đã có nó từ đầu.
Peter Scales - CACI Ltd
Khóa học - Apache NiFi for Developers
Dịch thuật bằng máy
những điều thực tế cần làm, đồng thời lý thuyết cũng được Ajay trình bày tốt
Dominik Mazur - Capgemini Polska Sp. z o.o.
Khóa học - Hadoop Administration on MapR
Dịch thuật bằng máy
Tôi rất thích máy ảo (VM) Giáo viên có kiến thức rất sâu rộng về chủ đề cũng như các chủ đề khác, ông ấy rất thân thiện và dễ gần Tôi thích cơ sở vật chất ở Dubai.
Safar Alqahtani - Elm Information Security
Khóa học - Big Data Analytics in Health
Dịch thuật bằng máy
