Hadoop Quản trị Training Course

Đối tượng:

Khóa học này dành cho các chuyên gia IT đang tìm kiếm giải pháp lưu trữ và xử lý các tập dữ liệu lớn trong môi trường hệ thống phân tán.

Goal:

Kiến thức sâu rộng về quản trị cụm Hadoop.

Phân tích dữ liệu lớn bao gồm quá trình kiểm tra lượng lớn các tập dữ liệu đa dạng để khám phá các mối tương quan, các mẫu ẩn và các thông tin hữu ích khác.

Ngành y tế có lượng lớn dữ liệu y tế và lâm sàng phức tạp, không đồng nhất. Việc áp dụng phân tích dữ liệu lớn cho dữ liệu y tế mang lại tiềm năng to lớn trong việc đưa ra những hiểu biết sâu sắc để cải thiện việc cung cấp dịch vụ chăm sóc sức khỏe. Tuy nhiên, kích thước khổng lồ của các tập dữ liệu này gây ra những thách thức lớn trong việc phân tích và ứng dụng thực tế trong môi trường lâm sàng.

Trong khóa đào tạo trực tiếp, trực tuyến này (từ xa), người tham gia sẽ học cách thực hiện phân tích dữ liệu lớn trong lĩnh vực y tế thông qua một loạt các bài tập thực hành trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các công cụ phân tích dữ liệu lớn như Hadoop MapReduce và Spark
• Hiểu rõ các đặc điểm của dữ liệu y tế
• Áp dụng các kỹ thuật dữ liệu lớn để xử lý dữ liệu y tế
• Nghiên cứu các hệ thống và thuật toán dữ liệu lớn trong bối cảnh các ứng dụng y tế

Đối tượng

• Nhà phát triển
• Nhà khoa học dữ liệu

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu.

Lưu ý

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Apache Hadoop là framework phổ biến nhất để xử lý Big Data trên cụm máy chủ. Trong khóa học kéo dài ba (hoặc bốn) ngày này, người tham gia sẽ tìm hiểu về lợi ích kinh doanh và các trường hợp sử dụng của Hadoop và hệ sinh thái của nó, cách lập kế hoạch triển khai và mở rộng cụm, cách cài đặt, bảo trì, giám sát, khắc phục sự cố và tối ưu hóa Hadoop. Họ cũng sẽ thực hành tải dữ liệu hàng loạt vào cụm, làm quen với các bản phân phối Hadoop khác nhau và thực hành cài đặt và quản lý các công cụ trong hệ sinh thái Hadoop. Khóa học kết thúc bằng cuộc thảo luận về bảo mật cụm bằng Kerberos.

“…Tài liệu được chuẩn bị rất tốt và bao phủ đầy đủ. Phòng thực hành rất hữu ích và được tổ chức tốt.”
— Andrew Nguyen, Kỹ sư DW tích hợp chính, Microsoft Online Advertising

Đối tượng

Quản trị viên Hadoop

Định dạng

Bài giảng và thực hành, tỷ lệ cân bằng xấp xỉ 60% bài giảng, 40% thực hành.

Apache Hadoop là framework phổ biến nhất để xử lý Big Data trên cụm máy chủ. Khóa học này sẽ giới thiệu cho nhà phát triển các thành phần khác nhau (HDFS, MapReduce, Pig, Hive và HBase) trong hệ sinh thái Hadoop.

Apache Hadoop là một trong những framework phổ biến nhất để xử lý Big Data trên cụm máy chủ. Khóa học này đi sâu vào quản lý dữ liệu trong HDFS, Pig nâng cao, Hive và HBase. Các kỹ thuật lập trình nâng cao này sẽ có lợi cho các nhà phát triển Hadoop có kinh nghiệm.

Đối tượng: nhà phát triển

Thời lượng:ba ngày

Định dạng: bài giảng (50%) và thực hành (50%).

Đối tượng:

Khóa học này nhằm mục đích làm rõ công nghệ big data/Hadoop và chứng minh rằng nó không khó hiểu như nhiều người nghĩ.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống muốn tìm hiểu cách thiết lập, triển khai và quản lý các cụm Hadoop trong tổ chức của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Hadoop.
• Hiểu bốn thành phần chính trong hệ sinh thái Hadoop: HDFS, MapReduce, YARN và Hadoop Common.
• Sử dụng Hệ thống Tệp Phân tán Hadoop (HDFS) để mở rộng cụm lên hàng trăm hoặc hàng nghìn nút.
• Thiết lập HDFS để hoạt động như một công cụ lưu trữ cho các triển khai Spark tại chỗ.
• Thiết lập Spark để truy cập các giải pháp lưu trữ thay thế như Amazon S3 và các hệ thống cơ sở dữ liệu NoSQL như Redis, Elasticsearch, Couchbase, Aerospike, v.v.
• Thực hiện các tác vụ quản trị như cung cấp, quản lý, giám sát và bảo mật một cụm Apache Hadoop.

Khóa học này giới thiệu HBase – một NoSQL kho lưu trữ được xây dựng trên Hadoop. Khóa học dành cho các nhà phát triển sẽ sử dụng HBase để phát triển ứng dụng, và các quản trị viên sẽ quản lý các cụm HBase.

Chúng ta sẽ hướng dẫn một nhà phát triển qua kiến trúc HBase và mô hình hóa dữ liệu, cũng như phát triển ứng dụng trên HBase. Khóa học cũng sẽ thảo luận về việc sử dụng MapReduce với HBase và một số chủ đề quản trị liên quan đến tối ưu hóa hiệu suất. Khóa học này rất thực hành với nhiều bài tập thực hành.

Thời lượng: 3 ngày

Đối tượng: Nhà phát triển & Quản trị viên

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) giới thiệu Hortonworks Data Platform (HDP) và hướng dẫn người tham gia triển khai giải pháp Spark + Hadoop.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Hortonworks để chạy Hadoop một cách đáng tin cậy ở quy mô lớn.
• Thống nhất các khả năng bảo mật, quản trị và vận hành của Hadoop với các quy trình phân tích nhanh nhẹn của Spark.
• Sử dụng Hortonworks để điều tra, xác thực, chứng nhận và hỗ trợ từng thành phần trong một dự án Spark.
• Xử lý các loại dữ liệu khác nhau, bao gồm dữ liệu có cấu trúc, không có cấu trúc, đang chuyển động và tĩnh.

Khóa học này bao gồm cách sử dụng ngôn ngữ Hive SQL (còn được gọi là: Hive HQL, SQL trên Hive, HiveQL) dành cho những người trích xuất dữ liệu từ Hive.

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (tại chỗ hoặc từ xa), người tham gia sẽ học cách triển khai và quản lý Apache NiFi trong môi trường phòng thí nghiệm trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apachi NiFi.
• Thu thập, chuyển đổi và quản lý dữ liệu từ nhiều nguồn dữ liệu phân tán khác nhau, bao gồm cơ sở dữ liệu và các hồ dữ liệu lớn.
• Tự động hóa luồng dữ liệu.
• Kích hoạt phân tích luồng.
• Áp dụng các phương pháp khác nhau để đưa dữ liệu vào.
• Chuyển đổi Big Data thành thông tin chi tiết hữu ích cho doanh nghiệp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học các nguyên tắc cơ bản của lập trình dựa trên luồng khi phát triển một số tiện ích mở rộng, thành phần và bộ xử lý bằng Apache NiFi.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và khái niệm luồng dữ liệu của NiFi.
• Phát triển các tiện ích mở rộng bằng NiFi và API của bên thứ ba.
• Tự phát triển bộ xử lý Apache Nifi của riêng họ.
• Thu thập và xử lý dữ liệu thời gian thực từ các định dạng tệp và nguồn dữ liệu khác nhau và không phổ biến.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn sử dụng và tích hợp Spark, Hadoop và Python để xử lý, phân tích và chuyển đổi các tập dữ liệu lớn và phức tạp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường cần thiết để bắt đầu xử lý dữ liệu lớn với Spark, Hadoop và Python.
• Hiểu các tính năng, thành phần cốt lõi và kiến trúc của Spark và Hadoop.
• Tìm hiểu cách tích hợp Spark, Hadoop và Python để xử lý dữ liệu lớn.
• Khám phá các công cụ trong hệ sinh thái Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka và Flume).
• Xây dựng các hệ thống khuyến nghị lọc cộng tác tương tự như Netflix, YouTube, Amazon, Spotify và Google.
• Sử dụng Apache Mahout để mở rộng quy mô các thuật toán học máy.