Spark for Developers Training Course

Khóa học này dành cho các nhà phát triển và nhà khoa học dữ liệu mong muốn hiểu và triển khai trí tuệ nhân tạo trong ứng dụng của họ. Tập trung đặc biệt vào phân tích dữ liệu, trí tuệ nhân tạo phân tán và xử lý ngôn ngữ tự nhiên.

Phân tích dữ liệu lớn bao gồm quá trình kiểm tra lượng lớn các tập dữ liệu đa dạng để khám phá các mối tương quan, các mẫu ẩn và các thông tin hữu ích khác.

Ngành y tế có lượng lớn dữ liệu y tế và lâm sàng phức tạp, không đồng nhất. Việc áp dụng phân tích dữ liệu lớn cho dữ liệu y tế mang lại tiềm năng to lớn trong việc đưa ra những hiểu biết sâu sắc để cải thiện việc cung cấp dịch vụ chăm sóc sức khỏe. Tuy nhiên, kích thước khổng lồ của các tập dữ liệu này gây ra những thách thức lớn trong việc phân tích và ứng dụng thực tế trong môi trường lâm sàng.

Trong khóa đào tạo trực tiếp, trực tuyến này (từ xa), người tham gia sẽ học cách thực hiện phân tích dữ liệu lớn trong lĩnh vực y tế thông qua một loạt các bài tập thực hành trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các công cụ phân tích dữ liệu lớn như Hadoop MapReduce và Spark
• Hiểu rõ các đặc điểm của dữ liệu y tế
• Áp dụng các kỹ thuật dữ liệu lớn để xử lý dữ liệu y tế
• Nghiên cứu các hệ thống và thuật toán dữ liệu lớn trong bối cảnh các ứng dụng y tế

Đối tượng

• Nhà phát triển
• Nhà khoa học dữ liệu

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu.

Lưu ý

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ tìm hiểu về các công nghệ và phương pháp triển khai để xử lý dữ liệu đồ thị. Mục tiêu là xác định các đối tượng trong thế giới thực, đặc điểm và mối quan hệ của chúng, sau đó mô hình hóa các mối quan hệ này và xử lý chúng như dữ liệu bằng cách tiếp cận Graph Computing (còn được gọi là Phân tích Đồ thị). Chúng ta bắt đầu với một cái nhìn tổng quan rộng rãi và thu hẹp phạm vi vào các công cụ cụ thể khi chúng ta thực hiện một loạt các nghiên cứu điển hình, bài tập thực hành và triển khai trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu cách dữ liệu đồ thị được lưu trữ và duyệt.
• Chọn khung làm việc tốt nhất cho một nhiệm vụ cụ thể (từ cơ sở dữ liệu đồ thị đến các khung xử lý hàng loạt).
• Triển khai Hadoop, Spark, GraphX và Pregel để thực hiện tính toán đồ thị trên nhiều máy song song.
• Xem các vấn đề dữ liệu lớn trong thế giới thực dưới dạng đồ thị, quy trình và duyệt.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống muốn tìm hiểu cách thiết lập, triển khai và quản lý các cụm Hadoop trong tổ chức của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Hadoop.
• Hiểu bốn thành phần chính trong hệ sinh thái Hadoop: HDFS, MapReduce, YARN và Hadoop Common.
• Sử dụng Hệ thống Tệp Phân tán Hadoop (HDFS) để mở rộng cụm lên hàng trăm hoặc hàng nghìn nút.
• Thiết lập HDFS để hoạt động như một công cụ lưu trữ cho các triển khai Spark tại chỗ.
• Thiết lập Spark để truy cập các giải pháp lưu trữ thay thế như Amazon S3 và các hệ thống cơ sở dữ liệu NoSQL như Redis, Elasticsearch, Couchbase, Aerospike, v.v.
• Thực hiện các tác vụ quản trị như cung cấp, quản lý, giám sát và bảo mật một cụm Apache Hadoop.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) giới thiệu Hortonworks Data Platform (HDP) và hướng dẫn người tham gia triển khai giải pháp Spark + Hadoop.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Hortonworks để chạy Hadoop một cách đáng tin cậy ở quy mô lớn.
• Thống nhất các khả năng bảo mật, quản trị và vận hành của Hadoop với các quy trình phân tích nhanh nhẹn của Spark.
• Sử dụng Hortonworks để điều tra, xác thực, chứng nhận và hỗ trợ từng thành phần trong một dự án Spark.
• Xử lý các loại dữ liệu khác nhau, bao gồm dữ liệu có cấu trúc, không có cấu trúc, đang chuyển động và tĩnh.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (tại chỗ hoặc từ xa), người tham gia sẽ học cách thiết lập và tích hợp các Stream Processing framework khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan cũng như các microservice.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các Stream Processing framework khác nhau, chẳng hạn như Spark Streaming và Kafka Streaming.
• Hiểu và lựa chọn framework phù hợp nhất cho công việc.
• Xử lý dữ liệu liên tục, đồng thời và theo từng bản ghi.
• Tích hợp các giải pháp Stream Processing với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
• Tích hợp thư viện xử lý luồng phù hợp nhất với các ứng dụng doanh nghiệp và microservice.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu muốn sử dụng bộ công cụ S MAC K để xây dựng các nền tảng xử lý dữ liệu cho các giải pháp dữ liệu lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Triển khai kiến trúc đường dẫn dữ liệu để xử lý dữ liệu lớn.
• Phát triển cơ sở hạ tầng cụm với Apache Mesos và Docker.
• Phân tích dữ liệu với Spark và Scala.
• Quản lý dữ liệu phi cấu trúc với Apache Cassandra.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các kỹ sư muốn thiết lập và triển khai hệ thống Apache Spark để xử lý lượng dữ liệu rất lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Spark.
• Xử lý và phân tích nhanh chóng các tập dữ liệu rất lớn.
• Hiểu sự khác biệt giữa Apache Spark và Hadoop MapReduce và khi nào nên sử dụng cái nào.
• Tích hợp Apache Spark với các công cụ học máy khác.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống ở trình độ mới bắt đầu đến trung cấp, những người muốn triển khai, duy trì và tối ưu hóa các cụm Spark.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Spark trong nhiều môi trường.
• Quản lý tài nguyên cụm và giám sát các ứng dụng Spark.
• Tối ưu hóa hiệu suất của các cụm Spark.
• Triển khai các biện pháp bảo mật và đảm bảo tính khả dụng cao.
• Gỡ lỗi và khắc phục các sự cố phổ biến của Spark.

Đường cong học tập của Apache Spark tăng chậm ở giai đoạn đầu, đòi hỏi rất nhiều nỗ lực để đạt được kết quả đầu tiên. Khóa học này hướng đến việc vượt qua phần khó khăn ban đầu đó. Sau khi hoàn thành khóa học này, người tham gia sẽ hiểu các kiến thức cơ bản về Apache Spark, phân biệt rõ ràng RDD và DataFrame, học API Python và Scala, hiểu về executors và tasks, v.v. Đồng thời, tuân thủ các phương pháp thực hành tốt nhất, khóa học tập trung mạnh vào triển khai trên nền tảng đám mây, Databricks và AWS. Người học cũng sẽ hiểu sự khác biệt giữa AWS EMR và AWS Glue, một trong những dịch vụ Spark mới nhất của AWS.

ĐỐI TƯỢNG:

Kỹ sư Dữ liệu, DevOps, Nhà khoa học Dữ liệu

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu và nhà phát triển muốn sử dụng Spark NLP, được xây dựng trên nền tảng Apache Spark, để phát triển, triển khai và mở rộng quy mô các mô hình và quy trình xử lý văn bản ngôn ngữ tự nhiên.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường phát triển cần thiết để bắt đầu xây dựng các quy trình NLP với Spark NLP.
• Hiểu các tính năng, kiến trúc và lợi ích của việc sử dụng Spark NLP.
• Sử dụng các mô hình được huấn luyện sẵn có trong Spark NLP để triển khai xử lý văn bản.
• Tìm hiểu cách xây dựng, huấn luyện và mở rộng quy mô các mô hình Spark NLP cho các dự án cấp sản xuất.
• Áp dụng phân loại, suy luận và phân tích tình cảm vào các trường hợp sử dụng thực tế (dữ liệu lâm sàng, thông tin chi tiết về hành vi của khách hàng, v.v.).

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng Python và Spark cùng nhau để phân tích dữ liệu lớn thông qua các bài tập thực hành.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Học cách sử dụng Spark với Python để phân tích Big Data.
• Thực hành các bài tập mô phỏng các trường hợp thực tế.
• Sử dụng các công cụ và kỹ thuật khác nhau để phân tích dữ liệu lớn bằng PySpark.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn sử dụng và tích hợp Spark, Hadoop và Python để xử lý, phân tích và chuyển đổi các tập dữ liệu lớn và phức tạp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường cần thiết để bắt đầu xử lý dữ liệu lớn với Spark, Hadoop và Python.
• Hiểu các tính năng, thành phần cốt lõi và kiến trúc của Spark và Hadoop.
• Tìm hiểu cách tích hợp Spark, Hadoop và Python để xử lý dữ liệu lớn.
• Khám phá các công cụ trong hệ sinh thái Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka và Flume).
• Xây dựng các hệ thống khuyến nghị lọc cộng tác tương tự như Netflix, YouTube, Amazon, Spotify và Google.
• Sử dụng Apache Mahout để mở rộng quy mô các thuật toán học máy.

Spark SQL là mô-đun của Apache Spark để làm việc với dữ liệu có cấu trúc và không có cấu trúc. Spark SQL cung cấp thông tin về cấu trúc của dữ liệu cũng như các phép tính đang được thực hiện. Thông tin này có thể được sử dụng để thực hiện các tối ưu hóa. Hai ứng dụng phổ biến của Spark SQL là:

- Thực thi các truy vấn SQL.

- Đọc dữ liệu từ một cài đặt Hive hiện có.

Trong khóa đào tạo trực tiếp, tương tác này (tại chỗ hoặc từ xa), người tham gia sẽ học cách phân tích các loại tập dữ liệu khác nhau bằng Spark SQL.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Spark SQL.
• Thực hiện phân tích dữ liệu bằng Spark SQL.
• Truy vấn các tập dữ liệu ở các định dạng khác nhau.
• Trực quan hóa dữ liệu và kết quả truy vấn.

Định dạng khóa học

• Bài giảng và thảo luận tương tác.
• Nhiều bài tập và thực hành.
• Thực hiện trực tiếp trong môi trường lab trực tiếp.

Tùy chọn tùy chỉnh khóa học

• Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

MLlib là thư viện học máy (ML) của Spark. Mục tiêu của nó là làm cho việc học máy thực tế có thể mở rộng và dễ dàng. Nó bao gồm các thuật toán và tiện ích học tập phổ biến, bao gồm phân loại, hồi quy, phân cụm, lọc cộng tác, giảm chiều, cũng như các nguyên thủy tối ưu hóa cấp thấp và API pipeline cấp cao.

Nó được chia thành hai gói:

• spark.mllib chứa API ban đầu được xây dựng trên RDD.

• spark.ml cung cấp API cấp cao được xây dựng trên DataFrames để xây dựng pipeline ML.

Đối tượng

Khóa học này dành cho các kỹ sư và nhà phát triển muốn sử dụng Thư viện Máy học tích hợp cho Apache Spark