Big Data Đào tạo tại Việt Nam

khóa học trực tuyến hoặc tại chỗ này do giảng viên hướng dẫn (ở Việt Nam) được thiết kế cho các nhà khoa học dữ liệu và kỹ sư cấp trung muốn sử dụng Google Colab và Apache Spark để xử lý và phân tích dữ liệu lớn.

Đến cuối khóa học, người tham gia sẽ có thể:

• Cài đặt môi trường dữ liệu lớn bằng cách sử dụng Google Colab và Spark.
• Xử lý và phân tích các tập dữ liệu lớn một cách hiệu quả với Apache Spark.
• Biểu đồ hóa dữ liệu lớn trong môi trường hợp tác.
• Tích hợp Apache Spark với công cụ dựa trên đám mây.

Stratio là một nền tảng tập trung vào dữ liệu, tích hợp big data, AI và quản lý thành một giải pháp duy nhất. Các mô-đun Rocket và Trí Tuệ của nó cho phép khám phá dữ liệu nhanh chóng, chuyển đổi và phân tích nâng cao trong môi trường doanh nghiệp.

Khóa đào tạo trực tiếp này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia dữ liệu trung cấp muốn sử dụng hiệu quả các mô-đun Rocket và Trí Tuệ trong Stratio với PySpark, tập trung vào cấu trúc lặp, hàm do người dùng định nghĩa và logic dữ liệu nâng cao.

Sau khóa đào tạo này, học viên sẽ có thể:

• Điều hướng và làm việc trong nền tảng Stratio bằng cách sử dụng các mô-đun Rocket và Trí Tuệ.
• Áp dụng PySpark trong bối cảnh nhập liệu, chuyển đổi và phân tích dữ liệu.
• Sử dụng các cấu trúc lặp và logic điều kiện để kiểm soát quy trình xử lý dữ liệu và tác vụ kỹ thuật đặc trưng.
• Tạo và quản lý hàm do người dùng định nghĩa (UDFs) cho các thao tác dữ liệu có thể tái sử dụng trong PySpark.

Định dạng Khóa Học

• Bài giảng tương tác và thảo luận.
• Nhiều bài tập và thực hành.
• Thực hiện trong môi trường lab trực tiếp.

Tùy chỉnh Khóa Học

• Để yêu cầu khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Kho dữ liệu là thực hành thiết kế, xây dựng và vận hành các kho dữ liệu tập trung hỗ trợ phân tích, báo cáo và ra quyết định.

Khóa học này do giảng viên hướng dẫn trực tiếp (trực tuyến hoặc tại địa điểm) nhằm vào các chuyên gia dữ liệu ở mức trung cấp mong muốn mô hình hóa dữ liệu theo chiều, xây dựng các ống dẫn ETL mạnh mẽ và tối ưu hóa công việc phân tích.

Sau khóa học này, người tham dự sẽ có thể:

• Giải thích các khái niệm và kiến trúc cơ bản của kho dữ liệu.
• Thiết kế các mô hình chiều và chọn giữa lược đồ sao và lược đồ tuyết.
• Xây dựng và quản lý ống dẫn ETL và ELT một cách đáng tin cậy.
• Phân biệt giữa OLTP và OLAP, tối ưu hóa cho phân tích.

Định dạng của Khóa Học

• Bài giảng và thảo luận tương tác.
• Nhiều bài tập và thực hành.
• Thực hiện trực tiếp trong môi trường lab sống động.

Tùy Chỉnh Khóa Học

• Để yêu cầu khóa học tùy chỉnh, vui lòng liên hệ với chúng tôi để sắp xếp.

Những người tham gia hoàn thành khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam sẽ có được sự hiểu biết thực tế, ứng dụng được về Big Data và các công nghệ, phương pháp và công cụ liên quan.

Người tham gia sẽ có cơ hội áp dụng kiến thức này vào thực tế thông qua các bài tập thực hành. Tương tác nhóm và phản hồi từ giảng viên là một phần quan trọng của khóa học.

Khóa học bắt đầu với phần giới thiệu về các khái niệm cơ bản của Big Data, sau đó đi sâu vào các ngôn ngữ lập trình và phương pháp được sử dụng để thực hiện Data Analysis. Cuối cùng, chúng ta sẽ thảo luận về các công cụ và cơ sở hạ tầng cho phép lưu trữ Big Data, Xử lý phân tán và Scalability.

Greenplum là một nền tảng xử lý song song hàng loạt (MPP) mã nguồn mở được thiết kế cho phân tích và môi trường dữ liệu lớn.

Khóa học dẫn dẫn trực tiếp này (trực tuyến hoặc tại chỗ) được hướng đến các người dùng kỹ thuật có trình độ trung cấp đến cao cấp muốn hiểu về kiến trúc nội bộ của Greenplum, xây dựng các mô hình dữ liệu tối ưu hóa, và áp dụng SQL cao hiệu suất trong môi trường phân tán.

Đến cuối khóa học, các tham gia sẽ có thể:

• Hiểu về kiến trúc shared-nothing và mô hình song song của Greenplum.
• Thiết kế các cấu trúc bảng phân tán và phân vùng tối ưu hóa cho hiệu suất truy vấn.
• Sử dụng các chiến lược chỉ mục, định dạng lưu trữ, và kỹ thuật thiết kế vật lý.
• Giải thích các kế hoạch EXPLAIN và tối ưu hóa truy vấn theo các best practices.

Định dạng của khóa học

• Giảng dạy tương tác và thảo luận.
• Nhiều bài tập và thực hành.
• Thực hiện thủ thuật trong môi trường thực tế.

Tùy chọn tùy chỉnh khóa học

• Để yêu cầu khóa học tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Greenplum là một nền tảng dữ liệu song song lớn dựa trên PostgreSQL, mở nguồn, được thiết kế cho phân tích tiên tiến và lưu trữ dữ liệu quy mô lớn.

Khóa học này do giảng viên hướng dẫn trực tiếp (trực tuyến hoặc tại địa điểm) được hướng đến cho quản trị viên có trình độ trung cấp muốn cài đặt, cấu hình và quản lý môi trường Greenplum hiệu quả, bao gồm quản lý các bản cập nhật hệ thống và thư viện.

Đến khi kết thúc khóa học, các tham gia sẽ có thể:

• Cài đặt và cấu hình một cụm Greenplum sẵn sàng sản xuất.
• Quản lý các bản cập nhật hệ thống và áp dụng các bản vá lỗi một cách an toàn.
• Quản lý các thư viện Greenplum cho phân tích và mở rộng.
• Xử lý và giám sát các hệ thống Greenplum.

Định dạng của khóa học

• Phần bài giảng và thảo luận tương tác.
• Sử dụng trực tiếp Greenplum trong môi trường phòng thí nghiệm kiểm soát.
• Các bài tập được hướng dẫn tập trung vào việc thiết lập cụm, quy trình nâng cấp và mở rộng hệ thống.

Tùy chọn tùy chỉnh khóa học

• Để yêu cầu một khóa học được tùy chỉnh cho khóa học này dựa trên môi trường hoặc nền tảng dữ liệu của bạn, vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa học này được dẫn dắt trực tiếp (online hoặc trực tiếp) được thiết kế cho các chuyên gia dữ liệu cấp cao muốn tối ưu hóa luồng xử lý dữ liệu, đảm bảo tính toàn vẹn của dữ liệu, và triển khai các giải pháp data lakehouse mạnh mẽ có thể xử lý các phức tạp của các ứng dụng big data hiện đại.

Đến cuối khóa học, các thí sinh sẽ có thể:

• Hiểu sâu về kiến trúc của Iceberg, bao gồm quản lý metadata và bố cục tập tin.
• Cấu hình Iceberg để đạt hiệu suất tối ưu trong các môi trường khác nhau và tích hợp nó với nhiều engine xử lý dữ liệu.
• Quản lý các bảng Iceberg lớn, thực hiện các thay đổi schema phức tạp và xử lý tiến hóa phân vùng.
• Thao tác kỹ thuật để tối ưu hóa hiệu suất truy vấn và hiệu suất quét dữ liệu cho các bộ dữ liệu lớn.
• Triển khai các cơ chế để đảm bảo tính nhất quán của dữ liệu, quản lý các bảo đảm giao dịch và xử lý sự cố trong môi trường phân tán.

Khóa học trực tiếp do giáo viên hướng dẫn (trực tuyến hoặc tại chỗ) này dành cho các chuyên gia dữ liệu cấp độ cơ bản muốn thu được kiến thức và kỹ năng cần thiết để có thể sử dụng Apache Iceberg để quản lý các bộ dữ liệu lớn, đảm bảo tính toàn vẹn dữ liệu, và tối ưu hóa quy trình xử lý dữ liệu.

Đến cuối khóa học, các thí sinh sẽ có thể:

• Hiểu rõ về kiến trúc, tính năng và lợi ích của Apache Iceberg.
• Học về các định dạng bảng, phân vùng, tiến hóa sơ đồ và khả năng du lịch thời gian.
• Cài đặt và cấu hình Apache Iceberg trong các môi trường khác nhau.
• Tạo, quản lý và thao tác với các bảng Iceberg.
• Hiểu quá trình di chuyển dữ liệu từ các định dạng bảng khác sang Iceberg.

Khóa học được hướng dẫn trực tiếp (trực tuyến hoặc tại cơ sở) dành cho các chuyên gia IT cấp trung muốn nâng cao kỹ năng về kiến trúc dữ liệu, quản lý dữ liệu, cloud computing và các công nghệ big data để quản lý và phân tích hiệu quả các bộ dữ liệu lớn trong việc di chuyển dữ liệu trong tổ chức của họ.

Đến hết khóa học, các tham gia sẽ có thể:

• Hiểu các khái niệm cơ bản và thành phần của các kiến trúc dữ liệu khác nhau.
• Nắm vững các nguyên tắc quản lý dữ liệu và tầm quan trọng của chúng trong các môi trường quy định.
• Triển khai và quản lý các khung quản lý dữ liệu như Dama và Togaf.
• Tận dụng các nền tảng cloud để lưu trữ, xử lý và quản lý dữ liệu hiệu quả.

Khóa học do giáo viên hướng dẫn này, được tổ chức trực tuyến hoặc tại địa điểm (online or onsite) dành cho các kỹ sư dữ liệu ở trình độ trung cấp muốn tìm hiểu cách sử dụng Azure Data Lake Storage Gen2 để tạo ra các giải pháp phân tích dữ liệu hiệu quả.

Cuối khóa học, người tham gia sẽ có thể:

• Hiểu kiến trúc và các tính năng chính của Azure Data Lake Storage Gen2.
• Tối ưu hóa việc lưu trữ và truy cập dữ liệu về mặt chi phí và hiệu suất.
• Kết hợp Azure Data Lake Storage Gen2 với các dịch vụ khác của Azure để phân tích và xử lý dữ liệu.
• Phát triển giải pháp sử dụng API của Azure Data Lake Storage Gen2.
• Xử lý các vấn đề phổ biến và tối ưu hóa chiến lược lưu trữ.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn sử dụng và tích hợp Spark, Hadoop và Python để xử lý, phân tích và chuyển đổi các tập dữ liệu lớn và phức tạp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường cần thiết để bắt đầu xử lý dữ liệu lớn với Spark, Hadoop và Python.
• Hiểu các tính năng, thành phần cốt lõi và kiến trúc của Spark và Hadoop.
• Tìm hiểu cách tích hợp Spark, Hadoop và Python để xử lý dữ liệu lớn.
• Khám phá các công cụ trong hệ sinh thái Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka và Flume).
• Xây dựng các hệ thống khuyến nghị lọc cộng tác tương tự như Netflix, YouTube, Amazon, Spotify và Google.
• Sử dụng Apache Mahout để mở rộng quy mô các thuật toán học máy.

Big Data và Phân tích Nâng cao là việc áp dụng các kỹ thuật và công cụ phức tạp để phân tích dữ liệu lớn, phức tạp nhằm đưa ra những quyết định chiến lược và có tính hành động.

Buổi đào tạo này do giảng viên hướng dẫn (trực tuyến hoặc trực tiếp) dành cho các chuyên gia dữ liệu cấp cao muốn tận dụng các phương pháp phân tích tiên tiến và công nghệ dữ liệu lớn để thực hiện phân tích dự đoán, đề xuất và thời gian thực.

Tại kết thúc khóa học này, người tham gia sẽ có thể:

• Lập kế hoạch và triển khai quy trình xử lý dữ liệu quy mô lớn cho cả dữ liệu cấu trúc và không cấu trúc.
• Áp dụng các kỹ thuật học máy và học sâu tiên tiến vào các tập dữ liệu khổng lồ.
• Tận dụng các khung làm việc tính toán phân tán cho phân tích thời gian thực và truyền dữ liệu.
• Đưa phân tích dữ liệu lớn vào hệ thống thông tin kinh doanh và ra quyết định.

Thể loại khóa học

• Bài giảng tương tác và thảo luận.
• Nhiều bài tập và thực hành.
• Triển khai thực tế trong môi trường phòng thí nghiệm trực tiếp.

Tùy chọn Tùy chỉnh Khóa Học

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa đào tạo trực tiếp có hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên viên công nghệ thông tin cấp trung, mong muốn hiểu toàn diện về IBM DataStage từ cả góc độ quản trị và phát triển, giúp họ quản lý và sử dụng hiệu quả công cụ này trong môi trường làm việc của mình.

Đến cuối khóa học, người tham gia sẽ có thể:

• Hiểu các khái niệm cốt lõi của DataStage.
• Học cách cài đặt, cấu hình và quản lý môi trường DataStage một cách hiệu quả.
• Kết nối với nhiều nguồn dữ liệu khác nhau và trích xuất dữ liệu hiệu quả từ cơ sở dữ liệu, tệp văn bản phẳng và các nguồn bên ngoài.
• Triển khai các kỹ thuật tải dữ liệu hiệu quả.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống ở trình độ mới bắt đầu đến trung cấp, những người muốn triển khai, duy trì và tối ưu hóa các cụm Spark.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Spark trong nhiều môi trường.
• Quản lý tài nguyên cụm và giám sát các ứng dụng Spark.
• Tối ưu hóa hiệu suất của các cụm Spark.
• Triển khai các biện pháp bảo mật và đảm bảo tính khả dụng cao.
• Gỡ lỗi và khắc phục các sự cố phổ biến của Spark.

Những người tham gia hoàn thành khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam sẽ có được sự hiểu biết thực tế, ứng dụng được về Big Data và các công nghệ, phương pháp luận và công cụ liên quan.

Người tham gia sẽ có cơ hội đưa kiến thức này vào thực hành thông qua các bài tập thực hành. Tương tác nhóm và phản hồi từ giảng viên là một phần quan trọng của khóa học.

Khóa học bắt đầu với phần giới thiệu về các khái niệm cơ bản của Big Data, sau đó đi sâu vào các ngôn ngữ lập trình và phương pháp luận được sử dụng để thực hiện Data Analysis. Cuối cùng, chúng ta sẽ thảo luận về các công cụ và cơ sở hạ tầng cho phép lưu trữ Big Data, Xử lý phân tán và Scalability.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng Python và Spark cùng nhau để phân tích dữ liệu lớn thông qua các bài tập thực hành.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Học cách sử dụng Spark với Python để phân tích Big Data.
• Thực hành các bài tập mô phỏng các trường hợp thực tế.
• Sử dụng các công cụ và kỹ thuật khác nhau để phân tích dữ liệu lớn bằng PySpark.

Đối tượng:

Khóa học này được thiết kế cho các chuyên gia IT đang tìm kiếm giải pháp để lưu trữ và xử lý tập dữ liệu lớn trong môi trường hệ thống phân tán.

Goal:

Kiến thức sâu về quản trị Hadoop.

Những tiến bộ công nghệ và lượng thông tin ngày càng tăng đang thay đổi cách thức hoạt động trong nhiều ngành công nghiệp, bao gồm cả chính phủ. Tốc độ tạo ra dữ liệu và lưu trữ số hóa của các cơ quan chính phủ đang gia tăng nhờ sự phát triển nhanh chóng của thiết bị di động và ứng dụng, cảm biến thông minh và thiết bị, giải pháp điện toán đám mây, và cổng dịch vụ dành cho công dân. Khi thông tin số hóa mở rộng và trở nên phức tạp hơn, việc quản lý, xử lý, lưu trữ, bảo mật và phân loại thông tin cũng trở nên phức tạp hơn. Các công cụ mới để thu thập, tìm kiếm, khám phá và phân tích đang giúp các tổ chức khai thác insights từ dữ liệu không cấu trúc của họ. Thị trường chính phủ đang ở điểm bùng nổ, nhận ra rằng thông tin là một tài sản chiến lược, và chính phủ cần bảo vệ, tận dụng và phân tích cả dữ liệu có cấu trúc và không cấu trúc để phục vụ tốt hơn và đáp ứng yêu cầu nhiệm vụ. Khi các lãnh đạo chính phủ cố gắng phát triển tổ chức dựa trên dữ liệu để hoàn thành nhiệm vụ, họ đang xây dựng nền tảng để liên kết các sự kiện, con người, quy trình và thông tin.

Các giải pháp giá trị cao cho chính phủ sẽ được tạo ra từ sự kết hợp của những công nghệ mang tính đột phá:

• Thiết bị di động và ứng dụng
• Dịch vụ đám mây
• Công nghệ và mạng lưới kinh doanh xã hội
• Big Data và phân tích

Big Data là một trong những giải pháp ngành thông minh, giúp chính phủ ra quyết định tốt hơn dựa trên các mô hình được tiết lộ khi phân tích dữ liệu lớn - liên quan và không liên quan, có cấu trúc và không có cấu trúc.

Nhưng việc đạt được những thành tựu này đòi hỏi nhiều hơn chỉ là thu thập một lượng lớn dữ liệu. “Để hiểu được các khối lượng lớn dữ liệu Big Data này cần công cụ và công nghệ tiên tiến có thể phân tích và trích xuất kiến thức hữu ích từ các dòng thông tin rộng lớn và đa dạng,” Tom Kalil và Fen Zhao của Văn phòng Khoa học và Công nghệ Nhà Trắng viết trong một bài đăng trên blog OSTP.

Nhà Trắng đã tiến một bước để giúp các cơ quan tìm ra những công nghệ này khi thành lập Sáng kiến Nghiên cứu và Phát triển Big Data Quốc gia vào năm 2012. Sáng kiến bao gồm hơn 200 triệu đô la để tận dụng sự bùng nổ của Big Data và các công cụ cần thiết để phân tích nó.

Những thách thức mà Big Data đặt ra gần như đáng sợ như lời hứa hẹn của nó. Lưu trữ dữ liệu hiệu quả là một trong những thách thức này. Ngân sách luôn eo hẹp, vì vậy các cơ quan phải tối thiểu hóa chi phí lưu trữ mỗi megabyte và giữ dữ liệu dễ dàng truy cập để người dùng có thể lấy nó khi họ muốn và cách họ cần. Sao chép lượng lớn dữ liệu làm tăng thêm thách thức.

Phân tích dữ liệu hiệu quả là một thách thức lớn khác. Nhiều cơ quan sử dụng các công cụ thương mại để giúp họ lọc qua hàng núi dữ liệu, phát hiện xu hướng có thể giúp họ hoạt động hiệu quả hơn. (Một nghiên cứu gần đây của MeriTalk cho thấy các nhà quản lý CNTT liên bang tin rằng Big Data có thể giúp các cơ quan tiết kiệm hơn 500 tỷ đô la trong khi cũng hoàn thành mục tiêu nhiệm vụ.).

Các công cụ phân tích Big Data được phát triển tùy chỉnh cũng đang cho phép các cơ quan giải quyết nhu cầu phân tích dữ liệu của họ. Ví dụ, Nhóm Phân tích Dữ liệu Tính toán của Phòng thí nghiệm Quốc gia Oak Ridge đã cung cấp hệ thống phân tích dữ liệu Piranha của mình cho các cơ quan khác. Hệ thống này đã giúp các nhà nghiên cứu y tế tìm ra một liên kết có thể cảnh báo bác sĩ về bệnh phình động mạch chủ trước khi nó xảy ra. Nó cũng được sử dụng cho những công việc đơn giản hơn, như lọc qua hồ sơ để kết nối ứng viên với quản lý tuyển dụng.

Phân tích dữ liệu lớn bao gồm quá trình kiểm tra lượng lớn các tập dữ liệu đa dạng để khám phá các mối tương quan, các mẫu ẩn và các thông tin hữu ích khác.

Ngành y tế có lượng lớn dữ liệu y tế và lâm sàng phức tạp, không đồng nhất. Việc áp dụng phân tích dữ liệu lớn cho dữ liệu y tế mang lại tiềm năng to lớn trong việc đưa ra những hiểu biết sâu sắc để cải thiện việc cung cấp dịch vụ chăm sóc sức khỏe. Tuy nhiên, kích thước khổng lồ của các tập dữ liệu này gây ra những thách thức lớn trong việc phân tích và ứng dụng thực tế trong môi trường lâm sàng.

Trong khóa đào tạo trực tiếp, trực tuyến này (từ xa), người tham gia sẽ học cách thực hiện phân tích dữ liệu lớn trong lĩnh vực y tế thông qua một loạt các bài tập thực hành trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các công cụ phân tích dữ liệu lớn như Hadoop MapReduce và Spark
• Hiểu rõ các đặc điểm của dữ liệu y tế
• Áp dụng các kỹ thuật dữ liệu lớn để xử lý dữ liệu y tế
• Nghiên cứu các hệ thống và thuật toán dữ liệu lớn trong bối cảnh các ứng dụng y tế

Đối tượng

• Nhà phát triển
• Nhà khoa học dữ liệu

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu.

Lưu ý

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Trong khóa đào tạo trực tiếp do giảng viên hướng dẫn này tại Việt Nam, những người tham gia sẽ học được tư duy để tiếp cận các công nghệ Big Data, đánh giá tác động của chúng đối với các quy trình và chính sách hiện có và triển khai các công nghệ này nhằm mục đích xác định hoạt động tội phạm và ngăn ngừa tội phạm. Các nghiên cứu tình huống từ các tổ chức thực thi pháp luật trên toàn thế giới sẽ được xem xét để có được hiểu biết sâu sắc về các phương pháp tiếp cận, thách thức và kết quả áp dụng của họ.

Vào cuối khóa đào tạo này, người tham gia sẽ có thể:

• Kết hợp công nghệ Big Data với các quy trình thu thập dữ liệu truyền thống để ghép lại một câu chuyện trong quá trình điều tra.
• Triển khai các giải pháp lưu trữ và xử lý dữ liệu lớn trong công nghiệp để phân tích dữ liệu.
• Chuẩn bị đề xuất áp dụng các công cụ và quy trình phù hợp nhất để áp dụng phương pháp tiếp cận dựa trên dữ liệu vào điều tra tội phạm.

Big Data là một thuật ngữ đề cập đến các giải pháp được thiết kế để lưu trữ và xử lý các tập dữ liệu lớn. Ban đầu được phát triển bởi Google, các giải pháp Big Data này đã phát triển và truyền cảm hứng cho các dự án tương tự khác, nhiều dự án trong số đó có sẵn dưới dạng mã nguồn mở. R là một ngôn ngữ lập trình phổ biến trong ngành tài chính.

Khi các công nghệ lưu trữ truyền thống không đáp ứng được lượng dữ liệu bạn cần lưu trữ, có hàng trăm giải pháp thay thế. Khóa học này cố gắng hướng dẫn người tham gia về các giải pháp thay thế để lưu trữ và phân tích Big Data dữ liệu, cũng như ưu và nhược điểm của chúng.

Khóa học này tập trung chủ yếu vào thảo luận và trình bày các giải pháp, mặc dù các bài tập thực hành có sẵn theo yêu cầu.

Khóa học này là một phần của bộ kỹ năng Nhà khoa học dữ liệu (Lĩnh vực: Dữ liệu và Công nghệ).

This classroom based training session will explore Big Data. Delegates will have computer based examples and case study exercises to undertake with relevant big data tools

Đối tượng

Nếu bạn cố gắng tìm ý nghĩa từ dữ liệu bạn có hoặc muốn phân tích dữ liệu phi cấu trúc có sẵn trên mạng (như Twitter, LinkedIn, v.v.), khóa học này dành cho bạn.

Khóa học chủ yếu dành cho những người ra quyết định và những người cần chọn dữ liệu nào đáng thu thập và dữ liệu nào đáng phân tích.

Khóa học không dành cho những người cấu hình giải pháp, mặc dù những người đó cũng sẽ được hưởng lợi từ bức tranh toàn cảnh.

Phương thức giảng dạy

Trong suốt khóa học, các đại biểu sẽ được giới thiệu các ví dụ thực tế về các công nghệ chủ yếu là mã nguồn mở.

Các bài giảng ngắn gọn sẽ được theo sau bởi bài thuyết trình và các bài tập đơn giản từ người tham gia.

Nội dung và Phần mềm sử dụng

Tất cả phần mềm được sử dụng đều được cập nhật mỗi khi khóa học được tổ chức, vì vậy chúng tôi kiểm tra các phiên bản mới nhất có thể.

Nó bao gồm quy trình từ thu thập, định dạng, xử lý và phân tích dữ liệu, đến giải thích cách tự động hóa quy trình ra quyết định bằng học máy.

Dữ liệu lớn là các tập dữ liệu có dung lượng và độ phức tạp quá lớn khiến phần mềm ứng dụng xử lý dữ liệu truyền thống không thể đáp ứng được. Những thách thức của dữ liệu lớn bao gồm thu thập dữ liệu, lưu trữ dữ liệu, phân tích dữ liệu, tìm kiếm, chia sẻ, truyền tải, trực quan hóa, truy vấn, cập nhật và bảo mật thông tin.

Apache Hadoop là khung làm việc phổ biến nhất để xử lý Big Data trên cụm máy chủ. Trong khóa học này kéo dài ba (có thể bốn) ngày, người tham gia sẽ được học về những lợi ích kinh doanh và các trường hợp sử dụng cho Hadoop và hệ sinh thái của nó, cách lập kế hoạch triển khai và mở rộng cụm, cách cài đặt, duy trì, giám sát, khắc phục sự cố và tối ưu hóa Hadoop. Họ cũng sẽ thực hành tải dữ liệu khối vào cụm, quen thuộc với các phân phối khác nhau của Hadoop, và thực hành cài đặt và quản lý công cụ trong hệ sinh thái Hadoop. Khóa học kết thúc bằng cuộc thảo luận về việc bảo mật cụm thông qua Kerberos.

“…Chất lượng tài liệu rất tốt và được trình bày chi tiết. Phòng Lab rất hữu ích và tổ chức tốt”
— Andrew Nguyen, Kỹ sư tích hợp DW chính, Microsoft Online Advertising

Đối tượng tham gia

Người quản trị Hadoop

Định dạng khóa học

Giảng dạy và thực hành lab, tỷ lệ khoảng 60% giảng dạy, 40% lab.

Apache Hadoop là khung công tác phổ biến nhất để xử lý Big Data trên các cụm máy chủ. Khóa học này sẽ giới thiệu cho lập trình viên về các thành phần khác nhau trong hệ sinh thái Hadoop (HDFS, MapReduce, Pig, Hive và HBase).

Apache Hadoop là một trong những framework phổ biến nhất để xử lý Big Data trên các cụm máy chủ. Khóa học này đi sâu vào quản lý dữ liệu trong HDFS, Pig và Hive nâng cao, cũng như HBase. Các kỹ thuật lập trình nâng cao này sẽ rất có ích cho các nhà phát triển Hadoop có kinh nghiệm.

Đối tượng: lập trình viên

Thời lượng: ba ngày

Định dạng: bài giảng (50%) và phòng thí nghiệm thực hành (50%).

Đối tượng:

Khóa học này nhằm làm rõ công nghệ big data/hadoop và cho thấy nó không khó hiểu.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các quản trị viên hệ thống muốn tìm hiểu cách thiết lập, triển khai và quản lý các cụm Hadoop trong tổ chức của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Hadoop.
• Hiểu bốn thành phần chính trong hệ sinh thái Hadoop: HDFS, MapReduce, YARN và Hadoop Common.
• Sử dụng Hệ thống Tệp Phân tán Hadoop (HDFS) để mở rộng cụm lên hàng trăm hoặc hàng nghìn nút.
• Thiết lập HDFS để hoạt động như một công cụ lưu trữ cho các triển khai Spark tại chỗ.
• Thiết lập Spark để truy cập các giải pháp lưu trữ thay thế như Amazon S3 và các hệ thống cơ sở dữ liệu NoSQL như Redis, Elasticsearch, Couchbase, Aerospike, v.v.
• Thực hiện các tác vụ quản trị như cung cấp, quản lý, giám sát và bảo mật một cụm Apache Hadoop.

Khóa học này giới thiệu HBase – một NoSQL kho lưu trữ được xây dựng trên Hadoop. Khóa học dành cho các nhà phát triển sẽ sử dụng HBase để phát triển ứng dụng, và các quản trị viên sẽ quản lý các cụm HBase.

Chúng ta sẽ hướng dẫn một nhà phát triển qua kiến trúc HBase và mô hình hóa dữ liệu, cũng như phát triển ứng dụng trên HBase. Khóa học cũng sẽ thảo luận về việc sử dụng MapReduce với HBase và một số chủ đề quản trị liên quan đến tối ưu hóa hiệu suất. Khóa học này rất thực hành với nhiều bài tập thực hành.

Thời lượng: 3 ngày

Đối tượng: Nhà phát triển & Quản trị viên

Trong khóa học do giáo viên hướng dẫn này tại Việt Nam (trực tiếp hoặc từ xa), người tham gia sẽ học cách thiết lập và tích hợp các khung xử lý dòng dữ liệu khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan, cũng như microservices.

Cuối khóa học, người tham gia sẽ có thể:

• Cài đặt và cấu hình các khung xử lý dòng dữ liệu khác nhau như Spark Streaming và Kafka Streaming.
• Hiểu và chọn khung phù hợp nhất cho công việc.
• Xử lý dữ liệu liên tục, đồng thời, và từng bản ghi một.
• Tích hợp các giải pháp xử lý dòng dữ liệu với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
• Tích hợp thư viện xử lý dòng dữ liệu phù hợp nhất với các ứng dụng doanh nghiệp và microservices.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho những người có chuyên môn kỹ thuật muốn tìm hiểu cách triển khai chiến lược học máy đồng thời tối đa hóa việc sử dụng dữ liệu lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ:

• Hiểu được quá trình phát triển và các xu hướng của học máy.
• Biết cách học máy đang được ứng dụng trong các ngành công nghiệp khác nhau.
• Làm quen với các công cụ, kỹ năng và dịch vụ có sẵn để triển khai học máy trong một tổ chức.
• Hiểu cách học máy có thể được sử dụng để nâng cao khai thác dữ liệu và phân tích.
• Tìm hiểu về kiến trúc trung gian dữ liệu (data middle backend) và cách các doanh nghiệp đang sử dụng nó.
• Hiểu vai trò của dữ liệu lớn và các ứng dụng thông minh trong các ngành công nghiệp.

Apache NiFi là một nền tảng tích hợp dữ liệu và xử lý sự kiện dựa trên luồng mã nguồn mở. Nó cho phép tự động hóa, truyền tải dữ liệu thời gian thực, biến đổi và trung gian hệ thống giữa các hệ thống khác nhau, với giao diện người dùng web và kiểm soát chi tiết.

Khóa đào tạo trực tiếp do giảng viên hướng dẫn (trực tiếp hoặc từ xa) này dành cho quản trị viên và kỹ sư trung cấp có mong muốn triển khai, quản lý, bảo mật và tối ưu hóa các dòng dữ liệu NiFi trong môi trường sản xuất.

Sau khi kết thúc khóa học, người tham gia sẽ có thể:

• Cài đặt, cấu hình và bảo trì các cụm Apache NiFi.
• Thiết kế và quản lý dòng dữ liệu từ nhiều nguồn và đích.
• Triển khai tự động hóa luồng, định tuyến và biến đổi logic.
• Tối ưu hóa hiệu suất, giám sát hoạt động và khắc phục sự cố.

Định dạng của khóa học

• Bài giảng tương tác với thảo luận về kiến trúc thực tế.
• Thực hành phòng thí nghiệm: xây dựng, triển khai và quản lý dòng dữ liệu.
• Bài tập dựa trên kịch bản trong môi trường phòng thí nghiệm trực tiếp.

Tùy chọn tùy chỉnh khóa học

• Để yêu cầu khóa đào tạo được tùy chỉnh, vui lòng liên hệ với chúng tôi để sắp xếp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học các nguyên tắc cơ bản của lập trình dựa trên luồng khi phát triển một số tiện ích mở rộng, thành phần và bộ xử lý bằng Apache NiFi.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và khái niệm luồng dữ liệu của NiFi.
• Phát triển các tiện ích mở rộng bằng NiFi và API của bên thứ ba.
• Tự phát triển bộ xử lý Apache Nifi của riêng họ.
• Thu thập và xử lý dữ liệu thời gian thực từ các định dạng tệp và nguồn dữ liệu khác nhau và không phổ biến.

Khóa đào tạo này cung cấp một cái nhìn thực tiễn về việc xây dựng các quy trình xử lý dữ liệu có khả năng mở rộng và quy trình Học máy (Machine Learning) bằng PySpark. Người học sẽ tìm hiểu cách Apache Spark hoạt động trong các hệ sinh thái Dữ liệu lớn (Big Data) hiện đại cũng như cách xử lý hiệu quả các tập dữ liệu lớn dựa trên các nguyên lý tính toán phân tán.

Khóa học này do giáo viên dẫn dắt trực tiếp (trên mạng hoặc tại chỗ) được thiết kế cho các nhà khoa học dữ liệu muốn sử dụng bộ cổng SMACK để xây dựng các nền tảng xử lý dữ liệu cho các giải pháp dữ liệu lớn.

Sau khi hoàn thành khóa học này, các thí sinh sẽ có thể:

• Triển khai kiến trúc pipeline dữ liệu để xử lý dữ liệu lớn.
• Phát triển cơ sở hạ tầng cụm với Apache Mesos và Docker.
• Phân tích dữ liệu với Spark và Scala.
• Quản lý dữ liệu không có cấu trúc với Apache Cassandra.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các kỹ sư muốn thiết lập và triển khai hệ thống Apache Spark để xử lý lượng dữ liệu rất lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Spark.
• Xử lý và phân tích nhanh chóng các tập dữ liệu rất lớn.
• Hiểu sự khác biệt giữa Apache Spark và Hadoop MapReduce và khi nào nên sử dụng cái nào.
• Tích hợp Apache Spark với các công cụ học máy khác.

Đường cong học tập của Apache Spark tăng chậm ở giai đoạn đầu, đòi hỏi rất nhiều nỗ lực để đạt được kết quả đầu tiên. Khóa học này hướng đến việc vượt qua phần khó khăn ban đầu đó. Sau khi hoàn thành khóa học này, người tham gia sẽ hiểu các kiến thức cơ bản về Apache Spark, phân biệt rõ ràng RDD và DataFrame, học API Python và Scala, hiểu về executors và tasks, v.v. Đồng thời, tuân thủ các phương pháp thực hành tốt nhất, khóa học tập trung mạnh vào triển khai trên nền tảng đám mây, Databricks và AWS. Người học cũng sẽ hiểu sự khác biệt giữa AWS EMR và AWS Glue, một trong những dịch vụ Spark mới nhất của AWS.

ĐỐI TƯỢNG:

Kỹ sư Dữ liệu, DevOps, Nhà khoa học Dữ liệu

MỤC TIÊU:

Khóa học này sẽ giới thiệu Apache Spark. Sinh viên sẽ tìm hiểu cách Spark phù hợp với hệ sinh thái Big Data, và cách sử dụng Spark để phân tích dữ liệu. Khóa học bao gồm Spark shell để phân tích dữ liệu tương tác, các thành phần bên trong Spark, API Spark, Spark SQL, Spark streaming, và học máy và GraphX.

ĐỐI TƯỢNG :

Nhà phát triển / Chuyên viên phân tích dữ liệu

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu và nhà phát triển muốn sử dụng Spark NLP, được xây dựng trên nền tảng Apache Spark, để phát triển, triển khai và mở rộng quy mô các mô hình và quy trình xử lý văn bản ngôn ngữ tự nhiên.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường phát triển cần thiết để bắt đầu xây dựng các quy trình NLP với Spark NLP.
• Hiểu các tính năng, kiến trúc và lợi ích của việc sử dụng Spark NLP.
• Sử dụng các mô hình được huấn luyện sẵn có trong Spark NLP để triển khai xử lý văn bản.
• Tìm hiểu cách xây dựng, huấn luyện và mở rộng quy mô các mô hình Spark NLP cho các dự án cấp sản xuất.
• Áp dụng phân loại, suy luận và phân tích tình cảm vào các trường hợp sử dụng thực tế (dữ liệu lâm sàng, thông tin chi tiết về hành vi của khách hàng, v.v.).

Spark SQL là mô-đun của Apache Spark để làm việc với dữ liệu có cấu trúc và không có cấu trúc. Spark SQL cung cấp thông tin về cấu trúc của dữ liệu cũng như các phép tính đang được thực hiện. Thông tin này có thể được sử dụng để tối ưu hóa. Hai cách sử dụng phổ biến của Spark SQL là:
- để thực thi các truy vấn SQL.
- để đọc dữ liệu từ cài đặt Hive hiện có.

Trong khóa đào tạo do giáo viên hướng dẫn này (trực tiếp hoặc từ xa), người tham gia sẽ học cách phân tích các loại tập dữ liệu khác nhau bằng Spark SQL.

Bằng cuối khóa đào tạo, người tham gia sẽ có thể:

• Cài đặt và cấu hình Spark SQL.
• Phân tích dữ liệu bằng Spark SQL.
• Truy vấn các tập dữ liệu ở định dạng khác nhau.
• Trực quan hóa dữ liệu và kết quả truy vấn.

Định dạng của khóa học

• Bài giảng tương tác và thảo luận.
• Nhiều bài tập và thực hành.
• Triển khai thực tế trong môi trường phòng thí nghiệm trực tiếp.

Tùy chọn tùy chỉnh khóa học

• Để yêu cầu một khóa đào tạo được tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa học trực tiếp do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) nhằm vào những người kỹ thuật muốn triển khai Talend Open Studio for Big Data để đơn giản hóa quá trình đọc và xử lý dữ liệu lớn.

Đến cuối khóa học, người tham gia sẽ có thể:

• Cài đặt và cấu hình Talend Open Studio for Big Data.
• Kết nối với các hệ thống dữ liệu lớn như Cloudera, HortonWorks, MapR, Amazon EMR và Apache.
• Hiểu và thiết lập các thành phần và bộ kết nối dữ liệu lớn của Open Studio.
• Cấu hình các tham số để tự động tạo mã MapReduce.
• Sử dụng giao diện kéo thả của Open Studio để chạy công việc Hadoop.
• Xây dựng nguyên mẫu các đường ống dữ liệu lớn.
• Tự động hóa các dự án tích hợp dữ liệu lớn.