Big Data Training in Việt Nam

Những người tham gia hoàn thành khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam sẽ có được sự hiểu biết thực tế, ứng dụng được về Big Data và các công nghệ, phương pháp và công cụ liên quan.

Người tham gia sẽ có cơ hội áp dụng kiến thức này vào thực tế thông qua các bài tập thực hành. Tương tác nhóm và phản hồi từ giảng viên là một phần quan trọng của khóa học.

Khóa học bắt đầu với phần giới thiệu về các khái niệm cơ bản của Big Data, sau đó đi sâu vào các ngôn ngữ lập trình và phương pháp được sử dụng để thực hiện Data Analysis. Cuối cùng, chúng ta sẽ thảo luận về các công cụ và cơ sở hạ tầng cho phép lưu trữ Big Data, Xử lý phân tán và Scalability.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia dữ liệu nâng cao, những người muốn tối ưu hóa quy trình xử lý dữ liệu, đảm bảo tính toàn vẹn của dữ liệu và triển khai các giải pháp data lakehouse mạnh mẽ có thể xử lý các phức tạp của các ứng dụng big data hiện đại.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Có được sự hiểu biết sâu sắc về kiến trúc của Iceberg, bao gồm quản lý siêu dữ liệu và bố cục tệp.
• Cấu hình Iceberg để đạt hiệu suất tối ưu trong nhiều môi trường khác nhau và tích hợp nó với nhiều công cụ xử lý dữ liệu.
• Quản lý các bảng Iceberg quy mô lớn, thực hiện các thay đổi lược đồ phức tạp và xử lý sự phát triển của phân vùng.
• Làm chủ các kỹ thuật để tối ưu hóa hiệu suất truy vấn và hiệu quả quét dữ liệu cho các tập dữ liệu lớn.
• Triển khai các cơ chế để đảm bảo tính nhất quán của dữ liệu, quản lý các đảm bảo giao dịch và xử lý lỗi trong các môi trường phân tán.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia dữ liệu ở trình độ mới bắt đầu, những người muốn có được kiến thức và kỹ năng cần thiết để sử dụng hiệu quả Apache Iceberg trong việc quản lý các tập dữ liệu lớn, đảm bảo tính toàn vẹn của dữ liệu và tối ưu hóa các quy trình xử lý dữ liệu.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Có được sự hiểu biết toàn diện về kiến trúc, tính năng và lợi ích của Apache Iceberg.
• Tìm hiểu về các định dạng bảng, phân vùng, tiến hóa lược đồ và khả năng du hành thời gian.
• Cài đặt và cấu hình Apache Iceberg trong các môi trường khác nhau.
• Tạo, quản lý và thao tác với các bảng Iceberg.
• Hiểu quy trình di chuyển dữ liệu từ các định dạng bảng khác sang Iceberg.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia IT trình độ trung cấp, những người muốn nâng cao kỹ năng về kiến trúc dữ liệu, quản trị dữ liệu, điện toán đám mây và các công nghệ dữ liệu lớn để quản lý và phân tích hiệu quả các tập dữ liệu lớn cho việc di chuyển dữ liệu trong tổ chức của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các khái niệm và thành phần cơ bản của các kiến trúc dữ liệu khác nhau.
• Có được sự hiểu biết toàn diện về các nguyên tắc quản trị dữ liệu và tầm quan trọng của chúng trong các môi trường quy định.
• Triển khai và quản lý các khuôn khổ quản trị dữ liệu như Dama và Togaf.
• Tận dụng các nền tảng đám mây để lưu trữ, xử lý và quản lý dữ liệu hiệu quả.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các kỹ sư dữ liệu trung cấp muốn tìm hiểu cách sử dụng Azure Data Lake Storage Gen2 để xây dựng các giải pháp phân tích dữ liệu hiệu quả.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và các tính năng chính của Azure Data Lake Storage Gen2.
• Tối ưu hóa lưu trữ và truy cập dữ liệu để giảm chi phí và nâng cao hiệu suất.
• Tích hợp Azure Data Lake Storage Gen2 với các dịch vụ Azure khác để phân tích và xử lý dữ liệu.
• Phát triển các giải pháp bằng API của Azure Data Lake Storage Gen2.
• Khắc phục các sự cố thường gặp và tối ưu hóa chiến lược lưu trữ.

Greenplum is an open-source massively parallel data platform based on PostgreSQL, designed for advanced analytics and large-scale data warehousing.

This instructor-led, live training (online or onsite) is aimed at intermediate-level administrators who wish to install, configure, and manage Greenplum environments effectively, including managing system updates and libraries.

By the end of this training, participants will be able to:

• Install and configure a production-ready Greenplum cluster.
• Manage system updates and apply patches safely.
• Handle Greenplum library management for analytics and extensions.
• Troubleshoot and monitor Greenplum systems.

Format of the Course

• Interactive lecture and discussion.
• Hands-on use of Greenplum in a controlled lab environment.
• Guided exercises focused on cluster setup, upgrade workflows, and system extensions.

Course Customization Options

• To request a customized training for this course based on your environment or data platform, please contact us to arrange.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia IT trình độ trung cấp, những người muốn có hiểu biết toàn diện về IBM DataStage từ cả góc độ quản trị và phát triển, cho phép họ quản lý và sử dụng công cụ này một cách hiệu quả trong công việc của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các khái niệm cốt lõi của DataStage.
• Tìm hiểu cách cài đặt, cấu hình và quản lý môi trường DataStage hiệu quả.
• Kết nối với nhiều nguồn dữ liệu khác nhau và trích xuất dữ liệu hiệu quả từ cơ sở dữ liệu, tệp tin phẳng và các nguồn bên ngoài.
• Triển khai các kỹ thuật tải dữ liệu hiệu quả.

Buổi đào tạo trực tiếp dưới sự hướng dẫn của giảng viên tại Việt Nam (trực tuyến hoặc trực tiếp) này dành cho các chuyên gia big data cấp trung muốn sử dụng Apache Kylin để xây dựng kho dữ liệu thời gian thực và thực hiện phân tích đa chiều trên các tập dữ liệu quy mô lớn.

Tại kết thúc buổi đào tạo, người tham gia sẽ có khả năng:

• Cài đặt và cấu hình Apache Kylin với nguồn dữ liệu truyền stream thời gian thực.
• Lập kế hoạch và xây dựng các khối OLAP cho cả dữ liệu batch và streaming.
• Thực hiện các truy vấn phức tạp với độ trễ dưới một giây sử dụng giao diện SQL của Kylin.
• Tích hợp Kylin với các công cụ BI để trực quan hóa dữ liệu tương tác.
• Tối ưu hóa hiệu suất và quản lý tài nguyên hiệu quả trong Kylin.

Những người tham gia hoàn thành khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam sẽ có được sự hiểu biết thực tế, ứng dụng được về Big Data và các công nghệ, phương pháp luận và công cụ liên quan.

Người tham gia sẽ có cơ hội đưa kiến thức này vào thực hành thông qua các bài tập thực hành. Tương tác nhóm và phản hồi từ giảng viên là một phần quan trọng của khóa học.

Khóa học bắt đầu với phần giới thiệu về các khái niệm cơ bản của Big Data, sau đó đi sâu vào các ngôn ngữ lập trình và phương pháp luận được sử dụng để thực hiện Data Analysis. Cuối cùng, chúng ta sẽ thảo luận về các công cụ và cơ sở hạ tầng cho phép lưu trữ Big Data, Xử lý phân tán và Scalability.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng Python và Spark cùng nhau để phân tích dữ liệu lớn thông qua các bài tập thực hành.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Học cách sử dụng Spark với Python để phân tích Big Data.
• Thực hành các bài tập mô phỏng các trường hợp thực tế.
• Sử dụng các công cụ và kỹ thuật khác nhau để phân tích dữ liệu lớn bằng PySpark.

Khóa học này bao gồm cách sử dụng ngôn ngữ Hive SQL (còn được gọi là: Hive HQL, SQL trên Hive, HiveQL) dành cho những người trích xuất dữ liệu từ Hive.

This instructor-led, live training in Việt Nam (online or onsite) is aimed at intermediate-level database administrators, developers, and analysts who wish to master advanced SQL functionalities for complex data operations and database management.

By the end of this training, participants will be able to:

• Perform advanced querying techniques using unions, subqueries, and complex joins.
• Add, update, and delete data, tables, views, and indexes with precision.
• Ensure data integrity through transactions and manipulate database structures.
• Create and manage databases efficiently for robust data storage and retrieval.

Dremio là một nền tảng dữ liệu "tự phục vụ" mã nguồn mở giúp tăng tốc độ truy vấn các loại nguồn dữ liệu khác nhau. Dremio tích hợp với cơ sở dữ liệu quan hệ, Apache Hadoop, MongoDB, Amazon S3, ElasticSearch và các nguồn dữ liệu khác. Nó hỗ trợ SQL và cung cấp giao diện web để xây dựng truy vấn.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách cài đặt, cấu hình và sử dụng Dremio như một lớp thống nhất cho các công cụ phân tích dữ liệu và các kho dữ liệu cơ bản.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Dremio
• Thực hiện truy vấn trên nhiều nguồn dữ liệu, bất kể vị trí, kích thước hoặc cấu trúc
• Tích hợp Dremio với BI và các nguồn dữ liệu như Tableau và Elasticsearch

Đối tượng

• Nhà khoa học dữ liệu
• Chuyên viên phân tích Business
• Kỹ sư dữ liệu

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu

Lưu ý

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các chuyên gia cơ sở dữ liệu ở trình độ trung cấp, những người muốn nâng cao kỹ năng của họ trong phát triển và quản trị Oracle SQL.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Xây dựng và tối ưu hóa các truy vấn SQL phức tạp.
• Quản lý cơ sở dữ liệu hiệu quả bằng cách sử dụng các công cụ Oracle SQL.
• Áp dụng các phương pháp tốt nhất trong phát triển và bảo trì cơ sở dữ liệu.
• Quản trị quyền truy cập của người dùng và bảo mật cơ sở dữ liệu trong môi trường Oracle.

Apache Accumulo là một cửa hàng khóa/giá trị phân tán, được sắp xếp, cung cấp khả năng lưu trữ và truy xuất dữ liệu mạnh mẽ, có khả năng mở rộng. Nó dựa trên thiết kế của BigTable của Google và được hỗ trợ bởi Apache Hadoop, Apache Zookeeper và Apache Thrift.

Khóa học trực tiếp, do giảng viên hướng dẫn này, bao gồm các nguyên tắc hoạt động đằng sau Accumulo và hướng dẫn người tham gia phát triển một ứng dụng mẫu trên Apache Accumulo.

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, phát triển và triển khai thực hành, cùng với các bài kiểm tra thường xuyên để đánh giá mức độ hiểu bài.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển ứng dụng và kỹ sư muốn thành thạo hơn nữa các cách sử dụng nâng cao của cơ sở dữ liệu Teradata.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Quản lý không gian Teradata.
• Bảo vệ và phân phối dữ liệu trong Teradata.
• Đọc Explain Plan.
• Nâng cao trình độ SQL.
• Sử dụng các tiện ích chính của Teradata.

Khóa học này dành cho các nhà phát triển và nhà khoa học dữ liệu mong muốn hiểu và triển khai trí tuệ nhân tạo trong ứng dụng của họ. Tập trung đặc biệt vào phân tích dữ liệu, trí tuệ nhân tạo phân tán và xử lý ngôn ngữ tự nhiên.

Amazon Redshift là dịch vụ kho dữ liệu dựa trên đám mây, có quy mô petabyte trong AWS.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học các kiến thức cơ bản về Amazon Redshift.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Amazon Redshift
• Tải, cấu hình, triển khai, truy vấn và trực quan hóa dữ liệu với Amazon Redshift

Đối tượng

• Nhà phát triển
• Chuyên gia IT

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu

Lưu ý

• Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Apache ActiveMQ là một message broker mã nguồn mở được viết bằng Java.

Những tiến bộ trong công nghệ và lượng thông tin ngày càng tăng đang thay đổi cách thức kinh doanh được thực hiện trong nhiều ngành, bao gồm cả chính phủ. Go Việc tạo và lưu trữ dữ liệu chính phủ đang gia tăng do sự phát triển nhanh chóng của thiết bị di động và ứng dụng, cảm biến và thiết bị thông minh, các giải pháp điện toán đám mây và cổng thông tin hướng tới công dân. Khi thông tin số mở rộng và trở nên phức tạp hơn, việc quản lý, xử lý, lưu trữ, bảo mật và tiêu hủy thông tin cũng trở nên phức tạp hơn. Các công cụ chụp, tìm kiếm, khám phá và phân tích mới đang giúp các tổ chức có được những hiểu biết sâu sắc từ dữ liệu phi cấu trúc của họ. Thị trường chính phủ đang ở một bước ngoặt, nhận ra rằng thông tin là một tài sản chiến lược, và chính phủ cần bảo vệ, tận dụng và phân tích cả thông tin có cấu trúc và phi cấu trúc để phục vụ tốt hơn và đáp ứng các yêu cầu nhiệm vụ. Khi các nhà lãnh đạo chính phủ nỗ lực phát triển các tổ chức dựa trên dữ liệu để hoàn thành nhiệm vụ thành công, họ đang đặt nền móng để tương quan các mối phụ thuộc giữa các sự kiện, con người, quy trình và thông tin.

Các giải pháp chính phủ có giá trị cao sẽ được tạo ra từ sự kết hợp của các công nghệ đột phá nhất:

• Thiết bị di động và ứng dụng
• Dịch vụ đám mây
• Công nghệ và mạng xã hội doanh nghiệp
• Big Data và phân tích

IDC dự đoán rằng đến năm 2020, ngành công nghiệp CNTT sẽ đạt 5 nghìn tỷ đô la, lớn hơn khoảng 1,7 nghìn tỷ đô la so với hiện tại, và 80% sự tăng trưởng của ngành sẽ được thúc đẩy bởi các công nghệ Nền tảng thứ 3 này. Về lâu dài, các công nghệ này sẽ là những công cụ quan trọng để đối phó với sự phức tạp của thông tin số ngày càng tăng. Big Data là một trong những giải pháp ngành thông minh và cho phép chính phủ đưa ra các quyết định tốt hơn bằng cách hành động dựa trên các mẫu được tiết lộ bằng cách phân tích lượng lớn dữ liệu - có liên quan và không liên quan, có cấu trúc và phi cấu trúc.

Nhưng để đạt được những thành tựu này đòi hỏi nhiều hơn là chỉ tích lũy một lượng lớn dữ liệu. “Để có ý nghĩa từ những khối lượng Big Data này, cần có các công cụ và công nghệ tiên tiến có thể phân tích và trích xuất kiến thức hữu ích từ các luồng thông tin rộng lớn và đa dạng,” Tom Kalil và Fen Zhao của Văn phòng Khoa học và Công nghệ của Nhà Trắng đã viết trong một bài đăng trên Blog OSTP.

Nhà Trắng đã có một bước đi để giúp các cơ quan tìm kiếm các công nghệ này khi thành lập Sáng kiến Nghiên cứu và Phát triển Big Data Quốc gia vào năm 2012. Sáng kiến bao gồm hơn 200 triệu đô la để tận dụng tối đa sự bùng nổ của Big Data và các công cụ cần thiết để phân tích nó.

Những thách thức mà Big Data đặt ra gần như đáng sợ như những lời hứa hẹn của nó. Lưu trữ dữ liệu hiệu quả là một trong những thách thức này. Như mọi khi, ngân sách eo hẹp, vì vậy các cơ quan phải giảm thiểu giá trên mỗi megabyte lưu trữ và giữ dữ liệu trong tầm tay để người dùng có thể truy cập khi họ muốn và theo cách họ cần. Sao lưu một lượng lớn dữ liệu làm tăng thêm thách thức.

Phân tích dữ liệu hiệu quả là một thách thức lớn khác. Nhiều cơ quan sử dụng các công cụ thương mại cho phép họ sàng lọc qua núi dữ liệu, phát hiện các xu hướng có thể giúp họ hoạt động hiệu quả hơn. (Một nghiên cứu gần đây của MeriTalk cho thấy các giám đốc điều hành CNTT liên bang nghĩ rằng Big Data có thể giúp các cơ quan tiết kiệm hơn 500 tỷ đô la đồng thời hoàn thành các mục tiêu nhiệm vụ.).

Các công cụ Big Data do chính phát triển cũng đang cho phép các cơ quan giải quyết nhu cầu phân tích dữ liệu của họ. Ví dụ: Nhóm Phân tích Dữ liệu Tính toán của Phòng thí nghiệm Quốc gia Oak Ridge đã cung cấp hệ thống phân tích dữ liệu Piranha của mình cho các cơ quan khác. Hệ thống này đã giúp các nhà nghiên cứu y tế tìm ra mối liên hệ có thể cảnh báo các bác sĩ về phình động mạch chủ trước khi chúng xảy ra. Nó cũng được sử dụng cho các nhiệm vụ trần tục hơn, chẳng hạn như sàng lọc sơ yếu lý lịch để kết nối ứng viên với người quản lý tuyển dụng.

Apache Beam là một mô hình lập trình thống nhất, mã nguồn mở để định nghĩa và thực thi các quy trình xử lý dữ liệu song song. Sức mạnh của nó nằm ở khả năng chạy cả quy trình hàng loạt và quy trình luồng, với việc thực thi được thực hiện bởi một trong các back-end xử lý phân tán được hỗ trợ của Beam: Apache Apex, Apache Flink, Apache Spark và Google Cloud Dataflow. Apache Beam hữu ích cho các tác vụ ETL (Trích xuất, Chuyển đổi và Tải) như di chuyển dữ liệu giữa các phương tiện lưu trữ và nguồn dữ liệu khác nhau, chuyển đổi dữ liệu thành định dạng mong muốn hơn và tải dữ liệu lên một hệ thống mới.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn (tại chỗ hoặc từ xa) này, người tham gia sẽ học cách triển khai các SDK Apache Beam trong một ứng dụng Java hoặc Python để xác định một quy trình xử lý dữ liệu nhằm phân tách một tập dữ liệu lớn thành các phần nhỏ hơn để xử lý song song độc lập.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apache Beam.
• Sử dụng một mô hình lập trình duy nhất để thực hiện cả xử lý hàng loạt và xử lý luồng từ trong ứng dụng Java hoặc Python của họ.
• Thực thi các quy trình trên nhiều môi trường.

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu.

Lưu ý

• Khóa học này sẽ có sẵn Scala trong tương lai. Vui lòng liên hệ với chúng tôi để sắp xếp.

This classroom based training session will explore Big Data. Delegates will have computer based examples and case study exercises to undertake with relevant big data tools

Ngày 1 - cung cấp tổng quan cấp cao về các lĩnh vực chủ đề Big Data thiết yếu. Mô-đun được chia thành một loạt các phần, mỗi phần đều đi kèm với một bài tập thực hành.

Ngày 2 - khám phá một loạt các chủ đề liên quan đến các phương pháp và công cụ phân tích cho môi trường Big Data. Nội dung không đi sâu vào chi tiết triển khai hoặc lập trình, mà thay vào đó giữ mức độ bao quát ở cấp độ khái niệm, tập trung vào các chủ đề cho phép người tham gia phát triển sự hiểu biết toàn diện về các chức năng và tính năng phân tích phổ biến được cung cấp bởi các giải pháp Big Data.

Ngày 3 - cung cấp tổng quan về các lĩnh vực chủ đề cơ bản và thiết yếu liên quan đến kiến trúc nền tảng giải pháp Big Data. Nội dung bao gồm các cơ chế Big Data cần thiết cho việc phát triển nền tảng giải pháp Big Data và các tùy chọn kiến trúc để xây dựng một nền tảng xử lý dữ liệu. Các tình huống phổ biến cũng được trình bày để cung cấp sự hiểu biết cơ bản về cách nền tảng giải pháp Big Data thường được sử dụng.

Ngày 4 - xây dựng dựa trên Ngày 3 bằng cách khám phá các chủ đề nâng cao liên quan đến kiến trúc nền tảng giải pháp Big Data. Đặc biệt, các lớp kiến trúc khác nhau tạo nên nền tảng giải pháp Big Data được giới thiệu và thảo luận, bao gồm nguồn dữ liệu, nhập dữ liệu, lưu trữ dữ liệu, xử lý dữ liệu và bảo mật.

Ngày 5 - bao gồm một số bài tập và vấn đề được thiết kế để kiểm tra khả năng áp dụng kiến thức về các chủ đề được đề cập trong Ngày 3 và 4 của đại biểu.

Trong khóa đào tạo trực tiếp do giảng viên hướng dẫn này tại Việt Nam, những người tham gia sẽ học được tư duy để tiếp cận các công nghệ Big Data, đánh giá tác động của chúng đối với các quy trình và chính sách hiện có và triển khai các công nghệ này nhằm mục đích xác định hoạt động tội phạm và ngăn ngừa tội phạm. Các nghiên cứu tình huống từ các tổ chức thực thi pháp luật trên toàn thế giới sẽ được xem xét để có được hiểu biết sâu sắc về các phương pháp tiếp cận, thách thức và kết quả áp dụng của họ.

Vào cuối khóa đào tạo này, người tham gia sẽ có thể:

• Kết hợp công nghệ Big Data với các quy trình thu thập dữ liệu truyền thống để ghép lại một câu chuyện trong quá trình điều tra.
• Triển khai các giải pháp lưu trữ và xử lý dữ liệu lớn trong công nghiệp để phân tích dữ liệu.
• Chuẩn bị đề xuất áp dụng các công cụ và quy trình phù hợp nhất để áp dụng phương pháp tiếp cận dựa trên dữ liệu vào điều tra tội phạm.

Big Data là một thuật ngữ đề cập đến các giải pháp được thiết kế để lưu trữ và xử lý các tập dữ liệu lớn. Ban đầu được phát triển bởi Google, các giải pháp Big Data này đã phát triển và truyền cảm hứng cho các dự án tương tự khác, nhiều dự án trong số đó có sẵn dưới dạng mã nguồn mở. R là một ngôn ngữ lập trình phổ biến trong ngành tài chính.

Khi các công nghệ lưu trữ truyền thống không đáp ứng được lượng dữ liệu bạn cần lưu trữ, có hàng trăm giải pháp thay thế. Khóa học này cố gắng hướng dẫn người tham gia về các giải pháp thay thế để lưu trữ và phân tích Big Data dữ liệu, cũng như ưu và nhược điểm của chúng.

Khóa học này tập trung chủ yếu vào thảo luận và trình bày các giải pháp, mặc dù các bài tập thực hành có sẵn theo yêu cầu.

Khóa học này là một phần của bộ kỹ năng Nhà khoa học dữ liệu (Lĩnh vực: Dữ liệu và Công nghệ).

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư muốn sử dụng Confluent (một bản phân phối của Kafka) để xây dựng và quản lý một nền tảng xử lý dữ liệu thời gian thực cho các ứng dụng của họ.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent Platform.
• Sử dụng các công cụ quản lý và dịch vụ của Confluent để chạy Kafka một cách dễ dàng hơn.
• Lưu trữ và xử lý dữ liệu luồng đến.
• Tối ưu hóa và quản lý các cụm Kafka.
• Bảo mật các luồng dữ liệu.

Định dạng Khóa học

• Bài giảng tương tác và thảo luận.
• Nhiều bài tập và thực hành.
• Thực hiện trực tiếp trong môi trường lab trực tuyến.

Tùy chọn Tùy chỉnh Khóa học

• Khóa học này dựa trên phiên bản mã nguồn mở của Confluent: Confluent Open Source.
• Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.

Đối tượng

Nếu bạn cố gắng tìm ý nghĩa từ dữ liệu bạn có hoặc muốn phân tích dữ liệu phi cấu trúc có sẵn trên mạng (như Twitter, LinkedIn, v.v.), khóa học này dành cho bạn.

Khóa học chủ yếu dành cho những người ra quyết định và những người cần chọn dữ liệu nào đáng thu thập và dữ liệu nào đáng phân tích.

Khóa học không dành cho những người cấu hình giải pháp, mặc dù những người đó cũng sẽ được hưởng lợi từ bức tranh toàn cảnh.

Phương thức giảng dạy

Trong suốt khóa học, các đại biểu sẽ được giới thiệu các ví dụ thực tế về các công nghệ chủ yếu là mã nguồn mở.

Các bài giảng ngắn gọn sẽ được theo sau bởi bài thuyết trình và các bài tập đơn giản từ người tham gia.

Nội dung và Phần mềm sử dụng

Tất cả phần mềm được sử dụng đều được cập nhật mỗi khi khóa học được tổ chức, vì vậy chúng tôi kiểm tra các phiên bản mới nhất có thể.

Nó bao gồm quy trình từ thu thập, định dạng, xử lý và phân tích dữ liệu, đến giải thích cách tự động hóa quy trình ra quyết định bằng học máy.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn tại Việt Nam này, người tham gia sẽ học cách xây dựng Data Vault.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và các khái niệm thiết kế đằng sau Data Vault 2.0, và cách tương tác của nó với Big Data, NoSQL và AI.
• Sử dụng các kỹ thuật lưu trữ dữ liệu để cho phép kiểm toán, truy vết và kiểm tra dữ liệu lịch sử trong một kho dữ liệu.
• Phát triển một quy trình ETL (Trích xuất, Chuyển đổi, Tải) nhất quán và có thể lặp lại.
• Xây dựng và triển khai các kho dữ liệu có khả năng mở rộng và lặp lại cao.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kiến trúc sư, nhà phát triển và quản trị viên muốn sử dụng Nền tảng Denodo để tối ưu hóa và tăng tốc quản lý dữ liệu thông qua ảo hóa dữ liệu.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Nền tảng Denodo.
• Hiểu các tính năng và kiến trúc của Nền tảng Denodo.
• Hiểu các khái niệm, lợi ích và trường hợp sử dụng chính của ảo hóa dữ liệu.
• Tìm hiểu cách cấu hình và quản lý máy chủ Nền tảng Denodo.
• Triển khai bảo mật dữ liệu, quyền truy cập người dùng và xác thực dịch vụ.
• Áp dụng các công cụ và kỹ thuật để giám sát hoạt động và tối ưu hóa hiệu suất.

Apache Druid là một kho dữ liệu phân tán, hướng cột, mã nguồn mở được viết bằng Java. Nó được thiết kế để nhanh chóng tiếp nhận lượng lớn dữ liệu sự kiện và thực thi các truy vấn OLAP có độ trễ thấp trên dữ liệu đó. Druid thường được sử dụng trong các ứng dụng Business Intelligence để phân tích khối lượng lớn dữ liệu thời gian thực và lịch sử. Nó cũng rất phù hợp để cung cấp các bảng điều khiển phân tích tương tác, nhanh chóng cho người dùng cuối. Druid được sử dụng bởi các công ty như Alibaba, Airbnb, Cisco, eBay, Netflix, Paypal và Yahoo.

Trong khóa học trực tiếp, do giảng viên hướng dẫn này, chúng ta sẽ khám phá một số hạn chế của các giải pháp kho dữ liệu và thảo luận về cách Druid có thể bổ sung cho các công nghệ đó để tạo thành một ngăn xếp phân tích luồng linh hoạt và có khả năng mở rộng. Chúng ta sẽ đi qua nhiều ví dụ, mang đến cho người tham gia cơ hội triển khai và kiểm tra các giải pháp dựa trên Druid trong môi trường phòng thí nghiệm.

Định dạng của Khóa học

• Kết hợp bài giảng, thảo luận, thực hành nặng nề, thi kiểm tra thường xuyên để đánh giá mức độ hiểu bài

Dữ liệu lớn là các tập dữ liệu có dung lượng và độ phức tạp quá lớn khiến phần mềm ứng dụng xử lý dữ liệu truyền thống không thể đáp ứng được. Những thách thức của dữ liệu lớn bao gồm thu thập dữ liệu, lưu trữ dữ liệu, phân tích dữ liệu, tìm kiếm, chia sẻ, truyền tải, trực quan hóa, truy vấn, cập nhật và bảo mật thông tin.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, tại Việt Nam (trực tuyến hoặc tại chỗ), giới thiệu các nguyên tắc và phương pháp xử lý dữ liệu theo luồng và theo lô phân tán, đồng thời hướng dẫn người tham gia xây dựng một ứng dụng xử lý dữ liệu theo luồng thời gian thực trong Apache Flink.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường để phát triển các ứng dụng phân tích dữ liệu.
• Hiểu cách thức hoạt động của thư viện xử lý đồ thị (Gelly) của Apache Flink.
• Đóng gói, thực thi và giám sát các ứng dụng xử lý dữ liệu theo luồng, chịu lỗi dựa trên Flink.
• Quản lý các khối lượng công việc đa dạng.
• Thực hiện phân tích nâng cao.
• Thiết lập một cụm Flink đa nút.
• Đo lường và tối ưu hóa hiệu suất.
• Tích hợp Flink với các hệ thống Big Data khác nhau.
• So sánh khả năng của Flink với các khung xử lý dữ liệu lớn khác.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ tìm hiểu về các công nghệ và phương pháp triển khai để xử lý dữ liệu đồ thị. Mục tiêu là xác định các đối tượng trong thế giới thực, đặc điểm và mối quan hệ của chúng, sau đó mô hình hóa các mối quan hệ này và xử lý chúng như dữ liệu bằng cách tiếp cận Graph Computing (còn được gọi là Phân tích Đồ thị). Chúng ta bắt đầu với một cái nhìn tổng quan rộng rãi và thu hẹp phạm vi vào các công cụ cụ thể khi chúng ta thực hiện một loạt các nghiên cứu điển hình, bài tập thực hành và triển khai trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu cách dữ liệu đồ thị được lưu trữ và duyệt.
• Chọn khung làm việc tốt nhất cho một nhiệm vụ cụ thể (từ cơ sở dữ liệu đồ thị đến các khung xử lý hàng loạt).
• Triển khai Hadoop, Spark, GraphX và Pregel để thực hiện tính toán đồ thị trên nhiều máy song song.
• Xem các vấn đề dữ liệu lớn trong thế giới thực dưới dạng đồ thị, quy trình và duyệt.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các quản trị viên muốn thiết lập Greenplum Database cho các giải pháp thông minh nghiệp vụ và kho dữ liệu.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Đáp ứng nhu cầu xử lý với Greenplum.
• Thực hiện các hoạt động ETL cho việc xử lý dữ liệu.
• Lợi dụng cơ sở hạ tầng xử lý truy vấn hiện有翻译已经是中文的了，但目标语言是越南语（vi），所以需要重新翻译成越南语：

  Khóa đào tạo trực tiếp này, do giảng viên hướng dẫn (trực tuyến hoặc tại chỗ), dành cho các quản trị viên muốn thiết lập Greenplum Database cho các giải pháp thông minh kinh doanh và kho dữ liệu.

  Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

  • Đáp ứng nhu cầu xử lý với Greenplum.
  • Thực hiện các hoạt động ETL cho việc xử lý dữ liệu.
  • Lợi dụng cơ sở hạ tầng xử lý truy vấn hiện có.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) giới thiệu Hortonworks Data Platform (HDP) và hướng dẫn người tham gia triển khai giải pháp Spark + Hadoop.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Sử dụng Hortonworks để chạy Hadoop một cách đáng tin cậy ở quy mô lớn.
• Thống nhất các khả năng bảo mật, quản trị và vận hành của Hadoop với các quy trình phân tích nhanh nhẹn của Spark.
• Sử dụng Hortonworks để điều tra, xác thực, chứng nhận và hỗ trợ từng thành phần trong một dự án Spark.
• Xử lý các loại dữ liệu khác nhau, bao gồm dữ liệu có cấu trúc, không có cấu trúc, đang chuyển động và tĩnh.

Cloudera Impala is an open source massively parallel processing (MPP) SQL query engine for Apache Hadoop clusters.

Impala enables users to issue low-latency SQL queries to data stored in Hadoop Distributed File System and Apache Hbase without requiring data movement or transformation.

Audience

This course is aimed at analysts and data scientists performing analysis on data stored in Hadoop via Business Intelligence or SQL tools.

After this course delegates will be able to

• Extract meaningful information from Hadoop clusters with Impala.
• Write specific programs to facilitate Business Intelligence in Impala SQL Dialect.
• Troubleshoot Impala.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (tại chỗ hoặc từ xa), người tham gia sẽ học cách thiết lập và tích hợp các Stream Processing framework khác nhau với các hệ thống lưu trữ dữ liệu lớn hiện có và các ứng dụng phần mềm liên quan cũng như các microservice.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các Stream Processing framework khác nhau, chẳng hạn như Spark Streaming và Kafka Streaming.
• Hiểu và lựa chọn framework phù hợp nhất cho công việc.
• Xử lý dữ liệu liên tục, đồng thời và theo từng bản ghi.
• Tích hợp các giải pháp Stream Processing với các cơ sở dữ liệu, kho dữ liệu, hồ dữ liệu hiện có, v.v.
• Tích hợp thư viện xử lý luồng phù hợp nhất với các ứng dụng doanh nghiệp và microservice.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng Apache Kafka trong luồng dữ liệu với Python.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể sử dụng Apache Kafka để giám sát và quản lý các điều kiện trong luồng dữ liệu liên tục bằng cách sử dụng lập trình Python.

Kafka Streams là một thư viện phía máy khách để xây dựng các ứng dụng và microservice có dữ liệu được truyền đến và đi từ hệ thống nhắn tin Kafka. Theo truyền thống, Apache Kafka đã dựa vào Apache Spark hoặc Apache Storm để xử lý dữ liệu giữa các nhà sản xuất và người tiêu dùng tin nhắn. Bằng cách gọi API Kafka Streams từ trong một ứng dụng, dữ liệu có thể được xử lý trực tiếp trong Kafka, bỏ qua nhu cầu gửi dữ liệu đến một cụm riêng biệt để xử lý.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách tích hợp Kafka Streams vào một tập hợp các ứng dụng Java mẫu truyền dữ liệu đến và đi từ Apache Kafka để xử lý luồng.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các tính năng và ưu điểm của Kafka Streams so với các khung xử lý luồng khác
• Xử lý dữ liệu luồng trực tiếp trong cụm Kafka
• Lập trình một ứng dụng hoặc microservice Java hoặc Scala tích hợp với Kafka và Kafka Streams
• Viết mã ngắn gọn chuyển đổi các chủ đề Kafka đầu vào thành các chủ đề Kafka đầu ra
• Xây dựng, đóng gói và triển khai ứng dụng

Đối tượng

• Nhà phát triển

Định dạng của khóa học

• Phần giảng dạy, phần thảo luận, bài tập và thực hành nhiều tay

Ghi chú

• Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà phát triển muốn triển khai xử lý luồng Apache Kafka mà không cần viết mã.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Confluent KSQL.
• Thiết lập một quy trình xử lý luồng chỉ bằng các lệnh SQL (không cần viết mã Java hoặc Python).
• Thực hiện lọc dữ liệu, chuyển đổi, tổng hợp, kết hợp, phân vùng theo cửa sổ và phân nhóm phiên hoàn toàn bằng SQL.
• Thiết kế và triển khai các truy vấn tương tác, liên tục cho ETL luồng và phân tích thời gian thực.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho những người có chuyên môn kỹ thuật muốn tìm hiểu cách triển khai chiến lược học máy đồng thời tối đa hóa việc sử dụng dữ liệu lớn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ:

• Hiểu được quá trình phát triển và các xu hướng của học máy.
• Biết cách học máy đang được ứng dụng trong các ngành công nghiệp khác nhau.
• Làm quen với các công cụ, kỹ năng và dịch vụ có sẵn để triển khai học máy trong một tổ chức.
• Hiểu cách học máy có thể được sử dụng để nâng cao khai thác dữ liệu và phân tích.
• Tìm hiểu về kiến trúc trung gian dữ liệu (data middle backend) và cách các doanh nghiệp đang sử dụng nó.
• Hiểu vai trò của dữ liệu lớn và các ứng dụng thông minh trong các ngành công nghiệp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (tại chỗ hoặc từ xa), người tham gia sẽ học cách triển khai và quản lý Apache NiFi trong môi trường phòng thí nghiệm trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Apachi NiFi.
• Thu thập, chuyển đổi và quản lý dữ liệu từ nhiều nguồn dữ liệu phân tán khác nhau, bao gồm cơ sở dữ liệu và các hồ dữ liệu lớn.
• Tự động hóa luồng dữ liệu.
• Kích hoạt phân tích luồng.
• Áp dụng các phương pháp khác nhau để đưa dữ liệu vào.
• Chuyển đổi Big Data thành thông tin chi tiết hữu ích cho doanh nghiệp.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học các nguyên tắc cơ bản của lập trình dựa trên luồng khi phát triển một số tiện ích mở rộng, thành phần và bộ xử lý bằng Apache NiFi.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu kiến trúc và khái niệm luồng dữ liệu của NiFi.
• Phát triển các tiện ích mở rộng bằng NiFi và API của bên thứ ba.
• Tự phát triển bộ xử lý Apache Nifi của riêng họ.
• Thu thập và xử lý dữ liệu thời gian thực từ các định dạng tệp và nguồn dữ liệu khác nhau và không phổ biến.

Khóa đào tạo trực tiếp, trực tuyến hoặc tại chỗ này dành cho các kỹ sư dữ liệu, nhà khoa học dữ liệu và lập trình viên muốn sử dụng các tính năng của Spark Streaming để xử lý và phân tích dữ liệu thời gian thực.

Khi kết thúc khóa đào tạo, người tham gia sẽ có thể sử dụng Spark Streaming để xử lý các luồng dữ liệu trực tiếp để sử dụng trong cơ sở dữ liệu, hệ thống tệp và bảng điều khiển trực tiếp.

MLlib là thư viện học máy (ML) của Spark. Mục tiêu của nó là làm cho việc học máy thực tế có thể mở rộng và dễ dàng. Nó bao gồm các thuật toán và tiện ích học tập phổ biến, bao gồm phân loại, hồi quy, phân cụm, lọc cộng tác, giảm chiều, cũng như các nguyên thủy tối ưu hóa cấp thấp và API pipeline cấp cao.

Nó được chia thành hai gói:

• spark.mllib chứa API ban đầu được xây dựng trên RDD.

• spark.ml cung cấp API cấp cao được xây dựng trên DataFrames để xây dựng pipeline ML.

Đối tượng

Khóa học này dành cho các kỹ sư và nhà phát triển muốn sử dụng Thư viện Máy học tích hợp cho Apache Spark

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ thuật viên muốn triển khai Talend Open Studio cho Big Data để đơn giản hóa quy trình đọc và xử lý Big Data.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Talend Open Studio cho Big Data.
• Kết nối với các hệ thống Big Data như Cloudera, HortonWorks, MapR, Amazon EMR và Apache.
• Hiểu và thiết lập các thành phần và trình kết nối dữ liệu lớn của Open Studio.
• Cấu hình các tham số để tự động tạo mã MapReduce.
• Sử dụng giao diện kéo và thả của Open Studio để chạy các công việc Hadoop.
• Nguyên mẫu các đường dẫn dữ liệu lớn.
• Tự động hóa các dự án tích hợp dữ liệu lớn.

Teradata là một trong những Hệ thống Management Database Quan hệ phổ biến. Nó chủ yếu phù hợp để xây dựng các ứng dụng kho dữ liệu quy mô lớn. Teradata đạt được điều này thông qua khái niệm song song.

Khóa học này giới thiệu cho người tham gia về Teradata.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này giới thiệu các khái niệm về phân tích dữ liệu tương tác và hướng dẫn người tham gia triển khai và sử dụng Zeppelin trong môi trường một người dùng hoặc nhiều người dùng.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Zeppelin
• Phát triển, tổ chức, thực thi và chia sẻ dữ liệu trong giao diện dựa trên trình duyệt
• Trực quan hóa kết quả mà không cần tham khảo dòng lệnh hoặc chi tiết cụm
• Thực thi và cộng tác trên các quy trình làm việc dài hạn
• Làm việc với bất kỳ số lượng ngôn ngữ/backend xử lý dữ liệu plugin, chẳng hạn như Scala (với Apache Spark), Python (với Apache Spark), Spark SQL, JDBC, Markdown và Shell.
• Tích hợp Zeppelin với Spark, Flink và Map Reduce
• Bảo mật các phiên bản đa người dùng của Zeppelin với Apache Shiro

ZooKeeper là một dịch vụ tập trung để duy trì thông tin cấu hình, đặt tên, cung cấp đồng bộ hóa phân tán và cung cấp các dịch vụ nhóm.