Đề cương khóa học

Giới thiệu, Mục tiêu và Chiến lược Chuyển đổi

  • Mục tiêu khóa học, đối chiếu hồ sơ người tham gia và tiêu chí thành công
  • Các phương pháp chuyển đổi cấp cao và các yếu tố rủi ro
  • Thiết lập workspace, repository và bộ dữ liệu thực hành

Ngày 1 — Cơ bản về Chuyển đổi và Kiến trúc

  • Các khái niệm Lakehouse, tổng quan Delta Lake và kiến trúc Databricks
  • Sự khác biệt giữa SMP và MPP và tác động đến việc chuyển đổi
  • Thiết kế Medallion (Bronze→Silver→Gold) và tổng quan Unity Catalog

Ngày 1 Thực hành — Dịch một Stored Procedure

  • Thực hành hands-on chuyển đổi stored procedure mẫu thành notebook
  • Ánh xạ các bảng tạm và con trỏ (cursor) sang các biến đổi DataFrame
  • Xác thực và so sánh với kết quả gốc

Ngày 2 — Delta Lake Nâng Cao & Tải Dữ liệu Tăng dần

  • Giao dịch ACID, nhật ký commit, phiên bản và thời gian di chuyển
  • Auto Loader, mẫu MERGE INTO, upserts và tiến hóa schema
  • Tối ưu hóa OPTIMIZE, VACUUM, Z-ORDER, phân vùng và điều chỉnh lưu trữ

Ngày 2 Thực hành — Tải Dữ liệu Tăng dần & Tối ưu hóa

  • Triển khai việc tải dữ liệu tự động (Auto Loader) và quy trình MERGE
  • Áp dụng OPTIMIZE, Z-ORDER và VACUUM; xác nhận kết quả
  • Đo lường cải thiện hiệu suất đọc/ghi

Ngày 3 — SQL trong Databricks, Hiệu suất & Gỡ lỗi

  • Các tính năng SQL phân tích: hàm cửa sổ, hàm cấp cao, xử lý JSON/mảng
  • Đọc Spark UI, DAGs, shuffle, giai đoạn, tác vụ và chẩn đoán cổ chai
  • Các mẫu tối ưu hóa truy vấn: join phát sóng, gợi ý, bộ đệm và giảm thiểu tràn nhớ

Ngày 3 Thực hành — Refactoring SQL & Tối ưu hóa Hiệu suất

  • Refactor quy trình SQL nặng thành Spark SQL tối ưu
  • Sử dụng vết tích Spark UI để xác định và sửa lỗi chênh lệch và shuffle
  • Đánh giá trước/sau và ghi lại các bước tối ưu hóa

Ngày 4 — PySpark Tác chiến: Thay thế Logic Thủ tục

  • Mô hình thực thi Spark: trình điều khiển, executor, đánh giá lười biếng và các chiến lược phân vùng
  • Chuyển đổi vòng lặp và con trỏ (cursor) thành các thao tác DataFrame vector hóa
  • Modularization, UDFs/pandas UDFs, widget và thư viện tái sử dụng

Ngày 4 Thực hành — Refactoring Script Thủ tục

  • Refactor script ETL thủ tục thành notebook PySpark modular
  • Giới thiệu parametrization, kiểm thử kiểu đơn vị và các hàm tái sử dụng
  • Xem xét mã code và áp dụng danh sách kiểm tra tốt nhất

Ngày 5 — Điều phối, Pipeline Từ Đầu đến Cuối & Các Thực hành Tốt Nhất

  • Databricks Workflows: thiết kế công việc, phụ thuộc tác vụ, kích hoạt và xử lý lỗi
  • Thiết kế pipeline Medallion tăng dần với quy tắc chất lượng và kiểm tra schema
  • Tích hợp với Git (GitHub/Azure DevOps), CI và chiến lược kiểm thử cho logic PySpark

Ngày 5 Thực hành — Xây dựng Pipeline Từ Đầu đến Cuối Hoàn chỉnh

  • Lắp ráp pipeline Bronze→Silver→Gold được điều phối bằng Workflows
  • Triển khai ghi log, kiểm toán, thử lại và xác thực tự động
  • Chạy pipeline đầy đủ, xác nhận đầu ra và chuẩn bị các ghi chú triển khai

Hoạt động hóa, Quản lý và Sẵn sàng Sản xuất

  • Các thực hành tốt nhất về quản lý Unity Catalog, dòng dõi và kiểm soát truy cập
  • Chi phí, kích thước cluster, tự động điều chỉnh và các mẫu chạy đồng thời công việc
  • Danh sách kiểm tra triển khai, chiến lược rollback và tạo runbook

Xem lại Cuối cùng, Chuyển giao Kiến thức và Bước Kế tiếp

  • Bài trình bày của người tham gia về công việc chuyển đổi và bài học đã rút ra
  • Phân tích khoảng cách, các hoạt động theo dõi đề xuất và bàn giao tài liệu đào tạo
  • Tài liệu tham khảo, các đường học tập tiếp theo và các lựa chọn hỗ trợ

Yêu cầu

  • Hiểu biết về các khái niệm kỹ thuật dữ liệu
  • Kinh nghiệm với SQL và stored procedures (Synapse / SQL Server)
  • Quen thuộc với các khái niệm điều phối ETL (ADF hoặc tương tự)

Đối Tượng

  • Quản lý công nghệ có nền tảng về kỹ thuật dữ liệu
  • Kỹ sư dữ liệu chuyển đổi logic OLAP thủ tục sang các mô hình Lakehouse
  • Kỹ sư nền tảng chịu trách nhiệm triển khai Databricks
 35 Giờ học

Số người tham gia


Giá cho mỗi người tham gia

Khóa học đào tạo mở cần có ít nhất 5 người tham gia.

Các khóa học sắp tới

Databricks Migration Workshop: Từ Stored Procedures đến Lakehouse (5 ngày tập trung)

2025-12-22 09:30
35 Giờ học
InterContinental Hanoi Westlake
508,100,590 VND (Trực tuyến)
508,100,590 VND (Phòng học)

Databricks Migration Workshop: Từ Stored Procedures đến Lakehouse (5 ngày tập trung)

2026-01-05 09:30
35 Giờ học
JW Marriott Hanoi
508,100,590 VND (Trực tuyến)
508,100,590 VND (Phòng học)

Databricks Migration Workshop: Từ Stored Procedures đến Lakehouse (5 ngày tập trung)

2026-01-19 09:30
35 Giờ học
Pullman Ha Noi
508,100,590 VND (Trực tuyến)
508,100,590 VND (Phòng học)

Databricks Migration Workshop: Từ Stored Procedures đến Lakehouse (5 ngày tập trung)

2026-02-02 09:30
35 Giờ học
Sofitel Legend Metropole Hanoi
508,100,590 VND (Trực tuyến)
508,100,590 VND (Phòng học)

Databricks Migration Workshop: Từ Stored Procedures đến Lakehouse (5 ngày tập trung)

2026-02-16 09:30
35 Giờ học
Toong IPH
508,100,590 VND (Trực tuyến)
508,100,590 VND (Phòng học)

Các khóa học liên quan

Học Máy với Azure Databricks cho Tài chính

 7 Giờ học

Azure Databricks là một nền tảng hợp tác dựa trên đám mây hỗ trợ phân tích dữ liệu lớn và học máy bằng Apache Spark và hệ sinh thái Microsoft Azure.

Khóa đào tạo trực tiếp do giảng viên hướng dẫn (trực tuyến hoặc tại địa điểm) này dành cho các chuyên gia dữ liệu ở mức trung cấp muốn thiết kế, xây dựng và triển khai các mô hình học máy sử dụng Azure Databricks cho các trường hợp sử dụng tài chính.

Đến cuối khóa đào tạo, người tham dự sẽ có thể:

  • Xây dựng và huấn luyện các mô hình học máy bằng dữ liệu tài chính trong Azure Databricks.
  • Sử dụng MLflow để theo dõi thí nghiệm, quản lý mô hình và triển khai giải pháp.
  • Áp dụng các mô hình để phát hiện dị thường, đánh giá rủi ro hoặc dự báo xu hướng trong tài chính.
  • Tích hợp các mô hình học máy vào các đường ống có khả năng mở rộng cho việc đánh giá liên tục.

Định dạng Khóa Học

  • Bài giảng và thảo luận tương tác.
  • Nhiều bài tập và thực hành.
  • Thực hiện trực tiếp trong môi trường lab trực tiếp.

Tùy chỉnh Khóa Học

  • Để yêu cầu khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Đọc thêm...

Databricks

 14 Giờ học

Khóa học trực tiếp do giảng viên hướng dẫn tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu và lập trình viên muốn thiết lập, triển khai và quản lý các giải pháp phân tích dữ liệu sử dụng Databricks.

Sau khi kết thúc khóa học này, người tham gia sẽ có thể:

  • Thiết lập và cấu hình Databricks.
  • Tìm hiểu cách Databricks và Apache Spark hoạt động cùng nhau.
  • Học cách tải và biến đổi dữ liệu trong Databricks.
Đọc thêm...

Chương Trình Đào Tạo Intensive Databricks Data Engineering Immersive

 350 Giờ học

Databricks Lakehouse là một nền tảng dữ liệu và AI thống nhất, kết hợp giữa kỹ thuật dữ liệu, khoa học dữ liệu và phân tích trên một cơ sở có thể mở rộng.

Chương trình đào tạo trực tiếp này (trực tuyến hoặc tại chỗ) dành cho các kỹ sư dữ liệu và chuyên gia phân tích ở mức trung cấp đến nâng cao, mong muốn đạt được kỹ năng end-to-end, sẵn sàng cho sản xuất trong kỹ thuật dữ liệu sử dụng Databricks, Apache Spark, điều phối và trực quan hóa.

Sau khi kết thúc khóa học này, người tham gia sẽ có thể:

  • Thiết kế và triển khai các đường ống ETL/ELT có khả năng mở rộng trên nền tảng Databricks Lakehouse.
  • Sử dụng Spark và SQL nâng cao hiệu quả cho việc xử lý dữ liệu lớn và tối ưu hóa.
  • Xây dựng, đào tạo và triển khai các mô hình sử dụng mẫu Big Data ML và công cụ Databricks.
  • Triển khai các mẫu mô hình dữ liệu và nhập dữ liệu phù hợp với nhu cầu phân tích và báo cáo.
  • Tự động hóa quy trình làm việc bằng Airflow/Astronomer và vận hành bằng Git-based CI/CD.
  • Tạo bảng điều khiển và trực quan hóa cấp sản xuất sử dụng Tableau kết nối với Databricks.
  • Hoàn thành dự án cuối khóa tùy chỉnh, thể hiện giải pháp Lakehouse end-to-end.

Định dạng của Khóa Học

  • Bài giảng lý thuyết với các chủ đề hàng ngày và đọc tài liệu.
  • Làm bài tập thực hành mở rộng trong Databricks và môi trường đám mây.
  • Đánh giá thực tế hàng tuần và chuẩn bị huy hiệu chứng chỉ.
  • Công việc dự án được hướng dẫn với sự hỗ trợ của giáo viên và đánh giá đồng nghiệp.
  • Dự án cuối khóa tùy chỉnh và thuyết trình.

Tùy Chỉnh Khóa Học

  • Để yêu cầu khóa học được tùy chỉnh, vui lòng liên hệ với chúng tôi để sắp xếp.
Đọc thêm...

Data Analysis với Databricks cho Finance

14 Giờ học

Databricks là một nền tảng phân tích thống nhất được thiết kế cho dữ liệu lớn và học máy trong môi trường hợp tác.

Khóa đào tạo trực tiếp này (trực tuyến hoặc tại chỗ) dành cho các chuyên gia phân tích dữ liệu và tài chính từ trình độ cơ bản đến trung cấp muốn thực hiện việc phân tích dữ liệu quy mô lớn sử dụng Databricks trong các tình huống liên quan đến tài chính.

Bằng cách kết thúc khóa học này, người tham gia sẽ có thể:

  • Sử dụng các cuốn sổ ghi chú của Databricks để truy vấn và phân tích các bộ dữ liệu tài chính.
  • Làm sạch và chuyển đổi dữ liệu tài chính chưa qua xử lý cho báo cáo và thông tin.
  • Tạo bảng điều khiển và biểu đồ trực quan để theo dõi hiệu suất.
  • Hợp tác với đồng nghiệp trong thời gian thực trên các cuốn sổ chia sẻ.

Định dạng của Khóa học

  • Bài giảng tương tác và thảo luận.
  • Nhiều bài tập và thực hành.
  • Triển khai thực tế trong môi trường phòng thí nghiệm trực tiếp.

Tùy chọn Tùy chỉnh Khóa học

  • Để yêu cầu một khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Đọc thêm...

Các danh mục liên quan

Databricks
Databricks