Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Đề cương khóa học
Giới thiệu
- Tổng quan về các thách thức mở rộng quy mô học sâu
- Tổng quan về DeepSpeed và các tính năng của nó
- DeepSpeed so với các thư viện học sâu phân tán khác
Bắt đầu
- Thiết lập môi trường phát triển
- Cài đặt PyTorch và DeepSpeed
- Cấu hình DeepSpeed cho huấn luyện phân tán
Các Tính năng Tối ưu hóa của DeepSpeed
- Quy trình huấn luyện DeepSpeed
- ZeRO (tối ưu hóa bộ nhớ)
- Checkpoint kích hoạt
- Checkpoint gradient
- Song song hóa pipeline
Mở rộng Quy mô Mô hình với DeepSpeed
- Mở rộng quy mô cơ bản bằng DeepSpeed
- Các kỹ thuật mở rộng quy mô nâng cao
- Các cân nhắc về hiệu suất và các phương pháp hay nhất
- Kỹ thuật gỡ lỗi và khắc phục sự cố
Các Chủ đề Nâng cao về DeepSpeed
- Các kỹ thuật tối ưu hóa nâng cao
- Sử dụng DeepSpeed với huấn luyện độ chính xác hỗn hợp
- DeepSpeed trên các phần cứng khác nhau (ví dụ: GPUs, TPUs)
- DeepSpeed với nhiều nút huấn luyện
Tích hợp DeepSpeed với PyTorch
- Tích hợp DeepSpeed với quy trình làm việc PyTorch
- Sử dụng DeepSpeed với PyTorch Lightning
Khắc phục sự cố
- Gỡ lỗi các sự cố thường gặp của DeepSpeed
- Giám sát và ghi nhật ký
Tóm tắt và Các Bước Tiếp theo
- Tóm tắt các khái niệm và tính năng chính
- Các phương pháp hay nhất để sử dụng DeepSpeed trong sản xuất
- Các tài nguyên bổ sung để tìm hiểu thêm về DeepSpeed
Requirements
- Kiến thức trung cấp về các nguyên tắc học sâu
- Kinh nghiệm với PyTorch hoặc các framework học sâu tương tự
- Làm quen với lập trình Python
Đối tượng
- Nhà khoa học dữ liệu
- Kỹ sư học máy
- Nhà phát triển
21 Hours
Testimonials (2)
Organizasau theo đề xuất chương trình, người hướng dẫn có kiến thức sâu rộng về chủ đề này
Ali Kattan - TWPI
Course - Natural Language Processing with TensorFlow
Machine Translated
Very updated approach or CPI (tensor flow, era, learn) to do machine learning.
Paul Lee
Course - TensorFlow for Image Recognition
Machine Translated