Đề cương khóa học
Giới thiệu
- Tổng quan về các thách thức mở rộng quy mô học sâu
- Tổng quan về DeepSpeed và các tính năng của nó
- DeepSpeed so với các thư viện học sâu phân tán khác
Bắt đầu
- Thiết lập môi trường phát triển
- Cài đặt PyTorch và DeepSpeed
- Cấu hình DeepSpeed cho huấn luyện phân tán
Các Tính năng Tối ưu hóa của DeepSpeed
- Quy trình huấn luyện DeepSpeed
- ZeRO (tối ưu hóa bộ nhớ)
- Checkpoint kích hoạt
- Checkpoint gradient
- Song song hóa pipeline
Mở rộng Quy mô Mô hình với DeepSpeed
- Mở rộng quy mô cơ bản bằng DeepSpeed
- Các kỹ thuật mở rộng quy mô nâng cao
- Các cân nhắc về hiệu suất và các phương pháp hay nhất
- Kỹ thuật gỡ lỗi và khắc phục sự cố
Các Chủ đề Nâng cao về DeepSpeed
- Các kỹ thuật tối ưu hóa nâng cao
- Sử dụng DeepSpeed với huấn luyện độ chính xác hỗn hợp
- DeepSpeed trên các phần cứng khác nhau (ví dụ: GPUs, TPUs)
- DeepSpeed với nhiều nút huấn luyện
Tích hợp DeepSpeed với PyTorch
- Tích hợp DeepSpeed với quy trình làm việc PyTorch
- Sử dụng DeepSpeed với PyTorch Lightning
Khắc phục sự cố
- Gỡ lỗi các sự cố thường gặp của DeepSpeed
- Giám sát và ghi nhật ký
Tóm tắt và Các Bước Tiếp theo
- Tóm tắt các khái niệm và tính năng chính
- Các phương pháp hay nhất để sử dụng DeepSpeed trong sản xuất
- Các tài nguyên bổ sung để tìm hiểu thêm về DeepSpeed
Yêu cầu
- Kiến thức trung cấp về các nguyên tắc học sâu
- Kinh nghiệm với PyTorch hoặc các framework học sâu tương tự
- Làm quen với lập trình Python
Đối tượng
- Nhà khoa học dữ liệu
- Kỹ sư học máy
- Nhà phát triển
Đánh giá (3)
Tôi thực sự thích phần cuối khi chúng tôi dành thời gian để làm quen với CHAT GPT. Phòng học không được bố trí tốt cho hoạt động này - thay vì một bàn lớn, vài bàn nhỏ để chúng tôi có thể chia thành nhóm nhỏ và thảo luận sẽ giúp ích hơn nhiều.
Nola - Laramie County Community College
Khóa học - Artificial Intelligence (AI) Overview
Dịch thuật bằng máy
Làm việc dựa trên các nguyên lý cơ bản một cách tập trung, và chuyển sang áp dụng các trường hợp nghiên cứu trong cùng một ngày
Maggie Webb - Department of Jobs, Regions, and Precincts
Khóa học - Artificial Neural Networks, Machine Learning, Deep Thinking
Dịch thuật bằng máy
Đó là việc sử dụng dữ liệu thực tế của công ty. Giảng viên có cách tiếp cận rất tốt bằng cách khiến học viên tham gia và cạnh tranh
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Khóa học - Applied AI from Scratch in Python
Dịch thuật bằng máy