Cảm ơn bạn đã gửi yêu cầu! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Cảm ơn bạn đã gửi đặt chỗ! Một thành viên trong đội ngũ của chúng tôi sẽ liên hệ với bạn ngay lập tức.
Đề cương khóa học
Mã hóa Hạ tầng cho EXO
- Tổng quan về các mẫu triển khai EXO: cụm một nút, nhiều nút và cụm RDMA
- Tự động hóa cài đặt phụ thuộc (Xcode, uv, Node.js, Rust) bằng công cụ quản lý cấu hình
- Sử dụng Nix flakes để tạo bản dựng EXO và môi trường nhà phát triển có thể tái lập
- Viết các playbook Ansible hoặc script shell để cung cấp cụm không cần người giám sát (unattended)
Bản dựng Tái lập và Tích hợp CI
- Cố định phiên bản phụ thuộc và xây dựng dashboard trong pipeline CI
- Chạy các bài kiểm tra khói (smoke tests) của EXO trên GitHub Actions hoặc GitLab CI runners
- Tạo các hình ảnh chuẩn (golden images) và quy trình rollback dựa trên snapshot cho máy ảo macOS và Linux
- Làm phiên bản hóa các thẻ mô hình tùy chỉnh cùng với mã ứng dụng
Khám phá Cụm và Tự động hóa Mạng
- Cấu hình mDNS và DNS tĩnh để khám phá node libp2p đáng tin cậy
- Tự động hóa việc tạo hồ sơ mạng và quản lý cầu nối Thunderbolt trên macOS
- Sử dụng các không gian tên tùy chỉnh (EXO_LIBP2P_NAMESPACE) để tách biệt các cụm dev, staging và prod
- Quy tắc tường lửa và phân đoạn mạng cho môi trường đa thuê bao
Quản lý Lưu trữ và Vòng đời Mô hình
- Thiết kế chiến lược cho EXO_MODELS_DIRS và EXO_MODELS_READ_ONLY_DIRS
- Gắn các chia sẻ NFS hoặc SAN làm kho lưu trữ mô hình chỉ đọc để cung cấp nhanh chóng
- Kiểm rác (garbage collection) đối với bộ nhớ cache lỗi thời và chính sách giữ lại trọng số có phiên bản
- Tự động hóa việc tải trước mô hình và kiểm tra sức khỏe trước khi cập nhật dần (rolling updates)
Giám sát và Cảnh báo
- Gửi logs của EXO đến hệ thống logging tập trung (ELK, Loki hoặc Splunk)
- Xây dựng dashboard Grafana từ đầu ra của EXO_TRACING_ENABLED
- Cảnh báo khi thay đổi thành viên cụm, sự kiện OOM (Out of Memory) và độ trễ suy luận tăng đột biến
- Correlate (tương quan) dữ liệu telemetry phần cứng macmon với các hồi quy hiệu suất mô hình
Cập nhật, Rollback và Khôi phục Sau thảm họa
- Stage (sàng lọc) các bản cập nhật nhị phân của EXO trên một nút canary trước khi triển khai toàn bộ cụm
- Rollback cấp mô hình: chuyển đổi giữa các phiên bản đã lượng tử hóa mà không cần tải lại từ đầu
- Sao lưu và khôi phục trạng thái cụm, không gian tên tùy chỉnh và trọng số đã cache
- Soạn thảo runbooks (sách hướng dẫn xử lý) cho kịch bản tái xây dựng hoàn toàn cụm
Củng cố Bảo mật và Tuân thủ
- Áp dụng TLS tại lớp proxy ngược (nginx, traefik) cho dashboard và API
- Triển khai giới hạn tỷ lệ API và danh sách trắng IP cho các điểm cuối EXO
- Tách biệt các cụm bằng VLAN và chính sách mạng zero-trust
- Kiểm toán quyền truy cập và duy trì kho lưu trữ thông tin về các mô hình đã triển khai và phiên bản của chúng
Yêu cầu
- Kinh nghiệm với các thực hành DevOps (CI/CD, IaC, điều phối container)
- Thông thạo quản trị hệ thống macOS hoặc Linux và quản lý gói phần mềm
- Hiểu biết về khái niệm mạng, DNS và lưu trữ
Nhóm đối tượng
- Kỹ sư DevOps
- Kiến trúc sư hạ tầng
- Chuyên gia SRE chịu trách nhiệm cho các tác vụ AI chạy trên-premise
21 Giờ
Đánh giá (2)
Craig tham gia vào việc đào tạo một cách cực kỳ tích cực, luôn đảm bảo chúng tôi tập trung, điều chỉnh ví dụ phù hợp với công việc hàng ngày của chúng tôi và luôn cung cấp câu trả lời khi được hỏi, thậm chí nếu thông tin đó không có trong bài trình bày.
Ecaterina Ioana Nicoale - BOOKING HOLDINGS ROMANIA SRL
Khóa học - DevOps Foundation®
Dịch thuật bằng máy
Mức độ cam kết và kiến thức của người hướng dẫn cao
Jacek - Softsystem
Khóa học - DevOps Engineering Foundation (DOEF)®
Dịch thuật bằng máy