Liên hệ với chúng tôi

Đề cương khóa học

Mã hóa Hạ tầng cho EXO

  • Tổng quan về các mẫu triển khai EXO: cụm một nút, nhiều nút và cụm RDMA
  • Tự động hóa cài đặt phụ thuộc (Xcode, uv, Node.js, Rust) bằng công cụ quản lý cấu hình
  • Sử dụng Nix flakes để tạo bản dựng EXO và môi trường nhà phát triển có thể tái lập
  • Viết các playbook Ansible hoặc script shell để cung cấp cụm không cần người giám sát (unattended)

Bản dựng Tái lập và Tích hợp CI

  • Cố định phiên bản phụ thuộc và xây dựng dashboard trong pipeline CI
  • Chạy các bài kiểm tra khói (smoke tests) của EXO trên GitHub Actions hoặc GitLab CI runners
  • Tạo các hình ảnh chuẩn (golden images) và quy trình rollback dựa trên snapshot cho máy ảo macOS và Linux
  • Làm phiên bản hóa các thẻ mô hình tùy chỉnh cùng với mã ứng dụng

Khám phá Cụm và Tự động hóa Mạng

  • Cấu hình mDNS và DNS tĩnh để khám phá node libp2p đáng tin cậy
  • Tự động hóa việc tạo hồ sơ mạng và quản lý cầu nối Thunderbolt trên macOS
  • Sử dụng các không gian tên tùy chỉnh (EXO_LIBP2P_NAMESPACE) để tách biệt các cụm dev, staging và prod
  • Quy tắc tường lửa và phân đoạn mạng cho môi trường đa thuê bao

Quản lý Lưu trữ và Vòng đời Mô hình

  • Thiết kế chiến lược cho EXO_MODELS_DIRS và EXO_MODELS_READ_ONLY_DIRS
  • Gắn các chia sẻ NFS hoặc SAN làm kho lưu trữ mô hình chỉ đọc để cung cấp nhanh chóng
  • Kiểm rác (garbage collection) đối với bộ nhớ cache lỗi thời và chính sách giữ lại trọng số có phiên bản
  • Tự động hóa việc tải trước mô hình và kiểm tra sức khỏe trước khi cập nhật dần (rolling updates)

Giám sát và Cảnh báo

  • Gửi logs của EXO đến hệ thống logging tập trung (ELK, Loki hoặc Splunk)
  • Xây dựng dashboard Grafana từ đầu ra của EXO_TRACING_ENABLED
  • Cảnh báo khi thay đổi thành viên cụm, sự kiện OOM (Out of Memory) và độ trễ suy luận tăng đột biến
  • Correlate (tương quan) dữ liệu telemetry phần cứng macmon với các hồi quy hiệu suất mô hình

Cập nhật, Rollback và Khôi phục Sau thảm họa

  • Stage (sàng lọc) các bản cập nhật nhị phân của EXO trên một nút canary trước khi triển khai toàn bộ cụm
  • Rollback cấp mô hình: chuyển đổi giữa các phiên bản đã lượng tử hóa mà không cần tải lại từ đầu
  • Sao lưu và khôi phục trạng thái cụm, không gian tên tùy chỉnh và trọng số đã cache
  • Soạn thảo runbooks (sách hướng dẫn xử lý) cho kịch bản tái xây dựng hoàn toàn cụm

Củng cố Bảo mật và Tuân thủ

  • Áp dụng TLS tại lớp proxy ngược (nginx, traefik) cho dashboard và API
  • Triển khai giới hạn tỷ lệ API và danh sách trắng IP cho các điểm cuối EXO
  • Tách biệt các cụm bằng VLAN và chính sách mạng zero-trust
  • Kiểm toán quyền truy cập và duy trì kho lưu trữ thông tin về các mô hình đã triển khai và phiên bản của chúng

Yêu cầu

  • Kinh nghiệm với các thực hành DevOps (CI/CD, IaC, điều phối container)
  • Thông thạo quản trị hệ thống macOS hoặc Linux và quản lý gói phần mềm
  • Hiểu biết về khái niệm mạng, DNS và lưu trữ

Nhóm đối tượng

  • Kỹ sư DevOps
  • Kiến trúc sư hạ tầng
  • Chuyên gia SRE chịu trách nhiệm cho các tác vụ AI chạy trên-premise
 21 Giờ

Số người tham gia


Giá cho mỗi học viên

Đánh giá (2)

Các khóa học sắp tới

Các danh mục liên quan