Liên hệ với chúng tôi

Đề cương khóa học

Giới thiệu về EXO và Clustering AI Cục bộ

  • Tổng quan về khung EXO và hệ sinh thái exo-explore
  • So sánh suy luận đám mây tập trung vs suy luận cục bộ phân tán
  • Kiến trúc: phát hiện thiết bị libp2p, nền tảng MLX, bảng điều khiển (dashboard) và lớp API
  • Nhạy cầu phần cứng: Apple Silicon (M3 Ultra, M4 Pro/Max), Thunderbolt 5, lưu trữ chia sẻ

Cài đặt EXO trên macOS

  • Cài đặt Xcode, Bộ công cụ Metal và các yêu cầu tiên quyết của macOS
  • Cài đặt uv, Node.js, bộ công cụ Rust nightly
  • Cài đặt bản fork macmon được gắn phiên bản để giám sát Apple Silicon
  • Clone kho lưu trữ và xây dựng bảng điều khiển với npm
  • Chạy EXO từ mã nguồn và xác minh bảng điều khiển tại localhost:52415

Cài đặt EXO trên Linux

  • Cài đặt các gói phụ thuộc qua apt hoặc Homebrew trên Linux
  • Cấu hình uv, Node.js 18+ và Rust nightly
  • Xây dựng bảng điều khiển và chạy EXO ở chế độ chỉ CPU
  • Cấu trúc thư mục: đường dẫn XDG Base Directory cho config, data, cache và logs

Phát hiện thiết bị tự động và hình thành cụm

  • Hiểu cơ chế tự động phát triển dựa trên libp2p qua mạng nội bộ
  • Cấu hình namespace tùy chỉnh với EXO_LIBP2P_NAMESPACE để cô lập cụm
  • Xác minh sự tham gia của nút trong chế độ xem cụm của bảng điều khiển
  • Xử lý các lỗi phát hiện và vấn đề phân đoạn mạng

Kích hoạt RDMA qua Thunderbolt 5

  • Kiến trúc RDMA và tuyên bố giảm độ trễ 99 phần trăm
  • Bật RDMA trong chế độ khôi phục macOS bằng rdma_ctl
  • Yêu cầu về cáp và các hạn chế về cấu hình cổng trên Mac Studio
  • Đồng nhất phiên bản macOS trên tất cả các nút cụm
  • Xử lý sự cố phát hiện RDMA và cấu hình DHCP

Triển khai các mô hình tiên tiến

  • Sử dụng bảng điều khiển để tải và phân đoạn các mô hình DeepSeek v3.1, Qwen3-235B và họ Llama
  • Xem trước vị trí đặt phiên bản qua điểm cuối API /instance/previews
  • Tạo phiên bản mô hình bằng cách phân đoạn theo đường ống (pipeline) hoặc tensor song song
  • Cấu hình các thẻ mô hình tùy chỉnh từ HuggingFace hub

Giam sát và xử lý sự cố

  • Đọc nhật ký EXO và hiểu về phân tích truy dẫn phân tán (distributed tracing)
  • Diễn giải sức khỏe cụm trong chế độ xem cụm của bảng điều khiển
  • Chẩn đoán lỗi nút worker và hành vi kết nối lại
  • Sử dụng EXO_TRACING_ENABLED để phân tích nút thắt cổ chai hiệu suất

Bảo trì và cập nhật cụm

  • Cập nhật nhị phân EXO và quy trình xây dựng lại bảng điều khiển
  • Di chuyển bộ nhớ đệm mô hình và quản lý các mô hình đã tải trước qua NFS
  • Loại bỏ nút một cách duyên dáng và cân bằng tải lại

Yêu cầu

  • Hiểu biết về các nguyên lý mạng cơ bản (IP, phân vùng mạng con, tường lửa)
  • Kinh nghiệm quản trị qua dòng lệnh trên macOS hoặc Linux
  • Quen thuộc với việc quản lý gói Python (pip/uv) và công cụ Node.js

Đối tượng

  • Quản trị viên hệ thống
  • Kỹ sư DevOps
  • Các kiến trúc sư cơ sở hạ tầng AI phụ trách triển khai LLM tại chỗ
 21 Giờ

Số người tham gia


Giá cho mỗi học viên

Các khóa học sắp tới

Các danh mục liên quan