Liên hệ với chúng tôi

Đề cương khóa học

Triển khai EXO ngoại tuyến

  • Sử dụng biến môi trường EXO_OFFLINE để ngăn chặn kết nối internet khi chạy thời gian
  • Tải trước các mô hình vào các thư mục chỉ đọc EXO_MODELS_READ_ONLY_DIRS từ các máy phản chiếu nội bộ đáng tin cậy
  • Xác minh tính toàn vẹn trọng số mô hình bằng checksum SHA-256 và thẻ mô hình đã ký
  • Chạy EXO trên mạng cách ly (air-gapped) mà không có sự phụ thuộc vào HuggingFace

Kiểm soát truy cập bảng điều khiển và API

  • Cài đặt và cấu hình proxy ngược (nginx, Caddy) với việc chấm dứt TLS
  • Triển khai kiểm soát truy cập dựa trên vai trò cho bảng điều khiển và REST API của EXO
  • Sử dụng chuỗi khóa macOS hoặc công cụ pass của Linux để lưu trữ bí mật xác thực API
  • Hạn chế các điểm cuối quản trị viên đối với các dải địa chỉ IP nguồn cụ thể

Cách ly cụm và an ninh mạng

  • Phân đoạn các cụm EXO bằng biến EXO_LIBP2P_NAMESPACE và VLANs
  • Cấu hình tường lửa máy chủ (tường lửa ứng dụng macOS, iptables, nftables) cho các cổng của EXO
  • Ngăn chặn việc thiết bị không ủy quyền tự động phát hiện và tiêm nút lạ vào mạng
  • Mã hóa lưu lượng libp2p giữa các nút khi RDMA không có sẵn

Quản trị mô hình và nguồn gốc

  • Xây dựng kho đăng ký mô hình nội bộ với danh sách mô hình được phê duyệt và siêu dữ liệu
  • Đánh dấu và phiên bản hóa các trọng số lượng tử hóa (4-bit, 8-bit) cùng với các điểm kiểm tra nguồn
  • Thực thi việc chỉ tải các kho lưu trữ HuggingFace cụ thể hoặc các tài sản nội bộ vào EXO
  • Tài liệu hóa dòng dõi mô hình, điều khoản giấy phép và chính sách sử dụng được chấp nhận

Nhật ký kiểm toán và tuân thủ

  • Cấu hình chuyển tiếp nhật ký EXO đến các đường dẫn kiểm toán không thể sửa đổi (SIEM, bộ lưu trữ WORM)
  • Liên kết nhật ký cuộc gọi API với danh tính người dùng và dấu thời gian
  • Ghi lại sự kiện tạo/xóa phiên bản mô hình và yêu cầu suy luận
  • Sinh báo cáo tuân thủ định kỳ cho nhà kiểm toán nội bộ và bên ngoài

Mô hình hóa mối đe dọa và phản ứng sự cố

  • Xác định các mối đe dọa: rò rỉ dữ liệu thông qua kết quả mô hình, tiêm lời nhắc (prompt injection), rò rỉ kênh phụ
  • Triển khai hệ thống giám sát lời nhắc và bộ lọc nội dung
  • Xây dựng sổ tay ứng phó sự cố cho kịch bản cụm bị xâm nhập
  • Cách ly các nút bị ảnh hưởng, bảo tồn nhật ký pháp y và tái thiết môi trường sạch sẽ

An ninh vật lý và ranh giới phần cứng

  • Bảo vệ cổng Thunderbolt chống lại kết nối cáp RDMA không ủy quyền
  • Sử dụng các vùng an ninh bảo mật (secure enclaves) và cơ chế xác minh phần cứng Apple Silicon khi thích hợp
  • Kiểm soát truy cập vật lý đối với máy Mac trong cụm và hệ thống lưu trữ chia sẻ
  • Tài liệu hóa vòng đời phần cứng và quy trình ngừng sử dụng

Cân nhắc về quy định

  • Ánh xạ các triển khai EXO với các yêu cầu GDPR, HIPAA và SOC 2
  • Duy trì vị trí dữ liệu bằng cách giữ việc suy luận trên hệ thống nội bộ
  • Tài liệu hóa rủi ro chuỗi cung ứng nhà cung cấp (MLX, EXO, trọng số mô hình)
  • Chuẩn bị cho các khung quản trị AI như Điều 53 của Đạo luật AI EU

Yêu cầu

  • Kinh nghiệm với EXO hoặc thời gian chạy LLM nội bộ khác
  • Hiểu biết về quyền tập tin Unix và ACL mạng
  • Quen thuộc với quản lý chứng chỉ TLS/SSL và nguyên lý mã hóa cơ bản

Đối tượng tham gia

  • Kỹ sư bảo mật
  • Nhân viên phụ trách tuân thủ
  • Quản trị viên cơ sở hạ tầng AI xử lý dữ liệu nhạy cảm
 14 Giờ

Số người tham gia


Giá cho mỗi học viên

Đánh giá (1)

Các khóa học sắp tới

Các danh mục liên quan