Mô hình quyết định tự lưu trữ: Phục vụ suy luận, lượng tử hóa, độ trễ và hoạt động Khóa Học Đào Tạo

Các lựa chọn triển khai

• Cân nhắc giữa API được lưu trữ và tự lưu trữ
• Đảm bảo tại địa phương, edge và các mô hình cách ly mạng
• Một mô hình đơn lẻ so với danh mục mô hình
• So sánh chi phí cho mỗi quyết định

Kích thước phần cứng và năng lực

• Dấu chân bộ nhớ theo số lượng tham số
• Chỉ CPU so với tăng tốc GPU
• Lập kế hoạch về đồng thời và thông lượng
• Dự phòng cho sự tăng trưởng chiều dài tác vụ

Các bộ công cụ phục vụ suy luận

• Lựa chọn vLLM và SGLang
• Chạy llama.cpp và GGUF
• Ollama cho phát triển cục bộ
• Lựa chọn dựa trên hình dạng tác vụ quyết định

Lượng tử hóa mà không mất hiệu chuẩn

• Định dạng độ chính xác và tiết kiệm bộ nhớ
• Đo lường sự mất mát chất lượng và hiệu chuẩn
• Các biến thể theo tensor và có ý nghĩa quan trọng
• Thử nghiệm chấp nhận sau khi lượng tử hóa

Kỹ thuật độ trễ

• Độ trễ trung vị so với độ trễ phần trăm thấp
• Sự gia tăng độ trễ theo chiều dài ngữ cảnh
• Bắt đầu ấm (warm start) và bộ nhớ đệm mô hình
• Chồng gắp (batching) nhiều câu hỏi quyết định

Môi trường edge và có ràng buộc

• Các mô hình quyết định nhỏ trên CPU
• Triển khai trên Apple Silicon và thiết bị nhúng
• Vận hành ngoại tuyến và chiến lược cập nhật
• Phân phối trọng số cách ly mạng

Container hóa và mở rộng

• Thiết kế ảnh (image) cho phục vụ suy luận mô hình
• Quản lý volume và bộ nhớ đệm
• Mở rộng ngang và định tuyến
• Hạn chế tài nguyên và chia sẻ GPU

Khả năng quan sát (Observability)

• Chỉ số yêu cầu, độ trễ và lỗi
• Giám sát phân bố độ tin cậy
• Theo dõi kết quả quyết định và leo thang
• Cảnh báo về sự dịch chuyển hiệu chuẩn

Quản lý phiên bản và triển khai

• Quản lý phiên bản mô hình và bộ thích ứng (adapter)
• Triển khai bóng (shadow) và canary
• Tập tin mô hình cố định cho kiểm toán
• Quy trình hoàn tác

Bảo mật và đa thuê bao

• Xác thực và giới hạn tốc độ
• Cách ly thuê bao cho lời nhắc và nhật ký
• Cách ly mạng và kiểm soát luồng dữ liệu ra (egress)
• Đánh dấu (audit logging) các quyết định