Ollama: Thay thế các API của OpenAI và Claude bằng Mô hình Ngôn ngữ Lớn tự lưu trữ Khóa Học Đào Tạo
Ollama là một công cụ mã nguồn mở cho phép chạy các mô hình ngôn ngữ lớn (LLM) cục bộ trên phần cứng tiêu dùng và doanh nghiệp. Nó trừu tượng hóa lượng tử hóa mô hình, phân bổ GPU và dịch vụ API thành một giao diện dòng lệnh duy nhất, cho phép các tổ chức tự lưu trữ các LLM như Llama, Mistral và Qwen mà không cần gửi gợi ý hoặc dữ liệu đến OpenAI, Anthropic hay Google.
Khóa đào tạo trực tiếp do giảng viên hướng dẫn (trực tuyến hoặc tại chỗ) này nhằm vào các kỹ sư AI và nhà vận hành nền tảng ở mức độ trung cấp, những người muốn sử dụng Ollama để thay thế các API LLM trên đám mây bằng việc suy luận mô hình ngôn ngữ tự lưu trữ, độc lập về chủ quyền dữ liệu.
Đến cuối khóa đào tạo này, người tham gia sẽ có khả năng:
- Cài đặt Ollama trên Linux, macOS và Windows với hỗ trợ GPU.
- Lấy, lượng tử hóa và phục vụ các mô hình từ kho lưu trữ Ollama và HuggingFace.
- Xây dựng các tệp Mô hình (Modelfiles) tùy chỉnh với gợi ý hệ thống và tinh chỉnh tham số.
- Tích hợp các LLM cục bộ vào ứng dụng thông qua API tương thích OpenAI.
- Tối ưu hóa hiệu suất suy luận cho cả cấu hình chỉ có CPU và đa GPU.
Định dạng khóa học
- Bài giảng và thảo luận tương tác.
- Nhiều bài tập và thực hành.
- Triển khai thực tế trong môi trường phòng lab trực tiếp.
Tùy chọn tùy chỉnh khóa học
- Để yêu cầu khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Đề cương khóa học
Chủ quyền AI và Triển khai LLM Cục bộ
- Rủi ro của LLM trên đám mây: lưu giữ dữ liệu, đào tạo dựa trên đầu vào, tuân thủ luật pháp nước ngoài.
- Kiến trúc Ollama: máy chủ mô hình, kho lưu trữ và API tương thích OpenAI.
- So sánh với vLLM, llama.cpp và Text Generation Inference.
- Licensing mô hình: Điều khoản sử dụng của Llama, Mistral, Qwen và Gemma.
Cài đặt và Thiết lập Phần cứng
- Cài đặt Ollama trên Linux với hỗ trợ CUDA và ROCm.
- Phương án dự phòng chỉ sử dụng CPU và tối ưu hóa AVX/AVX2.
- Triển khai Docker và ánh xạ ổ đĩa vĩnh viễn.
- Cấu hình đa GPU và các chiến lược phân bổ VRAM.
Quản lý Mô hình
- Lấy mô hình từ kho lưu trữ Ollama: lệnh ollama pull llama3.
- Nhập các mô hình GGUF từ HuggingFace và TheBloke.
- Các mức lượng tử hóa: sự đánh đổi giữa Q4_K_M, Q5_K_M và Q8_0.
- Chuyển đổi mô hình và giới hạn tải đồng thời nhiều mô hình.
Tệp Mô hình Tùy chỉnh (Custom Modelfiles)
- Viết cú pháp Modelfile: FROM, PARAMETER, SYSTEM, TEMPLATE.
- Tinh chỉnh temperature, top_p và repeat_penalty.
- Kỹ thuật gợi ý hệ thống để điều khiển hành vi theo vai trò cụ thể.
- Tạo và xuất bản các mô hình tùy chỉnh vào kho lưu trữ cục bộ.
Tích hợp API
- Điểm cuối /v1/chat/completions tương thích OpenAI.
- Xuất dữ liệu dạng stream (streaming) và chế độ JSON.
- Tích hợp với LangChain, LlamaIndex và các ứng dụng tùy chỉnh.
- Xác thực và giới hạn tốc độ yêu cầu bằng proxy ngược.
Tối ưu hóa Hiệu suất
- Thiết lập cửa sổ ngữ cảnh (context window) và quản lý bộ nhớ cache KV.
- Suy luận theo lô (batch inference) và xử lý song song nhiều yêu cầu.
- Phân bổ luồng CPU và nhận thức về NUMA.
- Giám sát việc sử dụng GPU và áp lực lên bộ nhớ.
Bảo mật và Tuân thủ
- Cách ly mạng cho các điểm cuối phục vụ mô hình.
- Dòng lọc đầu vào và kiểm duyệt kết quả đầu ra.
- Ghi nhật ký kiểm toán cho các gợi ý (prompts) và kết quả hoàn thành (completions).
- Xác minh nguồn gốc mô hình và xác thực mã hash.
Yêu cầu
- Kỹ năng quản trị Linux và container ở mức độ trung cấp.
- Hiểu biết về máy học và mô hình transformer ở tầm cao.
- Quen thuộc với API REST và JSON.
Đối tượng hướng đến
- Kỹ sư AI và nhà phát triển muốn thay thế các API LLM trên đám mây.
- Các tổ chức có dữ liệu nhạy cảm, không cho phép sử dụng mô hình trên đám mây.
- Đội ngũ chính phủ và quốc phòng yêu cầu các mô hình ngôn ngữ được cách ly mạng (air-gapped).
Khóa học đào tạo mở cần có ít nhất 5 người tham gia.
Ollama: Thay thế các API của OpenAI và Claude bằng Mô hình Ngôn ngữ Lớn tự lưu trữ Khóa Học Đào Tạo - Đặt chỗ
Ollama: Thay thế các API của OpenAI và Claude bằng Mô hình Ngôn ngữ Lớn tự lưu trữ Khóa Học Đào Tạo - Yêu cầu thông tin
Ollama: Thay thế các API của OpenAI và Claude bằng Mô hình Ngôn ngữ Lớn tự lưu trữ - Yêu cầu tư vấn
Các khóa học sắp tới
Các khóa học liên quan
Kiểm Tra và Đánh Giá Mô Hình Ollama Nâng Cao
35 GiờAdvanced Ollama Model Debugging & Evaluation là một khóa học sâu sắc tập trung vào việc chẩn đoán, kiểm tra và đo lường hành vi của mô hình khi chạy các triển khai Ollama địa phương hoặc riêng tư.
Đây là khóa học trực tiếp do giảng viên dẫn dắt (trực tuyến hoặc tại chỗ), được thiết kế cho các kỹ sư AI cấp cao, chuyên gia ML Ops và chuyên viên QA muốn đảm bảo tính đáng tin cậy, sự trung thực và sẵn sàng hoạt động của các mô hình Ollama trong sản xuất.
Sau khi hoàn thành khóa học này, các tham gia sẽ có thể:
- Thực hiện việc gỡ lỗi hệ thống các mô hình được Ollama host và tái tạo các chế độ thất bại một cách đáng tin cậy.
- Thiết kế và thực hiện các ống dẫn đánh giá bền vững với các chỉ số định lượng và định tính.
- Triển khai khả năng quan sát (logs, traces, metrics) để theo dõi sức khỏe và độ lệch của mô hình.
- Tự động hóa các kiểm tra, xác thực và kiểm tra hồi quy tích hợp vào các ống dẫn CI/CD.
Định dạng của Khóa Học
- Bài giảng tương tác và thảo luận.
- Các phòng thí nghiệm và bài tập gỡ lỗi thực tế sử dụng các triển khai Ollama.
- Các nghiên cứu trường hợp, các phiên giải quyết vấn đề nhóm và các workshop tự động hóa.
Tùy chọn Tùy chỉnh Khóa Học
- Để yêu cầu một khóa học tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Xây dựng các quy trình làm việc AI riêng tư với Ollama
14 GiờKhóa đào tạo trực tiếp do giảng viên hướng dẫn này (trực tuyến hoặc tại nơi làm việc) nhắm đến các chuyên gia cấp cao muốn triển khai các quy trình làm việc dựa trên AI an toàn và hiệu quả bằng Ollama.
Sau khi hoàn thành khóa đào tạo, người tham gia sẽ có thể:
- Triển khai và cấu hình Ollama cho xử lý AI riêng tư.
- Tích hợp các mô hình AI vào quy trình làm việc an toàn của doanh nghiệp.
- Tối ưu hóa hiệu suất AI trong khi duy trì tính bảo mật dữ liệu.
- Tự động hóa các quy trình kinh doanh với khả năng AI tại chỗ.
- Đảm bảo tuân thủ các chính sách an ninh và quản lý của doanh nghiệp.
Triển khai và Tối ưu hóa Mô hình Ngôn ngữ Lớn (LLM) với Ollama
14 GiờKhóa đào tạo trực tiếp do giảng viên hướng dẫn tại Việt Nam (trực tuyến hoặc tại chỗ) này hướng đến các chuyên gia ở trình độ trung cấp muốn triển khai, tối ưu hóa và tích hợp các mô hình LLM bằng Ollama.
Đến cuối khóa đào tạo, người tham gia sẽ có khả năng:
- Cài đặt và triển khai các mô hình LLM bằng Ollama.
- Tối ưu hóa các mô hình AI cho hiệu suất và hiệu quả.
- tận dụng tăng tốc GPU để cải thiện tốc độ suy luận.
- Tích hợp Ollama vào quy trình làm việc và các ứng dụng.
- Giám sát và duy trì hiệu suất của mô hình AI theo thời gian.
EXO: Triển khai cụm AI cục bộ đầu cuối
21 GiờKhóa học đào tạo trực quan này ở Việt Nam (trực tuyến hoặc tại chỗ) hướng tới các quản trị viên hệ thống và kỹ sư DevOps muốn triển khai, cấu hình và quản lý cụm EXO để suy luận LLM riêng tư trên nhiều nút Apple Silicon hoặc Linux.
EXO cho DevOps: Xây dựng Cơ sở hạ tầng AI Riêng tư
21 GiờKhóa đào tạo trực tiếp có hướng dẫn viên này trong Việt Nam (trực tuyến hoặc tại chỗ) nhằm mục tiêu đến các kỹ sư DevOps và kiến trúc sư hạ tầng, những người muốn tự động hóa việc cung cấp, giám sát và quản lý vòng đời của các cụm AI riêng tư được xây dựng trên nền tảng EXO.
Bảo mật và Quản trị EXO: Quản lý mô hình ngoại tuyến
14 GiờKhóa học đào tạo trực tiếp do giảng viên hướng dẫn này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các kỹ sư bảo mật và nhân viên phụ trách tuân thủ mong muốn tăng cường độ an toàn cho các triển khai EXO, kiểm soát truy cập mô hình và quản lý các tải công việc AI chạy hoàn toàn nội bộ.
Tinh chỉnh và tùy chỉnh mô hình AI trên Ollama
14 GiờKhóa đào tạo trực tiếp do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) nhằm vào các chuyên gia cấp cao muốn tinh chỉnh và tùy chỉnh mô hình AI trên Ollama để cải thiện hiệu suất và ứng dụng cụ thể cho từng lĩnh vực.
Cuối khóa học, người tham dự sẽ có thể:
- Thiết lập một môi trường hiệu quả để tinh chỉnh mô hình AI trên Ollama.
- Chuẩn bị dữ liệu cho việc tinh chỉnh giám sát và học tăng cường.
- Tối ưu hóa mô hình AI về hiệu suất, độ chính xác và hiệu quả.
- Triển khai các mô hình tùy chỉnh trong môi trường sản xuất.
- Đánh giá cải tiến mô hình và đảm bảo độ tin cậy.
AI Agentic Địa Phương An Toàn: Phát triển Ollama On-Prem cho các ngành được quản lý chặt chẽ
21 GiờKhóa học hướng dẫn trực tiếp tại Việt Nam (trực tuyến hoặc tại cơ sở) này nhằm mục đích hỗ trợ các nhà phát triển và nhóm kỹ thuật mong muốn sử dụng Ollama và các mô hình mã nguồn mở để xây dựng và vận hành giải pháp AI Agentic riêng tư trên cơ sở hạ tầng nội bộ.
Kết thúc khóa học này, người tham gia sẽ có khả năng: cài đặt và định cấu hình Ollama, đánh giá và chạy các mô hình mã nguồn mở cục bộ, tạo các quy trình làm việc agentic và truy xuất (retrieval) đơn giản, cũng như áp dụng các biện pháp kiểm soát bảo mật và quản trị cho môi trường được quản lý chặt chẽ.
Ứng dụng đa phương thức với Ollama
21 GiờOllama là một nền tảng cho phép chạy và tinh chỉnh các mô hình ngôn ngữ và đa mô-đun lớn ở cục bộ.
Khóa học trực tiếp, trực tuyến hoặc trực tiếp (online hoặc onsite) này được hướng tới các kỹ sư ML cấp cao, các nhà nghiên cứu AI, và các nhà phát triển sản phẩm muốn xây dựng và triển khai các ứng dụng đa mô-đun với Ollama.
Sau khi hoàn thành khóa học, các tham gia sẽ có thể:
- Cài đặt và chạy các mô hình đa mô-đun với Ollama.
- Tích hợp các đầu vào văn bản, hình ảnh và âm thanh cho các ứng dụng thực tế.
- Xây dựng các hệ thống hiểu văn bản và tra hỏi hình ảnh.
- Phát triển các tác nhân đa mô-đun có khả năng suy luận giữa các mô-đun.
Định dạng của khóa học
- Bài giảng tương tác và thảo luận.
- Thực hành trực tiếp với các tập dữ liệu đa mô-đun thực tế.
- Thực hiện trực tiếp trong phòng thí nghiệm của các ống dẫn đa mô-đun sử dụng Ollama.
Tùy chọn tùy chỉnh khóa học
- Để yêu cầu một khóa học đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Bắt Đầu với Ollama: Chạy Mô Hình AI Bản Địa
7 GiờKhóa đào tạo trực tuyến hoặc tại chỗ do giáo viên hướng dẫn này (trực tuyến hoặc tại chỗ) nhằm vào các chuyên gia cấp bắt đầu muốn cài đặt, cấu hình và sử dụng Ollama để chạy mô hình AI trên máy tính bản địa của họ.
Cuối khóa học, người tham gia sẽ có thể:
- Hiểu rõ các nguyên tắc cơ bản của Ollama và khả năng của nó.
- Cài đặt Ollama để chạy mô hình AI bản địa.
- Triển khai và tương tác với LLMs bằng cách sử dụng Ollama.
- Tối ưu hóa hiệu suất và việc sử dụng tài nguyên cho các tác vụ AI.
- Khám phá các trường hợp sử dụng của việc triển khai AI bản địa trong các ngành khác nhau.
Ollama & Bảo mật Dữ liệu: Cách triển khai an toàn
14 GiờOllama là một nền tảng cho phép chạy các mô hình ngôn ngữ lớn và đa mô-đun trên máy cục bộ trong khi hỗ trợ các chiến lược triển khai an toàn.
Khóa học này do giảng viên hướng dẫn trực tiếp (trực tuyến hoặc trực tiếp tại nơi) nhằm mục đích cho các chuyên gia trung cấp muốn triển khai Ollama với các biện pháp bảo mật dữ liệu và tuân thủ quy định mạnh mẽ.
Sau khi hoàn thành khóa học, các tham gia sẽ có thể:
- Triển khai Ollama an toàn trong các môi trường ảo hóa và trên-prem.
- Áp dụng các kỹ thuật bảo mật riêng tư để bảo vệ dữ liệu nhạy cảm.
- Thực hiện các biện pháp ghi nhật ký, giám sát và kiểm toán an toàn.
- Áp dụng kiểm soát truy cập dữ liệu phù hợp với các yêu cầu tuân thủ.
Định dạng của khóa học
- Bài giảng và thảo luận tương tác.
- Phòng thí nghiệm thực hành với các mẫu triển khai an toàn.
- Các nghiên cứu trường hợp và bài tập thực hành tập trung vào tuân thủ.
Các tùy chọn tùy chỉnh khóa học
- Để yêu cầu khóa học tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Ứng dụng Ollama trong Tài chính
14 GiờOllama là một nền tảng nhẹ để chạy các mô hình ngôn ngữ lớn trên máy tính cục bộ.
Khóa đào tạo trực tiếp do giáo viên hướng dẫn (trực tuyến hoặc tại chỗ) này dành cho những người làm việc trong lĩnh vực tài chính và nhân viên IT có trình độ trung cấp, muốn triển khai, tùy chỉnh và vận hành các giải pháp AI dựa trên Ollama trong môi trường tài chính.
Bằng cách hoàn thành khóa đào tạo này, người tham gia sẽ đạt được các kỹ năng cần thiết để:
- Triển khai và cấu hình Ollama để sử dụng an toàn trong các hoạt động tài chính.
- Tích hợp các mô hình ngôn ngữ cục bộ vào quy trình phân tích và báo cáo.
- Chỉnh sửa mô hình để phù hợp với thuật ngữ và nhiệm vụ cụ thể trong lĩnh vực tài chính.
- Áp dụng các thực hành tốt nhất về bảo mật, quyền riêng tư và tuân thủ quy định.
Định dạng của khóa học
- Bài giảng tương tác và thảo luận.
- Bài tập thực hành dữ liệu tài chính.
- Triển khai các kịch bản tập trung vào tài chính trong phòng thí nghiệm trực tiếp.
Tùy chọn tùy chỉnh khóa học
- Để yêu cầu khóa đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Ứng Dụng Ollama Trong Y Tế
14 GiờOllama là một nền tảng nhẹ để chạy các mô hình ngôn ngữ lớn (LLM) cục bộ.
Khóa đào tạo trực tiếp do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) nhằm mục đích hỗ trợ các chuyên gia y tế ở trình độ trung cấp và các đội ngũ CNTT, những người muốn triển khai, tùy chỉnh và đưa vào hoạt động các giải pháp AI dựa trên Ollama trong các môi trường lâm sàng và hành chính.
Sau khi hoàn thành khóa đào tạo này, người tham gia sẽ có khả năng:
- Cài đặt và cấu hình Ollama để sử dụng an toàn trong các cơ sở y tế.
- Tích hợp các LLM cục bộ vào các quy trình lâm sàng và quy trình hành chính.
- Tùy chỉnh các mô hình cho các thuật ngữ và nhiệm vụ đặc thù của ngành y tế.
- Áp dụng các phương pháp hay nhất về quyền riêng tư, bảo mật và tuân thủ quy định.
Hình thức khóa học
- Giảng bài tương tác và thảo luận.
- Thực hành trình diễn và các bài tập có hướng dẫn.
- Triển khai thực tế trong môi trường mô phỏng y tế được cô lập.
Tùy chọn Tùy chỉnh Khóa học
- Nếu muốn yêu cầu khóa đào tạo được tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
Ollama về AI Trách Nhiệm và Quản Lý
14 GiờOllama là một nền tảng chạy các mô hình ngôn ngữ và đa phương thức lớn trực tiếp, hỗ trợ quản lý và thực hành AI có trách nhiệm.
Khóa đào tạo trực tiếp này (trực tuyến hoặc tại chỗ) hướng đến những chuyên gia có trình độ trung cấp đến cao cấp muốn triển khai công bằng, minh bạch và trách nhiệm trong các ứng dụng Ollama.
Đến cuối khóa đào tạo, các tham gia sẽ có thể:
- Áp dụng nguyên tắc AI có trách nhiệm trong các triển khai Ollama.
- Triển khai các chiến lược lọc nội dung và giảm thiểu sự thiên vị.
- Thiết kế các quy trình quản lý để cân bằng và kiểm toán AI.
- Xây dựng các khung quản lý và báo cáo tuân thủ quy định.
Định dạng của khóa học
- Bài giảng và thảo luận tương tác.
- Phòng thí nghiệm thiết kế quy trình quản lý thủ công.
- Các nghiên cứu trường hợp và các bài tập tập trung vào tuân thủ quy định.
Tùy chọn tùy chỉnh khóa học
- Để yêu cầu đào tạo tùy chỉnh cho khóa học này, vui lòng liên hệ với chúng tôi để sắp xếp.
AI Chủ quyền cho các Tổ chức Thuộc Khu vực Kiểm soát: Quản lý Dữ liệu, Mô hình và Môi trường Suy luận
7 GiờKhóa đào tạo trực tiếp này tại Việt Nam (trực tuyến hoặc tại chỗ) dành cho các nhà lãnh đạo CNTT ở mức độ trung cấp, chuyên gia tuân thủ, đội ngũ bảo mật và kiến trúc sư doanh nghiệp những người muốn áp dụng nguyên tắc AI chủ quyền và các biện pháp quản trị để thiết kế các môi trường AI bảo vệ dữ liệu nhạy cảm, hỗ trợ yêu cầu định vị địa lý và giảm thiểu tình trạng phụ thuộc vào nhà cung cấp.
Đến cuối khóa đào tạo này, người tham gia sẽ có khả năng: giải thích các khái niệm AI chủ quyền, đánh giá các tùy chọn lưu trữ và quản trị, xác định các biện pháp kiểm soát đối với câu lệnh gợi ý và nhật ký, cũng như xây dựng một lộ trình áp dụng thực tiễn.