Hiểu sâu về Mạng Nơ-ron Sâu Khóa Học Đào Tạo

Phần 1 – Khái niệm về Học sâu và DNN

Giới thiệu về AI, Học máy & Học sâu

• Lịch sử, các khái niệm cơ bản và các ứng dụng thông dụng của trí tuệ nhân tạo, tách biệt khỏi những suy đoán thường gặp trong lĩnh vực này
• Trí tuệ tập thể: tổng hợp kiến thức được chia sẻ bởi nhiều tác nhân ảo
• Thuật toán di truyền: tiến hóa một quần thể các tác nhân ảo bằng phương pháp chọn lọc
• Máy học thông thường: định nghĩa.
• Các loại bài toán: học có giám sát, học không giám sát, học tăng cường
• Các loại hành động: phân loại, hồi quy, cụm, ước lượng mật độ, giảm chiều dữ liệu
• Các ví dụ về thuật toán Học máy: Hồi quy tuyến tính, Naive Bayes, Random Tree
• Học máy so với Học sâu: những bài toán mà Học máy vẫn là công nghệ tiên tiến nhất hiện nay (Random Forests & XGBoost)

Các khái niệm cơ bản của Mạng nơ-ron (Ứng dụng: perceptron nhiều lớp)

• Ôn lại các nền tảng toán học.
• Định nghĩa mạng nơ-ron: kiến trúc cổ điển, kích hoạt và
• Cân bằng các kích hoạt trước đó, độ sâu của mạng
• Định nghĩa quá trình học của mạng nơ-ron: hàm chi phí, lan truyền ngược, giảm gradient ngẫu nhiên, cực đại khả năng.
• Mô hình hóa mạng nơ-ron: mô hình hóa dữ liệu đầu vào và đầu ra theo loại bài toán (hồi quy, phân loại ...). Lời nguyền số chiều.
• Phân biệt giữa dữ liệu đa đặc trưng và tín hiệu. Lựa chọn hàm chi phí phù hợp với dữ liệu.
• xấp xỉ hàm bằng mạng nơ-ron: giới thiệu và ví dụ
• xấp xỉ phân phối bằng mạng nơ-ron: giới thiệu và ví dụ
• Tăng cường dữ liệu: cách cân bằng một tập dữ liệu
• Tổng quát hóa kết quả của mạng nơ-ron.
• Khởi tạo và điều chuẩn hóa mạng nơ-ron: điều chuẩn hóa L1 / L2, Điều chuẩn hóa Lô-tơ
• Các thuật toán tối ưu hóa và hội tụ

Các công cụ ML / DL tiêu chuẩn

Một buổi trình bày đơn giản về ưu điểm, nhược điểm, vị trí trong hệ sinh thái và cách sử dụng được lên kế hoạch.

• Công cụ quản lý dữ liệu: Apache Spark, Công cụ Apache Hadoop
• Học máy: Numpy, Scipy, Sci-kit
• Các framework DL cấp cao: PyTorch, Keras, Lasagne
• Các framework DL cấp thấp: Theano, Torch, Caffe, Tensorflow

Mạng Nơ-ron Tích chập (CNN).

• Giới thiệu về CNN: các nguyên tắc cơ bản và ứng dụng
• Hoạt động cơ bản của CNN: lớp tích chập, sử dụng hạt nhân,
• Lót (Padding) & bước nhảy (stride), tạo bản đồ đặc trưng, lớp pooling. Mở rộng 1D, 2D và 3D.
• Giới thiệu các kiến trúc CNN khác nhau đạt kết quả tiên tiến trong phân loại
• Ảnh: LeNet, Mạng VGG, Network in Network, Inception, Resnet. Giới thiệu các đổi mới do mỗi kiến trúc mang lại và các ứng dụng tổng quát hơn (Tích chập 1x1 hoặc kết nối dư)
• Sử dụng mô hình chú ý.
• Ứng dụng vào trường hợp phân loại thông thường (văn bản hoặc ảnh)
• CNN cho sinh dữ liệu: siêu phân giải, phân đoạn pixel-to-pixel. Giới thiệu
• Các chiến lược chính để tăng bản đồ đặc trưng cho việc tạo ảnh.

Mạng Nơ-ron Tuần hoàn (RNN).

• Giới thiệu về RNN: các nguyên tắc cơ bản và ứng dụng.
• Hoạt động cơ bản của RNN: kích hoạt ẩn, lan truyền ngược theo thời gian, Phiên bản mở rộng.
• Sự tiến hóa sang các Đơn vị Tuần hoàn Có cổng (GRU) và LSTM (Bộ nhớ Ngắn dài hạn).
• Giới thiệu các trạng thái khác nhau và sự tiến hóa do các kiến trúc này mang lại
• Vấn đề hội tụ và gradient biến mất
• Các kiến trúc cổ điển: Dự đoán chuỗi thời gian, phân loại ...
• Kiến trúc kiểu Bộ mã hóa - Bộ giải mã RNN. Sử dụng mô hình chú ý.
• Ứng dụng NLP: mã hóa từ / ký tự, dịch thuật.
• Ứng dụng Video: dự đoán ảnh tiếp theo được tạo ra trong một chuỗi video.

Mô hình sinh: Tự mã hóa Biến thiên (VAE) và Mạng Đối kháng Sinh (GAN).

• Giới thiệu các mô hình sinh, mối liên hệ với CNN
• Tự mã hóa: giảm chiều dữ liệu và sinh dữ liệu hạn chế
• Tự mã hóa Biến thiên: mô hình sinh và xấp xỉ phân phối của một dữ liệu cho trước. Định nghĩa và sử dụng không gian ẩn. Thủ thuật tham số hóa lại. Ứng dụng và Giới hạn quan sát được
• Mạng Đối kháng Sinh: Nền tảng.
• Kiến trúc Mạng kép (Bộ sinh và Bộ phân biệt) với quá trình học luân phiên, các hàm chi phí khả dụng.
• Sự hội tụ của GAN và những khó khăn gặp phải.
• Cải thiện sự hội tụ: Wasserstein GAN, Began. Khoảng cách di chuyển đất.
• Ứng dụng cho việc tạo ảnh hoặc ảnh chụp, sinh văn bản, siêu phân giải.

Học Tăng cường Sâu.

• Giới thiệu về học tăng cường: điều khiển một tác nhân trong môi trường xác định
• Bằng trạng thái và các hành động khả thi
• Sử dụng mạng nơ-ron để xấp xỉ hàm trạng thái
• Deep Q Learning: phát lại trải nghiệm, và ứng dụng vào việc điều khiển trò chơi điện tử.
• Tối ưu hóa chính sách học. On-policy && off-policy. Kiến trúc Actor-critic. A3C.
• Ứng dụng: điều khiển một trò chơi điện tử hoặc hệ thống kỹ thuật số.

Phần 2 – Theano cho Học sâu

Nền tảng Theano

• Giới thiệu
• Cài đặt và Cấu hình

Hàm Theano

• đầu vào, đầu ra, cập nhật, các điều kiện cho trước (givens)

Huấn luyện và Tối ưu hóa mạng nơ-ron bằng Theano

• Mô hình hóa Mạng Nơ-ron
• Hồi quy Logit
• Các Lớp Ẩn
• Huấn luyện một mạng
• Tính toán và Phân loại
• Tối ưu hóa
• Tổn thất Log

Thử nghiệm mô hình

Phần 3 – DNN sử dụng Tensorflow

Nền tảng TensorFlow

• Tạo, Khởi tạo, Lưu và Khôi phục các biến TensorFlow
• Cung cấp, Đọc và Tiền tải Dữ liệu TensorFlow
• Cách sử dụng cơ sở hạ tầng TensorFlow để huấn luyện mô hình ở quy mô lớn
• Trực quan hóa và Đánh giá mô hình với TensorBoard

Cơ chế TensorFlow

• Chuẩn bị Dữ liệu
• Tải xuống
• Đầu vào và Ô chờ (Placeholders)
• Xây dựng Đồ thị
  • Suy luận
  • Tổn thất
  • Huấn luyện
• Huấn luyện Mô hình
  • Đồ thị
  • Phiên (Session)
  • Vòng lặp Huấn luyện
• Đánh giá Mô hình
  • Xây dựng Đồ thị Đánh giá
  • Đầu ra Đánh giá

Perceptron

• Các hàm kích hoạt
• Thuật toán học của perceptron
• Phân loại nhị phân bằng perceptron
• Phân loại tài liệu bằng perceptron
• Hạn chế của perceptron

Từ Perceptron đến Máy Véc-tơ Hỗ trợ (SVM)

• Hạt nhân (Kernels) và thủ thuật hạt nhân
• Phân loại biên độ tối đa và các vector hỗ trợ

Mạng Nơ-ron Nhân tạo

• Biên quyết định phi tuyến tính
• Mạng nơ-ron nhân tạo feedforward và feedback
• Perceptron nhiều lớp
• Tối thiểu hóa hàm chi phí
• Lan truyền thuận (Forward propagation)
• Lan truyền ngược (Back propagation)
• Cải thiện cách mạng nơ-ron học

Mạng Nơ-ron Tích chập

• Mục tiêu
• Kiến trúc Mô hình
• Nguyên tắc
• Tổ chức Mã nguồn
• Khởi động và Huấn luyện Mô hình
• Đánh giá Mô hình

Các Giới thiệu Cơ bản dành cho các module dưới đây (Giới thiệu ngắn gọn sẽ được cung cấp tùy thuộc vào thời gian khả dụng):

Tensorflow - Sử dụng Nâng cao

• Xếp hàng và hàng đợi (Threading and Queues)
• TensorFlow Phân tán
• Viết Tài liệu và Chia sẻ Mô hình của bạn
• Tùy chỉnh Bộ đọc Dữ liệu
• Thao tác Tệp Mô hình TensorFlow

TensorFlow Serving

• Giới thiệu
• Hướng dẫn Cung cấp dịch vụ Cơ bản
• Hướng dẫn Cung cấp dịch vụ Nâng cao
• Hướng dẫn Cung cấp dịch vụ Mô hình Inception