SMACK Stack cho Data Science Training Course

Khóa học này dành cho các nhà phát triển và nhà khoa học dữ liệu mong muốn hiểu và triển khai trí tuệ nhân tạo trong ứng dụng của họ. Tập trung đặc biệt vào phân tích dữ liệu, trí tuệ nhân tạo phân tán và xử lý ngôn ngữ tự nhiên.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu muốn sử dụng hệ sinh thái Anaconda để thu thập, quản lý và triển khai các gói và quy trình phân tích dữ liệu trên một nền tảng duy nhất.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình các thành phần và thư viện Anaconda.
• Hiểu các khái niệm, tính năng và lợi ích cốt lõi của Anaconda.
• Quản lý các gói, môi trường và kênh bằng Anaconda Navigator.
• Sử dụng các gói Conda, R và Python cho khoa học dữ liệu và học máy.
• Tìm hiểu một số trường hợp sử dụng thực tế và kỹ thuật quản lý nhiều môi trường dữ liệu.

Tổng quan

Các nhà cung cấp dịch vụ Communications (CSP) đang phải đối mặt với áp lực giảm chi phí và tối đa hóa doanh thu trung bình trên mỗi người dùng (ARPU), đồng thời đảm bảo trải nghiệm khách hàng tuyệt vời, nhưng khối lượng dữ liệu vẫn tiếp tục tăng. Lưu lượng dữ liệu di động toàn cầu sẽ tăng trưởng với tốc độ tăng trưởng hàng năm gộp (CAGR) là 78% đến năm 2016, đạt 10,8 exabyte mỗi tháng.

Trong khi đó, các CSP đang tạo ra lượng lớn dữ liệu, bao gồm hồ sơ chi tiết cuộc gọi (CDR), dữ liệu mạng và dữ liệu khách hàng. Các công ty khai thác đầy đủ dữ liệu này sẽ có lợi thế cạnh tranh. Theo một khảo sát gần đây của The Economist Intelligence Unit, các công ty sử dụng việc ra quyết định dựa trên dữ liệu có mức tăng trưởng năng suất từ 5-6%. Tuy nhiên, 53% các công ty chỉ khai thác một nửa dữ liệu có giá trị của họ, và một phần tư số người được hỏi nhận thấy rằng một lượng lớn dữ liệu hữu ích vẫn chưa được khai thác. Khối lượng dữ liệu quá lớn khiến việc phân tích thủ công là bất khả thi, và hầu hết các hệ thống phần mềm cũ không thể đáp ứng được, dẫn đến việc dữ liệu có giá trị bị loại bỏ hoặc bỏ qua.

Với phần mềm big data có tốc độ cao, khả năng mở rộng của Big Data & Analytics, các CSP có thể khai thác tất cả dữ liệu của họ để đưa ra quyết định tốt hơn trong thời gian ngắn hơn. Các sản phẩm và kỹ thuật khác nhau của Big Data cung cấp một nền tảng phần mềm hoàn chỉnh để thu thập, chuẩn bị, phân tích và trình bày thông tin chi tiết từ big data. Các lĩnh vực ứng dụng bao gồm giám sát hiệu suất mạng, phát hiện gian lận, phát hiện khách hàng rời bỏ và phân tích rủi ro tín dụng. Các sản phẩm của Big Data & Analytics có thể mở rộng để xử lý terabyte dữ liệu, nhưng việc triển khai các công cụ này đòi hỏi một hệ thống cơ sở dữ liệu dựa trên đám mây mới như Hadoop hoặc bộ xử lý tính toán song song quy mô lớn (KPU, v.v.).

Khóa học này về BI Big Data cho Telco bao gồm tất cả các lĩnh vực mới nổi mà các CSP đang đầu tư để tăng năng suất và mở ra các nguồn doanh thu mới. Khóa học sẽ cung cấp một cái nhìn toàn diện 360 độ về BI Big Data trong Telco để các nhà quản lý và người ra quyết định có thể có một cái nhìn tổng quan rộng rãi và toàn diện về các khả năng của BI Big Data trong Telco để tăng năng suất và doanh thu.

Mục tiêu khóa học

Mục tiêu chính của khóa học là giới thiệu các kỹ thuật tình báo nghiệp vụ Big Data mới trong 4 lĩnh vực của Telecom Business (Marketing/Bán hàng, Vận hành Mạng, Vận hành Tài chính và Quan hệ Khách hàng Management). Sinh viên sẽ được giới thiệu những điều sau:

• Giới thiệu về Big Data - 4Vs (khối lượng, tốc độ, sự đa dạng và tính xác thực) trong Big Data - Tạo, trích xuất và quản lý từ góc độ Telco
• Phân tích Big Data khác với phân tích dữ liệu cũ như thế nào
• Chứng minh tính hợp lý của Big Data trong nội bộ - Góc độ Telco
• Giới thiệu về Hệ sinh thái Hadoop - làm quen với tất cả các công cụ Hadoop như Hive, Pig, SPARC - khi nào và làm thế nào chúng được sử dụng để giải quyết các vấn đề Big Data
• Cách trích xuất Big Data để phân tích cho các công cụ phân tích - cách Business Analysis có thể giảm bớt các điểm khó khăn của họ trong việc thu thập và phân tích dữ liệu thông qua cách tiếp cận bảng điều khiển Hadoop tích hợp
• Giới thiệu cơ bản về phân tích thông tin chi tiết, phân tích trực quan và phân tích dự đoán cho Telco
• Phân tích rời bỏ khách hàng và Big Data - cách phân tích Big Data có thể giảm thiểu tình trạng rời bỏ khách hàng và sự không hài lòng của khách hàng trong Telco - các nghiên cứu điển hình
• Phân tích lỗi mạng và lỗi dịch vụ từ siêu dữ liệu mạng và IPDR
• Phân tích tài chính - gian lận, lãng phí và ước tính ROI từ dữ liệu bán hàng và vận hành
• Vấn đề thu hút khách hàng - Tiếp thị mục tiêu, phân khúc khách hàng và bán chéo từ dữ liệu bán hàng
• Giới thiệu và tóm tắt tất cả các sản phẩm phân tích Big Data và vị trí của chúng trong không gian phân tích Telco
• Kết luận - cách tiếp cận từng bước để giới thiệu Big Data Business Intelligence trong tổ chức của bạn

Đối tượng mục tiêu

• Nhà vận hành mạng, Quản lý tài chính, Quản lý CRM và các nhà quản lý IT hàng đầu trong văn phòng CIO của Telco.
• Nhà phân tích Business trong Telco
• Quản lý/Nhà phân tích văn phòng CFO
• Quản lý vận hành
• Quản lý QA

The explosion of information and data in today’s world is un-paralleled, our ability to innovate and push the boundaries of the possible is growing faster than it ever has. The role of Data Scientist is one of the highest in-demand skills across industry today.

We offer much more than learning through theory; we deliver practical, marketable skills that bridge the gap between the world of academia and the demands of industry.

This 7 week curriculum  can be tailored to your specific Industry requirements, please contact us for further information or visit the Nobleprog Institute website 

Audience:

This programme is aimed post level graduates as well as anyone with the required pre-requisite skills which will be determined by an assessment and interview. 

Delivery:

Delivery of the course will be a mixture of Instructor Led Classroom and Instructor Led Online; typically the 1st week will be 'classroom led', weeks 2 - 6 'virtual classroom' and week 7  back to 'classroom led'. 

Dữ liệu lớn là các tập dữ liệu có dung lượng và độ phức tạp quá lớn khiến phần mềm ứng dụng xử lý dữ liệu truyền thống không thể đáp ứng được. Những thách thức của dữ liệu lớn bao gồm thu thập dữ liệu, lưu trữ dữ liệu, phân tích dữ liệu, tìm kiếm, chia sẻ, truyền tải, trực quan hóa, truy vấn, cập nhật và bảo mật thông tin.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ tìm hiểu về các công nghệ và phương pháp triển khai để xử lý dữ liệu đồ thị. Mục tiêu là xác định các đối tượng trong thế giới thực, đặc điểm và mối quan hệ của chúng, sau đó mô hình hóa các mối quan hệ này và xử lý chúng như dữ liệu bằng cách tiếp cận Graph Computing (còn được gọi là Phân tích Đồ thị). Chúng ta bắt đầu với một cái nhìn tổng quan rộng rãi và thu hẹp phạm vi vào các công cụ cụ thể khi chúng ta thực hiện một loạt các nghiên cứu điển hình, bài tập thực hành và triển khai trực tiếp.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu cách dữ liệu đồ thị được lưu trữ và duyệt.
• Chọn khung làm việc tốt nhất cho một nhiệm vụ cụ thể (từ cơ sở dữ liệu đồ thị đến các khung xử lý hàng loạt).
• Triển khai Hadoop, Spark, GraphX và Pregel để thực hiện tính toán đồ thị trên nhiều máy song song.
• Xem các vấn đề dữ liệu lớn trong thế giới thực dưới dạng đồ thị, quy trình và duyệt.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) giới thiệu ý tưởng về phát triển cộng tác trong khoa học dữ liệu và trình bày cách sử dụng Jupyter để theo dõi và tham gia với tư cách là một nhóm trong "vòng đời của một ý tưởng tính toán". Khóa học hướng dẫn người tham gia qua quá trình tạo một dự án khoa học dữ liệu mẫu dựa trên hệ sinh thái Jupyter.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Cài đặt và cấu hình Jupyter, bao gồm tạo và tích hợp một kho lưu trữ nhóm trên Git.
• Sử dụng các tính năng của Jupyter như tiện ích mở rộng, widget tương tác, chế độ đa người dùng và hơn thế nữa để cho phép cộng tác dự án.
• Tạo, chia sẻ và tổ chức các Jupyter Notebook với các thành viên trong nhóm.
• Chọn từ Scala, Python, R để viết và thực thi mã trên các hệ thống dữ liệu lớn như Apache Spark, tất cả thông qua giao diện Jupyter.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu và nhà phát triển muốn học hỏi và xây dựng sự nghiệp của họ trong Data Science bằng cách sử dụng Kaggle.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Tìm hiểu về khoa học dữ liệu và học máy.
• Khám phá phân tích dữ liệu.
• Tìm hiểu về Kaggle và cách thức hoạt động của nó.

Ở phần đầu tiên của khóa đào tạo này, chúng tôi sẽ trình bày những kiến thức cơ bản về MATLAB và chức năng của nó vừa là một ngôn ngữ vừa là một nền tảng. Nội dung thảo luận bao gồm giới thiệu về cú pháp MATLAB, mảng và ma trận, trực quan hóa dữ liệu, phát triển script và các nguyên tắc hướng đối tượng.

Ở phần thứ hai, chúng tôi sẽ trình bày cách sử dụng MATLAB cho khai thác dữ liệu, học máy và phân tích dự đoán. Để cung cấp cho người tham gia một cái nhìn rõ ràng và thực tế về cách tiếp cận và sức mạnh của MATLAB, chúng tôi sẽ so sánh việc sử dụng MATLAB với việc sử dụng các công cụ khác như bảng tính, C, C++ và Visual Basic.

Ở phần thứ ba của khóa đào tạo, người tham gia sẽ học cách tối ưu hóa công việc của họ bằng cách tự động hóa quy trình xử lý dữ liệu và tạo báo cáo.

Trong suốt khóa học, người tham gia sẽ áp dụng những kiến thức đã học thông qua các bài tập thực hành trong môi trường phòng thí nghiệm. Đến cuối khóa đào tạo, người tham gia sẽ có kiến thức toàn diện về khả năng của MATLAB và có thể sử dụng nó để giải quyết các vấn đề khoa học dữ liệu thực tế cũng như tối ưu hóa công việc thông qua tự động hóa.

Đánh giá sẽ được thực hiện trong suốt khóa học để theo dõi tiến độ.

Hình thức của Khóa học

• Khóa học bao gồm các bài tập lý thuyết và thực hành, bao gồm thảo luận tình huống, kiểm tra mã mẫu và thực hiện thực tế.

Lưu ý

• Các buổi thực hành sẽ dựa trên các mẫu báo cáo dữ liệu được sắp xếp trước. Nếu bạn có các yêu cầu cụ thể, vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu và nhà phát triển muốn sử dụng Modin để xây dựng và triển khai các phép tính song song với Pandas để phân tích dữ liệu nhanh hơn.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường cần thiết để bắt đầu phát triển các quy trình làm việc Pandas quy mô lớn với Modin.
• Hiểu các tính năng, kiến trúc và lợi thế của Modin.
• Nắm vững sự khác biệt giữa Modin, Dask và Ray.
• Thực hiện các thao tác Pandas nhanh hơn với Modin.
• Triển khai toàn bộ API và các hàm Pandas.

Python là một ngôn ngữ lập trình đã và đang trở nên cực kỳ phổ biến trong ngành tài chính. Được áp dụng bởi các ngân hàng đầu tư và quỹ phòng hộ lớn nhất, Python đang được sử dụng để xây dựng một loạt các ứng dụng tài chính đa dạng, từ các chương trình giao dịch cốt lõi đến các hệ thống quản lý rủi ro.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này, người tham gia sẽ học cách sử dụng Python để phát triển các ứng dụng thực tế nhằm giải quyết một số vấn đề cụ thể liên quan đến tài chính.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Hiểu các nguyên tắc cơ bản của ngôn ngữ lập trình Python
• Tải xuống, cài đặt và duy trì các công cụ phát triển tốt nhất để tạo các ứng dụng tài chính bằng Python
• Lựa chọn và sử dụng các gói và kỹ thuật lập trình Python phù hợp nhất để tổ chức, trực quan hóa và phân tích dữ liệu tài chính từ nhiều nguồn khác nhau (CSV, Excel, cơ sở dữ liệu, web, v.v.)
• Xây dựng các ứng dụng giải quyết các vấn đề liên quan đến phân bổ tài sản, phân tích rủi ro, hiệu suất đầu tư và hơn thế nữa
• Khắc phục sự cố, tích hợp, triển khai và tối ưu hóa một ứng dụng Python

Đối tượng

• Nhà phát triển
• Nhà phân tích
• Chuyên gia định lượng (Quants)

Định dạng khóa học

• Kết hợp bài giảng, thảo luận, bài tập và thực hành chuyên sâu

Lưu ý

• Khóa đào tạo này hướng đến việc cung cấp giải pháp cho một số vấn đề chính mà các chuyên gia tài chính gặp phải. Tuy nhiên, nếu bạn có một chủ đề, công cụ hoặc kỹ thuật cụ thể mà bạn muốn bổ sung hoặc làm rõ thêm, vui lòng liên hệ với chúng tôi để sắp xếp.

Khóa đào tạo trực tiếp, do giảng viên hướng dẫn này (trực tuyến hoặc tại chỗ) dành cho các nhà khoa học dữ liệu và nhà phát triển muốn sử dụng RAPIDS để xây dựng các quy trình dữ liệu, quy trình làm việc và hình ảnh hóa dữ liệu được tăng tốc bởi GPU, áp dụng các thuật toán học máy như XGBoost, cuML, v.v.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Thiết lập môi trường phát triển cần thiết để xây dựng các mô hình dữ liệu với NVIDIA RAPIDS.
• Hiểu các tính năng, thành phần và lợi thế của RAPIDS.
• Tận dụng GPU để tăng tốc các quy trình dữ liệu và phân tích từ đầu đến cuối.
• Triển khai chuẩn bị dữ liệu và ETL được tăng tốc bởi GPU với cuDF và Apache Arrow.
• Tìm hiểu cách thực hiện các tác vụ học máy với các thuật toán XGBoost và cuML.
• Xây dựng hình ảnh hóa dữ liệu và thực hiện phân tích đồ thị với cuXfilter và cuGraph.

Trong khóa đào tạo trực tiếp, do giảng viên hướng dẫn này tại Việt Nam, người tham gia sẽ học cách sử dụng Python và Spark cùng nhau để phân tích dữ liệu lớn thông qua các bài tập thực hành.

Khi kết thúc khóa đào tạo này, người tham gia sẽ có thể:

• Học cách sử dụng Spark với Python để phân tích Big Data.
• Thực hành các bài tập mô phỏng các trường hợp thực tế.
• Sử dụng các công cụ và kỹ thuật khác nhau để phân tích dữ liệu lớn bằng PySpark.

MLlib là thư viện học máy (ML) của Spark. Mục tiêu của nó là làm cho việc học máy thực tế có thể mở rộng và dễ dàng. Nó bao gồm các thuật toán và tiện ích học tập phổ biến, bao gồm phân loại, hồi quy, phân cụm, lọc cộng tác, giảm chiều, cũng như các nguyên thủy tối ưu hóa cấp thấp và API pipeline cấp cao.

Nó được chia thành hai gói:

• spark.mllib chứa API ban đầu được xây dựng trên RDD.

• spark.ml cung cấp API cấp cao được xây dựng trên DataFrames để xây dựng pipeline ML.

Đối tượng

Khóa học này dành cho các kỹ sư và nhà phát triển muốn sử dụng Thư viện Máy học tích hợp cho Apache Spark

Môi trường tích hợp của Wolfram giúp nó trở thành một công cụ hiệu quả để phân tích và trình bày dữ liệu. Khóa học này bao gồm các khía cạnh của Ngôn ngữ Wolfram liên quan đến phân tích, bao gồm tính toán thống kê, trực quan hóa, nhập và xuất dữ liệu, cũng như tự động tạo báo cáo.