早在2016年,傳智播客黑馬程序員打造了線下實體班Python+人工智能就業班,以Web和人工智能-數據科學雙核心,培訓了AI開發人員20000+。
現在,傳智播客黑馬程序員又要打造線下實體班:人工智能AI進階班。 人工智能AI進階班面向編程零基礎、有數學基礎的學員,培養AI算法工程師、圖像與視覺處理(CV)開發工程師、自然語言處理(NLP)開發工程師。
強大的教學和研發團隊(10+年團隊課程設計經驗、4+年AI教學實施團隊)保證每一階段的課程都精益求精、最短知識路徑。人工智能AI進階班課程由研發團隊錄制好雙元產品,AI講師親自課堂演繹。
全程有7個階段。機器學習階段覆蓋10+經典算法、15+實戰案例;圖像與視覺處理(CV)階段內容涉及Tensorflow框架、圖像分類、檢測、分割、OpenCV,CV案例8+;自然語言處理(NLP)階段內容涉及PyTorch框架、經典NLP算法和網絡、分類應用、序列標注、機器翻譯、閱讀理解、垂直領域問答系統、NLP案例8+。項目階段4個大項目(每個項目天數8+,6選4);AI算法強階段內容涉及立體視覺與SLAM、強化學習、分布式機器學習、進化學習、論文復現。
課程設計訓練學員使用AI算法構建業務流的能力,訓練學員AI算法實用性、拓展性、創新性,論文復現的能力。比如AI在線醫生項目以AI算法為主線,實戰構建企業業務流,微信小程序、知識圖譜、web和數據庫開發。詳見課程大綱。
CV和NLP實戰案例采用當下熱點案例;CV和NLP實戰項目來源于一線企業;項目由30+研發團隊合力研發,聘請一線大牛研發工程師。詳見課程大綱。
依托傳智播客精益求精的課程設計風格,課程設計環節已考慮消化吸收,讓零基礎小白、預轉行的開發工程師都能順利入行。解決AI行業入門難、學習難、精通難、學習周期長的痛點。詳見課程大綱。
本課程適合于:具有本科及以上學歷的技術小白、預轉行的開發工程師等。
注:獲取更多免費學習視頻+資料+筆記,請加QQ:2632311208。
全日制脫產,每周5天上課, 上兩天課休息一天的上課方式(實際培訓時間可能因法定節假日等因素發生變化)
部分校區可能會根據實際情況有所調整,詳情可詢咨詢老師 點擊咨詢
人工智能AI進階班--基礎班課程大綱 | |||
所處階段 | 主講內容 | 技術要點 | 學習目標 |
第1階段: python基礎編程 | Python第一個程序 | 變量、標識符和關鍵字、輸入和輸出、數據類型轉換 | 可掌握的核心能力: 掌握Python基礎語法, 具備基礎的編程能力。 可解決的現實問題: 能夠熟練使用Python技術完成針對小問題的程序編寫。 |
條件控制語句和循環語句 | 比較關系運算符、邏輯運算符、三目運算符、while循環、for循環、break和continue | ||
容器類型 | 列表、元組、字典、有序字典、公共函數、字符串 | ||
函數 | 函數的定義和調用、不定長參數函數、匿名函數、遞歸函數、可變和不可變類型 | ||
文件操作 | 文件打開和關閉、文件的讀寫、os模塊文件與目錄相關操作、文件應用案例 |
本課程適合于:具有本科及以上學歷的技術小白、預轉行的開發工程師等。
注:獲取更多免費學習視頻+資料+筆記,請加QQ:2632311208。
全日制脫產,每周5天上課, 上兩天課休息一天的上課方式(實際培訓時間可能因法定節假日等因素發生變化)
部分校區可能會根據實際情況有所調整,詳情可詢咨詢老師 點擊咨詢
人工智能AI進階班--就業班課程大綱 | |||
所處階段 | 主講內容 | 技術要點 | 學習目標 |
第二階段 : python高級和系統編程 | 面向對象 | 面向對象介紹、類的定義和對象的創建、添加和獲取對象屬性、init方法、私有方法和私有屬性、繼承、多態、類方法、對象方法、靜態方法 | 可掌握的核心能力: 1、能夠熟練掌握Python的進階語法的使用; 2、掌握logging模塊,能夠進行日志處理; 3、掌握Python中的re模塊的使用, 能夠實現對字符串進行復雜模式匹配; 4、能夠理解與掌握基礎的數據結構和算法思想,具備編程解決問題的能力。 可解決的現實問題: 1、能夠使用Python編寫腳本程序解決基礎應用問題; 2、能利用數據結構和算法思想去解決實際問題。 |
異常處理 | 捕獲異常、異常的傳遞、自定義異常 | ||
模塊和包 | 模塊介紹、模塊的導入、模塊中的 __all__、模塊中 __name__ 的作用、包的介紹、包的導入 | ||
Python高級語法 | property屬性、with語句和上下文管理器、閉包、裝飾器、迭代器、生成器、深拷貝與淺拷貝、Python內存管理、垃圾回收 | ||
Python常用標準庫 | sys模塊、logging模塊、正則表達式的介紹、re模塊的使用、正則表達式的演練 | ||
案例:員工管理系統 | 顯示菜單、新建名片、刪除名片、修改名片、查看名片、退出系統 | ||
數據結構與算法 | 時間復雜度、空間復雜度、Python內置類型性能分析、順序表;鏈表:鏈表和鏈表的應用;隊列:隊列概念、隊列的實現與應用、雙端隊列;排序和搜索算法:冒泡排序、選擇排序、插入排序、快速排序、搜索、常見算法效率;散列表;二叉樹:樹的引入、二叉樹、二叉樹的遍歷、二叉樹擴展。 | ||
Linux系統使用 | CentOS操作系統介紹與使用、Linux命令使用、Linux命令選項的使用、遠程登錄和遠程拷貝、vi編輯器使用、CentOS軟件安裝和軟件卸載 | 可掌握的核心能力: 1、能夠熟練使用Linux操作系統; 2、掌握網絡編程相關技術, 能夠實現網絡間數據通信; 3、掌握程序設計開發中多任務實現方式。 可解決的現實問題: 能夠基于Linux操作系統理解與開發多任務的網絡程序。 | |
網絡編程 | IP地址的介紹、端口和端口號的介紹、socket的介紹、基于TCP通信程序開發 | ||
多任務編程 | 多任務介紹、進程的使用、線程的使用、線程同步與互斥鎖、死鎖介紹、協程的使用、進程線程協程的對比 | ||
Web基礎應用:HTTP協議 | HTTP協議介紹、HTTP通訊過程、curl命令使用、urllib與requests模塊使用 | 可掌握的核心能力: 1、能夠理解HTTP通訊; 2、能夠理解前端開發技術; 3、能夠掌握基本的Web后端開發技能。 可解決的現實問題: 能夠基于Django框架開發Web后端接口。 | |
Web基礎應用:前端基礎 | HTML概述及基本結構、HTML標簽介紹、CSS載入方式、CSS屬性入門、JavaScript語法介紹、jQuery介紹、JSON、AJAX | ||
AI開發所需Web應用:Django框架 | Django框架簡介和MVT設計模式;Django工程搭建:環境安裝、創建工程和子應用、定義視圖和路由;Django工程配置:配置文件的使用、路由匹配、路由定義的位置和解析的順序、靜態文件、展示靜態文件 | ||
取URL查詢參數、提取請求體數據、提取請求頭數據、其他常用請求對象屬性;響應HttpResponse:HttpResponse的使用、JsonResponse的使用;RESTful API風格介紹;前端和后端接口對接 | |||
第三階段: 機器學習 | 科學計算庫 | 人工智能概述、機器學習定義、機器學習工作流程; 機器學習算法分類、算法模型評估、Azure機器學習平臺實驗、機器學習基礎環境安裝與使用 | 可掌握核心能力: 1、掌握數據科學庫的使用; 2、掌握數據基本處理的方法。 可解決的現實問題: 對實際工作中收集到數據進行數據可視化、基本分析,提取有價值信息。 |
Matplotlib庫使用:Matplotlib架構介紹、Matplotlib基本功能實現、Matplotlib實現多圖顯示、Matplotlib繪制各類圖形 | |||
Numpy庫使用:Numpy運算優勢、數組的屬性、數組的形狀、Numpy實現數組基本操作、Numpy實現數組運算 | |||
Scipy使用:常數和特殊函數、擬合與優化、線性代數(含方程組求解)、數值積分和插值 | |||
pandas庫使用:pandas基本數據操作、DataFrame、Series、MultiIndex、panel、pandas畫圖、文件讀取和存儲、缺失值處理、數據離散化、數據合并、交叉表和透視表、分組和聚合;案例:電影數據分析 | |||
數學及統計初步及Python庫實現:統計學習(比較檢驗/假設檢驗/交叉驗證t檢驗); 混淆矩陣相關(錯誤率與精度/查準率/查全率) | |||
數值計算方法初步及Python庫實現:線條抽樣、牛頓及擬牛頓法、拉格朗日對偶性;曲線擬合(含插值及多項式逼近) | |||
數值計算方法初步及Python庫實現:矩陣相關計算 | |||
機器學習 (算法篇) | sklearn介紹、sklearn獲取數據集、seaborn介紹、數據可視化、數據集劃分 | 可掌握核心能力: 1、掌握機器學習中處理數據的方法; 2、理解經典的機器學習算法原理; 3、掌握機器學習中工作的具體流程。 可解決的現實問題: 1、把實際工作、生活中遇到的問題轉換為可以用機器學習解決的模型; 2、實現針對不同問題,選擇不同算法模型,同時在該模型的基礎上,對該算法進行調優。 市場價值: 機器學習算法工程師,具備對數據進行分析、挖掘的能力,可以進行機器學習模型的搭建和優化。 注:項目實訓會隨著社會熱點調整 | |
特征工程與模型優化:特征工程、特征預處理、歸一化、標準化、特征選擇、特征降維;交叉驗證、網格搜索模型保存和加載、欠擬合、過擬合 | |||
KNN算法api及kd樹及稀疏存儲;歐式距離、曼哈頓距離、切比雪夫距離、閔氏距離、標準化歐式距離、余弦距離、漢明距離、杰卡德距離、馬氏距離、KNN中k值的選擇、kd樹;案例:鳶尾花種類預測 | |||
線性回歸概念和api與原理剖析;損失函數:誤差平方和,交叉熵;梯度下降算法:FGD、SGD、mini-batch、SAG;模型優化:數據歸一化、優化器的選擇;正則化線性模型:Lasso回歸、嶺回歸、Elastic Net;線性回歸算法案例:波士頓房價預測 | |||
邏輯回歸概念api和原理:判定邊界、動態規劃、sigmoid、對數似然損失; 二分類問題:ROC曲線、AUC指標、ROC曲線的繪制; 案例:癌癥分類預測 | |||
決策樹算法原理和api使用:基本流程/劃分選擇、信息增益/增益率/基尼指數; 決策樹的構建和剪枝:剪枝處理/預剪枝/后剪枝/ID3/CART; 條件熵和交叉熵:連續與缺失值處理、多變量決策樹、熵的計算; 案例:泰坦尼克號乘客生存預測優化 | |||
樸素貝葉斯原理和api函數:半樸素貝葉斯分類器、貝葉斯網、馬爾科夫毯; 概率分布:多項式分布、高斯分布、條件概率、貝葉斯編程及A/B測試; 樸素貝葉斯案例:情感分析、垃圾郵件及答案的標注 | |||
SVM算法原理:感知機學習策略及算法收斂性、線性可分及異或不可分、對偶問題及KKT、SMO算法、軟間隔與正則化、支持向量回歸; 核函數:最簡單的核函數距離、相似性函數、常用核函數(GBF和Gassian)、核函數對比 SVM案例:紅酒口感預測及對比分析;病理診斷及分析預測 | |||
聚類算法:kmeans流程和質心、EM算法原理及高斯混合模型 評價指標及優化:內部指標、外部指標、優化方法(二分kmeans,kmeans++)、SC系數/CH系數 聚類算法案例:探究用戶對物品類別的喜好細分,對地圖上的點進行聚類 | |||
集成學習與bagging:隨機森林概述、訓練算法 AdaBoost算法和使用:訓練誤差分析、廣義加法模型 各種AdaBoost算法:離散型AdaBoost、實數型AdaBoost、LogitBoost、Gentle型AdaBoost;實現:弱分類器的選擇、樣本權重削減 案例實踐:手寫數字圖片識別 | |||
馬爾可夫鏈蒙特卡羅:采樣、蒙特卡羅、建議分布,馬爾可夫鏈、Metropolis-Hastings算法、模擬退火、Gibbs采樣 案例:睡眠數據案例分析 | |||
圖模型:近似推斷、創建貝葉斯網絡;馬爾可夫隨機場;隱馬爾可夫模型:前向算法、Viterbi算法、Baum-Welch或前向后向算法;跟蹤方法:卡爾曼濾波 、粒子濾波 | |||
高斯過程回歸:添加噪聲、高斯過程回歸的實現、學習參數; 高斯過程分類:拉普拉斯近似、計算后驗、高斯過程分類的實現; 高斯綜合案例實踐 | |||
機器學習項目實訓 | 1、《絕地求生》玩家排名預測 2、客戶價值分析系統 | ||
第四階段 : 深度學習與圖像與視覺處理(CV) | 神經網絡 | 神經網絡基礎:神經網絡:感知機、與、或、異或問題;softmax 反向傳播原理:批量學習和在線學習、反向傳播算法、改善反向傳播算法性能的試探法 案例:實現多層神經網絡 | 可掌握核心能力: 1、熟悉深度學習主要及前沿網絡模型的架構原理及在實際業務場景中的應用; 2、掌握深度學習在計算機視覺中的應用,包括但不限于分割檢測識別等等; 3、掌握實際工作中深度學習的具體流程,數據及標注處理,建模訓練,及模型部署應用等。 可解決的現實問題: 1、可實現物體(人體,人臉,通用目標)檢測,跟蹤與識別,道路交通及工業環境險情發現等多領域的深度學習解決方案; 2、能夠對圖像處理、人臉算法,或者對于各種深度學習框架實現的算法進行調優。 市場價值: 可勝任深度學習算法工程師,圖像與計算機視覺算法工程師等,并持續優化與迭代算法。 |
TensorFlow框架 | Tensorflow框架基礎:圖、會話、張量、OP Tensorflow高級API:數據讀取tf.data、模型tf.kears、訓練tf.MirroedStrategy、導出tf.SavedModel等API應用" | ||
圖像與視覺處理介紹 | 計算機視覺定義、計算機視覺發展歷史;計算機視覺技術和應用場景、計算機視覺知識樹和幾大任務 | ||
目標分類和 經典CV網絡 | CNN:感受野、卷積、零填充、過濾器大小、多通道卷積、全連接層 | ||
卷積網絡結構:LeNet5、AlexNet、VGG、Inception、GoogleNet、殘差網絡 | |||
深度學習正則化與算法優化:L1、L2、DroupOut、BN、SGD、RMSProp、Adagrad、Adam | |||
TF分布式訓練:TF Strategy;遷移學習:TensorFlow HUB | |||
模型壓縮:模型剪枝、參數壓縮、二進制網絡 | |||
目標分類實戰案例:ImageNet分類;Apache Flink極客挑戰賽——垃圾圖片分類 | |||
目標檢測和經典CV網絡 | 目標檢測任務與數據集介紹:檢測任務目的、常見數據集、應用場景 | ||
RCNN:交并比、map、非極大抑制NMS、正負樣本;SPPNet:SPP層映射 | |||
FastRCNN:ROI Pooling;FasterRCNN:RPN、代價函數、訓練流程與結果分析、FPN與FasterRCNN結合 | |||
YOLOv1、YOLOv2、YOLOv3:結構與工作流程、代價函數、anchor、維度聚類、細粒度與多尺度特征、先驗框與代價函數 | |||
SSD:Detector & classifier、SSD代價函數、特征金字塔 | |||
目標檢測實戰案例:COCO數據集上目標檢測 | |||
目標分割和經典CV網絡 | 目標分割任務類型、數據集 | ||
全卷積FCN網絡:網絡結構、跳級連接、語義分割評價標準、結果分析 | |||
U-Net:拼接特征向量;Dilated Convolutions:聚合多尺度的信息、context module | |||
PSPNet:金字塔池化模塊;Deeplab:串行部署 ASPP | |||
Mask-RCNN:結構介紹、ROI Align與Pooling對比、代價函數介紹、端到端聯合訓練 | |||
目標分割實戰案例 | |||
OpenCV庫與圖像處理基礎 | 基本的OpenCV代碼、IplImage數據結構、讀寫圖像 | ||
基本的灰度變換函數 :灰度直方圖、灰度的線性變換、灰度對數變換、伽瑪變換、灰度閾值變換、分段線性變換 | |||
直方圖處理:圖像矩特征點度量特征、全局直方圖、局部區域直方圖、散點圖和3D直方圖、OpenCV實踐 | |||
幾何變換:翻轉、剪裁、遮擋、圖像算數、圖像金字塔、OpenCV幾何變換操作 | |||
形態學:形態學定義、連通性、二值操作、平滑、梯度、紋理分割及OpenCV實踐 | |||
OpenCV庫與圖像處理進階 | 邊緣檢測技術:邊緣檢測的目的和模型、噪聲、導數算子、Marr-Hildreth邊緣檢測器、基于模板的邊緣檢測、Canny Edge邊緣檢測器、Shen-Castan(ISEF)邊緣檢測器、彩色邊緣、OpenCV邊緣檢測操作 | ||
特征檢測和描述:哈里斯角點檢測、Shi-Tomasi角落探測器、SIFT、SURF、FAST、ORB、霍夫變換 | |||
視頻操作:讀取攝像頭、讀取視頻、視頻寫入 | |||
空間濾波:平滑空間濾波器、銳化空間濾波器、拉普拉斯算子、空間濾波綜合及OpenCV實踐 | |||
OpenCV綜合實戰案例 | |||
cv綜合案例實訓 | 熱點垃圾分類、火焰及險情識別檢測、水果識別分類、手勢姿態識別估計 | ||
第五階段: 深度學習與自然語言處理(NLP) | pytorch工具與神經網絡基礎 | pytorch入門:pytorch的介紹、安裝、張量概念、基本運算 | 可掌握核心能力: 1、掌握pytorch的安裝和使用; 2、理解神經網絡涉及的關鍵點。 可解決的現實問題: 1、能夠使用pytorch搭建神經網絡; 2、能夠有效的理解有關深學習的知識。 |
神經網絡基礎:神經網絡介紹;感知機、梯度、反向傳播;梯度、反向傳播 | |||
數據操作:數據加載器、迭代數據集 | |||
使用pytorch完成手寫字識別 | |||
自然語言處理NLP介紹 | NLP介紹:對話系統簡介、NLU簡介、文本生成簡介、機器翻譯簡介、實際應用場景:智能客服、翻譯、機器人寫作、作文打分 | 可掌握核心能力: 1、掌握NLP領域前沿的技術解決方案; 2、掌握NLP相關知識的原理和實現; 3、掌握傳統序列模型的基本原理和使用; 4、掌握非序列模型解決文本問題的原理和方案。 可解決的現實問題: 1、構建基本的語言翻譯系統模型; 2、構建基本的文本生成系統模型; 3、構建基本的文本分類器模型; 4、使用ID-CNN+CRF進行命名實體識別; 5、使用fasttext進行快速的文本分類。 市場價值: 勝任多數企業中中級NLP工程師的職位。 | |
自然語言處理NLP開發HelloWorld案例 | 從法語到英語的翻譯模型:獲取數據集與數據處理,模型構建(構建編碼器類、構建解碼器類、構建解碼器端的注意力機制類),模型訓練與評估 | ||
文本預處理 | 常見文本分析方案和工具;常用的文本向量化方法、word2vec原理、工具、Embedding層、文本對齊:文本對齊的原因、依據、工具;文本數據增強:數據增強方法、工具 | ||
RNN及變體 | RNN結構解析、優缺點;LSTM結構解析、作用、實現剖析;bi-LSTM的解析與實現;GRU結構解析、作用、實現;bi-GRU的解析與實現;seq2seq框架介紹、seq2seq中使用bi-GRU | ||
案例:訓練生成莎士比亞風格文章的模型 | |||
Transfomer | Attention機制原理、作用、實現;self-attention機制的原理、作用、實現;Multi-head attention原理、作用、實現;positional encoding;Transfomer實現 | ||
案例:訓練區分Quora中非真實問題的文本分類器 | |||
傳統的序列模型 | HMM原理、實現、優劣勢;ME原理、實現、優劣勢;CRF原理、實現、優劣勢 | ||
非序列模型解決文本問題 | ID-CNN原理、結構、實現;fasttext原理、結構、實現 | ||
案例:使用膨脹卷積+CRF實現命名實體識別 |
第六階段: 項目階段 | 項目階段之:實時人臉識別檢測項目(CV) | ||
人臉識別項目是一個基于深度學習的可通過實時攝像頭采集視頻人臉數據,也可以進行批量圖片輸入進行批量自動化識別人臉,對于視頻輸入,可實現人臉的跟蹤,標注姓名,性別,情緒(開心,生氣,自然)等信息并對進入視頻的陌生人進行報警的系統實戰項目。 | |||
技術亮點: 1、數據庫管理,可隨時查詢人臉庫中的人臉信息,或對特定的人臉信息進行修改、刪除等操作; 2、人臉檢測:掃描”加“判別”在圖像范圍內掃描,再逐個判定候選區域是否是人臉; 3、狀態判別:識別出人臉的性別、表情等屬性值的一項技術,最新的一些基于深度學習的人臉屬性識別也具有一個算法同時輸入性別、年齡、姿態等屬性值的能力; 4,人臉識別:識別出輸入人臉圖對應身份的算法,它的輸入一個人臉特征,通過和注冊在庫中N個身份對應的特征進行逐個比對,找出“一個”與輸入特征相似度最高的特征,否則返回“不在庫中”并進行報警。 能掌握的技術: 1、EigenFace,FisherFace,LBPH及人臉雙屬性圖; 2、Hausdorff距離的動態人臉圖像定位; 3、PCA、ICA、LDA和EP在人臉識別上的綜合運用; 4、基于PyQt5的GUI編程模塊及信號槽機制。 | |||
章節 | 課程 | 知識點 | |
1 | 項目概述 | 系統架構設計、項目關鍵技術說明 | |
項目業務需求分析、項目業務流程設計 | |||
2 | 環境部署 | 系統介紹項目開發環境概述、DLib框架源碼編譯、項目工程文件創建 | |
項目開發環境配置、項目性能優化設置 | |||
基于PyQt5的GUI編程模塊及信號槽機制 | |||
人臉識別解決方案分析及數據源處理 | |||
3 | 人臉識別項目流程方案 | 業務理解,任務拆解 | |
目標檢測模型實現 | |||
目標關鍵點模型實現:輸入標注數據、數據預處理、數據增強 | |||
人臉校正實現及目標條件分析 | |||
識別模型實現:人臉對齊、人臉比對和活體檢測等全部技術環節的代碼設計、運行演示和執行結果輸出 | |||
模型驗證:檢測、關鍵點回歸、識別驗證方案 | |||
4 | 人臉識別核心技術 | 基于Dlib與OpenCV等的核心技術流梳理 | |
實時人臉特征點對齊,人臉比對的實現 | |||
實時活體檢測:眨眼與張嘴實現 | |||
實時視頻采集及圖片抓拍的實現 | |||
實現視頻抓拍:逐幀抓取,逐幀識別 | |||
人臉檢測HOG及特征點檢測ERT | |||
5 | 靜態人臉識別系統 | 通用形變模型的創建:輪廓特征點的選取及變形模型 | |
人臉局部特征探測:逐步求精定位法 | |||
數學算子及模板的構建和探測:眼睛,嘴巴和鼻子模型 | |||
人臉圖像的雙屬性圖 | |||
6 | 動態人臉識別系統 | 動態人臉識別系統框架及馬爾科夫訓練模型 | |
Hausdorff距離的動態人臉圖像定位 | |||
特征子空間與動態圖像分割 | |||
人臉區域檢測和人臉特征點標定的算法實現機制 | |||
動態人臉圖像識別中外界影響的處理 | |||
6 | 模型訓練及測試 | 人臉區域特征樣本標注 | |
人臉檢測模型訓練及測試 | |||
人臉特征點樣本標注 | |||
人臉特征點模型訓練及測試 | |||
人臉識別之EigenFace | |||
人臉識別之FisherFace及Gabor算法 | |||
人臉識別之LBPH | |||
7 | 項目總結 | PCA、ICA、LDA和EP在人臉識別上的應用優劣比較總結 | |
Dlib人臉檢測器模塊優化提升方法總結 | |||
整體方案前向推斷集成總結 | |||
局部特征分析技術,模板匹配,圖匹配技術優化方案總結 | |||
智能交通項目(CV) | |||
智能交通項目是一個可跟蹤路面實時車輛通行狀況,并逐幀記錄不同行車道車流量數目的深度學習項目,“車輛自動計數系統”由計數系統、圖像抓拍系統、實時監控錄像系統組成,在視頻中可看出每個車輛的連續幀路徑,該項目可拓展性強,可根據企業業務外接計費結算系統、LED顯示系統、語音播報系統、供電防雷系統等。 | |||
技術亮點: 1、利用卡爾曼濾波最優濾波方程對建立的交通流系統狀態方程、觀測方程; 2、采用背景差分法對在檢測區的車輛進行檢測和跟蹤; 3、利用DGPS/DR組合車輛定位中各子系統的模型對車輛定位提高精度; 4,利用Haar Adaboost 自定義目標檢測對過往的車輛進行檢測、計數和分類。 能掌握的技術: 1、Haar Adaboos與粒子濾波技術; 2、車輛外形標注,識別,訓練的工程化方法實踐; 3、利用CV,CA,CTRA,CTRV等高級運動模型構造卡爾曼濾波實現車流跟蹤; 4、基于基于遷移學習的其它類型識別模型訓練。 | |||
章節 | 課程 | 知識點 | |
1 | 項目概述 | 系統架構設計、項目關鍵技術說明 | |
項目業務需求分析、項目業務流程設計 | |||
2 | 環境部署 | 系統介紹項目開發環境概述、Tensorflow框架、項目工程文件創建 | |
項目開發環境配置、項目性能優化設置 | |||
視頻數據源的Python讀入及逐幀識別 | |||
交通流量解決方案分析及數據源處理 | |||
3 | 智能交通項目流程方案 | 業務理解,任務拆解 | |
目標檢測模型實現 | |||
圖像理解框架及馬爾方法 | |||
圖像視頻理解:運動目標檢測與跟蹤主流工程實踐方法 | |||
視頻背景建模與前景選取實踐 | |||
4 | 車輛跟蹤核心技術 | 背景建模實現:基于視頻的運動目標分割 | |
前景探測:運動目標車輛的檢測與跟蹤 | |||
基于光流的目標跟蹤實踐 | |||
基于均值偏移的目標跟蹤實踐 | |||
基于粒子濾波的目標跟蹤實踐 | |||
卡爾曼濾波實踐 | |||
5 | 流量統計核心技術 | 首先采用背景差分法和卡爾曼濾波算法對在檢測區的車輛進行檢測和跟蹤; | |
使用經過檢測、處理的被測車輛圖像觸發距其最近的相機進行圖形分割; | |||
通過LDA分類器對分段車輛的幾何形狀及外觀特征進行正確地分類. | |||
實現濾波,參照DELOS算法實現對城市快速路的事故檢測 | |||
6 | 模型訓練及項目主流程 | 車輛區域特征樣本標注 | |
車輛檢測模型訓練及測試 | |||
深度學習CNN建模,建立車輛分類器 | |||
系統逐幀采集視頻圖像并檢測車輛 | |||
為檢測到每個車輛目標初始化卡爾曼濾波器,通過卡爾曼濾波器逐幀匹配目標進行位置預測; | |||
對比檢測位置與預測位置,逐幀鏈接前景圖像,獲取車輛的跟蹤路徑。 | |||
7 | 項目總結 | HEVC壓縮域等的車流量檢測應用優劣比較總結 | |
幀間差分法、圖像閾值分割和數學形態學的運動目標檢測方法總結 | |||
結合智能優化算法對其改進的遺傳算法—克隆選擇遺傳算法比較總結 | |||
CT圖像肺結節自動檢測項目(CV) | |||
CT圖像肺結節自動檢測項目是一個可針對X光胸片的肺部結節自動檢測方法,并應用深度學習方法在CT圖像上進行智能肺結節檢測,結合計算機視覺技術和深度學習網絡,AI能夠自動完成對可疑病灶區域的標記和預診斷,提高了醫生的工作效率,降低了誤診率和漏診率。 | |||
技術亮點: 1、將全局自適應閾值法應用于肺部醫學圖像的分割中,通過迭代尋取最優閾值完成對軀干部分的去除; 2、利用邊界跟蹤等多種方法相結合完成對肺實質的提取成像; 3、利用Faster R-CNN肺結節檢測+3D-CNN模型進行病灶發現; 4,U-Net肺結節分割+3D-CNN模型降低深度學習診斷錯誤率。 能掌握的技術: 1、醫學影像(DICOM格式)進行轉換,變為通用圖像格式(PNG),以便用于深度學習模型訓練; 2、結合哈希算法及DNN網絡的數據處理能力對肺結節的語義級別特征進行深度提取; 3、用改進的FCM算法完成對ROI在圖像增擴基礎上進一步提取; 4、將直方圖統計特性和隸屬度函數優化結合起來對算法進行優化。 | |||
章節 | 課程 | 知識點 | |
1 | 項目概述 | 系統架構設計、項目關鍵技術說明 | |
項目業務需求分析、項目業務流程設計 | |||
2 | 環境部署 | 系統介紹項目開發環境概述、SimpleITK醫學影像處理庫使用、Keras項目工程文件創建 | |
項目開發環境配置、項目性能優化設置 | |||
數據源的處理及增強 | |||
RBDcm工具及圖像統計 | |||
3 | CT圖像肺結節自動檢測項目流程方案 | 業務理解,任務拆解 | |
目標檢測模型實現 | |||
肺部實質形態的圖像分割 | |||
肺結節的檢測及結節分割 | |||
結節特征的判別及病理診斷 | |||
4 | 醫療影像數據轉換 | DICOM CT圖像預處理歸一化,二值化,閾值分割等操作 | |
讀取圖片DICOM,截取像素轉Cube并存儲為PNG | |||
用USM銳化的方法對圖像中的結節信號進行增強 | |||
圖像增強,旋轉,平移等,提高數據集的拓展性 | |||
準備U-net訓練數據并進行數據標記 | |||
對圖像進行分割實現肺部有效區域提取 | |||
5 | 核心技術 | 在胸片上用滑動窗口的方法切取小塊,下采樣后輸入進網絡進行分類,得到整張胸片的候選結節區域 | |
對所得CT面積圖像閾值分割排除掉大量假陽性病例 | |||
結合深度哈希算法,實現檢索過程由粗到精的有效操作 | |||
對ROI進行旋轉、縮放、平移或平移、縮放、旋轉、復合中2種或以上的組合操作提升網絡魯棒性 | |||
6 | 模型訓練及項目主流程 | Faster R-CNN肺結節檢測+3D-CNN模型進行病灶發現 | |
U-Net肺結節分割+3D-CNN模型降低錯誤率 | |||
實現U-Net網絡的構建的訓練 | |||
實現3D-CNN的網絡結構,并加載訓練好的權重 | |||
進行預測并獲取獲取U-Net預測結果的中心點坐標(x,y) | |||
優化主要網絡如CNN、DNN和SAE等 | |||
7 | 項目總結 | 總結使得深度卷積神經網絡可以充分提取肺結節的特征的優化方法 | |
對哈希算法及DNN網絡的數據處理能力對肺結節的語義級別特征進行深度提取經驗的總結 | |||
對深度學習網絡根據標準模糊C均值算法進行改進 | |||
項目階段之:泛娛樂推薦系統項目(CV+推薦) | |||
推薦系統的在當下的火爆程度毋庸置疑,個性化推薦的需求也是每一個toC產品應該實現的目標。我們的泛娛樂推薦系統使用主流的Retrive-Ranking(召回-排序)架構。該推薦系統的主要目標: 通過向用戶推薦更合適的帖子, 增加用戶交互行為(點贊,評論,轉發,收藏等), 進而增加用戶平均使用時長。同時滿足的用戶體驗要求: 多樣性,新穎性和數據合理性。在排序模塊即AI部分,我們將從模型選擇,超參數調優,損失函數機器優化方法等多維度深層次進行剖析,詮釋為何我們能夠推薦出滿足用戶“嗨點”的作品。 | |||
技術亮點: 1、豐富的召回策略幫助我們盡可能多的覆蓋不同用戶對產品推薦的不同需求, 進而提升用戶粘度; 2、金字塔召回機制:海量數據下實時響應用戶行為變化; 3、更加科學合理的構建雙畫像,保證原始數據的準確,為模型收斂奠定基礎; 4、分布式訓練減少了大型模型訓練時間,加速模型調優效率, 更好的利用深度模型發掘海量數據價值; 5、使用wide-deep模型進行排序,在類似工程推薦項目中已經取得成功, eg, google play 提升3.9%。 | |||
章節 | 課程 | 知識點 | |
1 | 整體系統概述與搭建 | 背景介紹 | |
環境配置 | |||
系統搭建 | |||
業務流實現 | |||
2 | 構建雙畫像 | neo4j安裝與使用 | |
cypher語句學習與深入 | |||
標簽體系設計 | |||
用戶畫像與帖子畫像的實現 | |||
3 | 多召回策略 | 多召回策略的設計原理 | |
多召回策略實現 | |||
4 | 召回金字塔 | 召回金字塔機制原理 | |
召回金字塔實現 | |||
5 | 規則過濾器服務 | 規則過濾器的設計原理 | |
規則過濾器實現 | |||
6 | 模型的選擇與實現 | 正負樣本的定義標準 | |
正負樣本的采集與評估指標 | |||
模型特征的選擇準則 | |||
模型特征的定義與實現 | |||
wide-deep模型的選用 | |||
7 | 模型的結構與參數 | LR與MLP學習 | |
wide-deep模型結構與參數分析 | |||
8 | 損失函數與優化方法 | 二分類交叉熵損失函數詳解 | |
FTRL優化方法詳解 | |||
Adagrad優化方法詳解 | |||
9 | 超參數調優 | 超參數調優理論發展 | |
網格搜索與隨機搜索 | |||
貝葉斯優化 | |||
10 | 使用gcp進行模型訓練 | gcp的基本使用方法 | |
構建gcp規范下的模型 | |||
使用gcp進行超參數調優 | |||
使用gcp進行優化訓練方案 | |||
11 | 模型評估與部署 | 模型的評估 | |
深度模型的部署方案 | |||
推薦系統的總體檢驗標準 | |||
12 | 基于圖像和視頻分析的人臉推薦解決方案 | opencv 視頻處理:視頻解碼,圖像基本處理 | |
mtcnn人臉檢測算法:p-net、r-net、o-net級聯,分類+框回歸+關鍵點回歸 | |||
inception resnet v2提取人臉特征:人臉區域提取出128/512個特征值 | |||
mlp 人臉特征分類:神經網絡基于人臉特征做分類 | |||
人臉特征提取用到的loss函數原理 | |||
model 服務器端部署:基于tensorflow serving | |||
13 | 基于圖像和視頻分析的場景推薦解決方案 | opencv 視頻處理:視頻解碼,圖像基本處理 | |
nasnet/inception resnet v2 場景分類:cnn提取圖片特征進行分類 | |||
model 服務器端部署:基于tensorflow serving | |||
14 | 基于圖像和視頻分析的表情推薦解決方案 | opencv 視頻處理:視頻解碼,圖像基本處理 | |
mtcnn人臉檢測算法:p-net、r-net、o-net級聯,分類+框回歸+關鍵點回歸 | |||
人臉矯正:基于人臉關鍵點對齊 | |||
cnn提取人臉特征進行分類 | |||
model 服務器端部署:基于tensorflow serving | |||
15 | 基于圖像和視頻分析的姿態推薦解決方案 | opencv 視頻處理:視頻解碼,圖像基本處理 | |
mask r-cnn 檢測人體關鍵點:先檢測人體,然后檢測人體骨骼關鍵點 | |||
mlp關鍵點分類:神經網絡基于人體關鍵點做分類 | |||
model 服務器端部署:基于tensorflow serving | |||
在線醫生項目(NLP) | |||
在線醫生項目是一個基于自然語言理解方向的問答機器人。類似的應用,還有百度地圖的小度、天貓精靈、淘寶小蜜,招商銀行的小招等。該項目結合醫學知識圖譜、深度學習、對話管理、微信公眾號開發等技術,旨在降低首醫成本,為患者提供基本醫學診斷意見服務。 技術層面包含語音識別、自然語言理解、對話管理以及自然語言生成等環節,其中又包含領域識別,用戶意圖識別,槽位填充,對話狀態追蹤,對話策略等技術細節。功能上為患者提供根據癥狀信息給出診斷意見任務與就近治療任務。通過學習該課程,學生可以了解多輪多任務對話系統的技術點以及業務流程 | |||
技術亮點: 1、基于大規模知識圖譜技術與自然語言處理在醫療領域的應用場景; 2、基于語音識別與語音生成技術的與患者語音溝通的交互方式; 3、基于微服務架構的人工智能產品; 4、基于端到端以及結合知識庫的多輪多任務對話系統網絡結構。 能掌握的技術: 1、數據清洗以及知識抽取、知識圖譜構建; 2、圖數據庫neo4j相關技術點及基本操作; 3、Pipeline方式與end-to-end流程設計方式以及不同; 4、mem2seq模型論文到代碼實現方案; 5、微信公眾號接口開發以及第三發api接口集成。 技術解決方案: 1、端到端任務對話系統解決; 2、知識圖譜與深度學習結合解決方案; 3、深度學習模型微服務化以及負載均衡處理解決方案; 4、多領域對話系統集成方案。 | |||
章節 | 課程 | 知識點 | |
1 | 項目介紹 | 生活類任務對話系統介紹 | |
在線醫生項目介紹 | |||
2 | 聊天機器人入門 | 申請公眾號、搭建微信開發環境 | |
安裝werobot以及常用接口實現 | |||
Demo:你說我學與圖尚往來 | |||
案例:配置自己的機器人 | |||
3 | 數據爬取 | 爬取專業醫療知識網站 | |
數據篩選,清理不完備數據 | |||
數據提取定位以及知識抽取數據準備 | |||
醫學問答數據提取 | |||
疾病、癥狀知識抽取 | |||
4 | 醫學知識圖譜 | 知識圖譜介紹 | |
知識圖譜在醫療領域的應用 | |||
知識存儲各大廠商介紹 | |||
Neo4j安裝環境搭建 | |||
Python調用neo4j并完成數據插入與查詢操作 | |||
案例:完成基于知識圖譜的對話機器人 | |||
5 | 醫學命名實體識別 | 命名實體識別介紹 | |
命名實體識別在醫學方面的應用 | |||
BiLSTM+CRF模型原理介紹 | |||
BiLSTM+CRF模型實現 | |||
IDCNN模型原理介紹 | |||
IDCNN模型實現 | |||
案例:疾病與癥狀命名實體識別 | |||
6 | 任務對話系統(Pipeline方法) | 任務對話系統介紹 | |
自然語言理解介紹-領域識別 | |||
自然語言理解介紹-用戶意圖識別 | |||
語義槽介紹以及在任務對話系統中的作用 | |||
語義槽設計 | |||
命名實體識別在語義槽中的應用 | |||
語義槽實現 | |||
對話管理-對話狀態追蹤介紹 | |||
對話狀態追蹤實現 | |||
對話管理-對話策略介紹 | |||
對話策略實現 | |||
項目:基于pipeline的對話系統實現 | |||
7 | 論文學習與轉化 | Mem2seq的來龍去脈以及論文解讀 | |
模型對比:包括與seq2seq以及+attention | |||
準備訓練數據 | |||
Mem2seq模型實現 | |||
8 | 任務對話系統 (end-to-end方法) | 端到端對話系統介紹 | |
基于端到端模型Mem2seq的項目介紹 | |||
項目:基于端到端的任務對話系統部署上線 | |||
智能文本分類-NLP基礎設施項目(NLP) | |||
中文標簽化系統是NLP基礎任務的綜合系統,同時又是NLP應用的基礎設施。根據文本信息,給出對應的預定義標簽將能夠有效的支持用戶畫像,推薦系統等。同時,對于高階NLP任務,如對話,翻譯,寓意蘊含等在語料分類上將有很大的幫助。 | |||
技術亮點: 1、搭建多模型訓練服務,保證在訓練過程中,進行資源監控和分配,得以最高效率在有限資源內進行模型訓練; 2、搭建多線程并行預測服務, 為了滿足性能要求,這里我們將利用多線程的方式,并對每一個獲得結果做最后綜合處理; 3、圖譜權重更新, 隨著模型的預測完成,將使用預測概率更新在該路徑權重,最后根據權重計算規則,獲得最后結果; 4、使用n-gram特征工程, 來捕捉詞序對結果的影響; 5、使用fasttext模型,適應在語料變化大,模型數量規模大,模型上下線頻繁的場景。 | |||
章節 | 課程 | 知識點 | |
1 | 整體系統概述與搭建 | 背景介紹 | |
環境配置 | |||
輸入預處理 | |||
輸出規范處理 | |||
2 | 構建標簽詞匯圖譜 | 標簽的制定 | |
詞匯的采集 | |||
構建圖譜 | |||
實現查詢與修改邏輯 | |||
基于模型的權重更新 | |||
3 | fasttext模型與特征工程 | fasttext發展簡介 | |
fasttext模型結構與參數解析 | |||
fasttext的選用原因 | |||
n-gram特征使用 | |||
4 | 損失函數與優化方法 | fasttext的損失函數解析 | |
fasttext的優化方法解析 | |||
使用keras實現fasttext | |||
5 | 多模型訓練服務 | 單模型訓練流實現 | |
多模型訓練服務搭建 | |||
多模型訓練API開發 | |||
算力資源分配設計原理 | |||
算力資源分配主邏輯實現 | |||
多模型訓練服務實驗與部署 | |||
6 | 單模型微服務部署 | 模型格式詳解 | |
h5格式如何轉為pb格式 | |||
使用tensorflow-seving封裝 | |||
7 | 多模型預測服務 | 模型預測主服務搭建 | |
多線程與多進程的比較 | |||
模型并行預測的實現 |
注:實時人臉識別檢測項目、智能交通項目、在線醫生項目、智能文本分類項目為主講項目;其他2個項目會贈送。主講項目會根據就業熱點進行更新迭代,以上課安排為準。
第七階段: AI算法強化和面試強化階段(贈送串講) | 人工智能AI算法強化 | ||
自編碼器 | 自編碼器:應用舉例、欠完備自編碼器、正則自編碼器、表示能力、層的大小和深度、隨機編碼器和解碼器、去噪自編碼器、變分自編碼器、實踐案例 | 可掌握核心能力: 1、理解算法和模型的分布式實現及加速原理 2、深入理解常用算法及數據結構,尤其是深度學習、增強學習等相關領域,及對模式識別,概率統計、最優化等算法原理及應用 可解決的現實問題: 1、具備豐富并行算法庫的能力; 2、跟進行業最新深度學習算法相關先進技術,研究并應用的學習算法,持續提升模型的精準性和魯棒性 市場價值: 可勝任算法工程師,并能對機器學習,深度學習等前沿技術的研發儲備和平臺建設,結合未來實際應用場景,提供一定技術解決方案。 | |
對稱權重與深度置信網絡 | 積極學習-Hopfield網絡:聯想記憶、實現聯想記憶、能量函數、Hopfield網絡的容量、連續Hopfield網絡 隨機神經元-玻爾茲曼機:受限玻爾茲曼機、CD算法的推導、監督學習、RBM作為定向置信網絡、綜合實操演練 | ||
進化學習 | 遺傳算法:字符串表示、評價適應度、種群、產生后代、選擇父母 | ||
遺傳算子:交叉、變異、精英法、比賽法和小生境 | |||
遺傳算法應用:圖著色、間斷平衡、示例-背包問題、示例-四峰問題、遺傳算法的缺陷、用遺傳算法訓練神經網絡 | |||
與采樣結合的進化學習、遺傳程序;實操演練 | |||
分布式機器學習 | 分布式機器學習基礎:通信、一階確定性算法、 二階確定性算法、非凸隨機優化算法 | ||
分布式機器學習模型:基本概述、基于模型加和的聚合方法、基于模型集成的聚合方法 | |||
分布式機器學習算法:基本概述、同步算法、異步算法、同步和異步的對比與融合、模型并行算法 | |||
分布式機器學習理論:基本概述、收斂性分析、加速比分析、泛化分析" | |||
分布式機器學習系統:1 基本概述、基于IMR的分布式機器學習系統、基于參數服務器的分布式機器學習系統、基于數據流的分布式機器學習系統 | |||
案例實踐 | |||
強化學習 | 學習情境與馬爾科夫決策過程:學習情境、馬爾科夫決策過程 | ||
策略:定義、策略值、策略評估、最優策略 | |||
規劃算法:值迭代、策略迭代、線性規劃 | |||
學習算法:隨機逼近、TD(0)算法、Q-學習算法、SARSA、TD(λ)算法 、大狀態空間 | |||
實踐案例:綜合案例實踐 | |||
數據結構和算法強化 | |||
數據結構強化 | 無向圖:表示無向圖的數據類型、深度優先搜索、尋找路徑、廣度優先搜索、連通分量、符號圖 | 可掌握核心能力: 1、培養扎實的算法設計,數據結構功底; 2、深入理解算法及數據結構中的經典問題。 可解決的現實問題: 1、將貪心及動態規劃等算法用于實際問題的建模分析; 2、深入理解算法和模型調優方式及優缺點。 市場價值: 可勝任算法工程師,并能對機器學習,深度學習等前沿技術的研發儲備和平臺建設,結合未來實際應用場景,提供一定技術解決方案。 | |
有向圖:有向圖的數據類型、有向圖中的可達性、環和有向無環圖、有向圖中的強連通性 | |||
最小生成樹:原理、加權無向圖的數據類型、最小生成樹的API和測試用例、Prim算法、Prim算法的即時實現、 Kruskal算法 | |||
最短路徑:最短路徑的性質、加權有向圖的數據結構、最短路徑算法的理論基礎、Dijkstra算法、無環加權有向圖中的最短路徑算法、一般加權有向圖中的最短路徑問題 | |||
案例實踐:綜合實操演練 | |||
動態規劃初步 | 動態規劃初步:鋼條切割、矩陣鏈乘法、動態規劃原理、最長公共子序列、最優二叉搜索樹 | ||
案例實踐,綜合實操演練 | |||
貪心算法 | 貪心算法原理及應用:活動選擇問題、貪心算法原理、赫夫曼編碼、擬陣和貪心算法、用擬陣求解任務調度問題 案例實踐:綜合實操演練 | ||
數據結構與算法的Python實現 | 窮舉搜索、回溯法、減而治之、分而治之、變而治之、貪心法、迭代改進、動態規劃 | ||
計算機視覺CV強化 | |||
立體視覺與SLAM | 視覺系統參數模型:針孔模型、雙目模型及極線幾何、多攝像機模型 | 可掌握核心能力: 1、熟悉機器視覺或計算機視覺的理論和方法,理解結構光視覺(激光三角測量)、雙目立體視覺(多目交匯測量)、條紋相位測量等常用方法; 2、深入理解并能應用相機精密標定方法,并能基于3D點云數據,進行配準、分割和特征識別等算法開發,建立3D點云圖處理的算法模型。 可解決的現實問題: 1、能夠基于感知到的地圖要素(標識牌,車道線等),理解高精度地圖快速建圖的算法的過程; 2、綜合運用經典SLAM技術,多視角幾何基礎理論以及三維重建方法進行業務實踐。 市場價值: 能夠對室內導航視覺SLAM算法進行研發,包括視覺、慣性、激光SLAM算法研發,傳感器標定,三維重建,等SLAM相關方向。 | |
相機的標定:內外參數的標定、畸變及矯正、常見的標定方法、zhang氏標定、空間5種坐標系的轉換 | |||
攝影測量和立體視覺:3D視覺任務、射影幾何學基礎、單透視攝像機、從多視圖重建場景、雙攝像機和立體感知、三攝像機和三視張量、由輻射測量到3D信息 | |||
基于深度學習的立體視覺匹配:全卷積網絡的匹配代價計算、代價聚合、視差計算、優化以及視差提煉常見的標定方法 | |||
視覺SLAM案例實踐:三維空間剛體運動、相機與圖像基本操作、非線性優化、視覺測量 | |||
點云處理 | 點云處理技術的基礎理論:點云處理技術的基礎理論、方法以及主要內容 | ||
點云數據的重建方法:基于特征和基于切片的點云重建方法,點云數據的獲取方案,點云的去噪、壓縮、配準方法,以及點云空洞的插值方法 | |||
點云數據及模型的質量評價:點云配準過程中的誤差傳播模型,三維模型的質量評定方法 | |||
點云數據處理技術:常用的海量點云數據處理技術以及三維圖像庫 | |||
點云處理實踐 |
備注:人工智能AI技術熱點會隨著市場不斷變化,本課程也會緊跟AI就業技術熱點;本課程大綱僅供參考,實際課程內容可能在授課過程中發生更新或變化,具體授課內容最終以各班級課表為準。
具備一定開發經驗的Python開發工程師、爬蟲、人工智能工程師,進行職業拓展。
注:獲取更多免費學習視頻+資料+筆記,請加QQ:2632311208。
在線學習
隨到隨學,詳情可詢咨詢老師 點擊咨詢
人工智能AI職業方向拓展課--課程大綱 | ||
數據處理方向拓展 | ||
章節/方向 | 課程 | 知識點 |
數據分析和可視化 | 統計學基礎 | 描述統計,統計推斷、匯總分類變量,圖形顯示數據、概率的性質,條件概率、泊松分布,二元分布等 |
BI理論和可視化 | BI(商業智能)基本概念和應用場景、維度建模技術、FineBI數據可視化分析、Tableau數據可視化分析 | |
數據分析案例 | 風控數據挖掘方法,機器學習評分卡、遷移學習 Hadoop、Hive、數倉建模理論、電商數倉搭建 | |
數據處理方向拓展 | Python爬蟲基礎 | 爬蟲基礎、requests模塊、數據提取、Selenium、抓包反爬與反反爬方案、MongoDB數據庫、Scrapy爬蟲框架、Appium的使用、爬蟲案例 |
爬蟲熱點項目庫 | 代理池、斗魚彈幕、京東爬蟲、失信人被執行人名單、selenium深入使用 | |
爬蟲高薪課 | 數據抓包、基于Docker的爬蟲開發環境搭建;爬蟲去重原理、simhash、信息摘要算法、布隆過濾器;基于redis的持久化請求隊列、消息隊列技術、斷點續爬、增量采集;正則、jsonpath、xpath等數據提取、pyexecjs、js2py;基于mongodb、postgresql、mysql的數據存儲;IO設計模式、協程原理、Asyncio、Tornado、Gevent等異步IO庫;爬蟲架構實現、爬蟲反爬分析與應對 | |
推薦系統方向增強 | ||
基于大數據架構 推薦基礎專業課 | 推薦系統介紹 | 推薦系統概念、推薦系統架構、評估和常見問題 |
推薦系統算法 | 協同過濾推薦算法、基于內容推薦算法 | |
Hadoop | Hadoop簡介、HDFS、MapReduce和YARN | |
Hive | Hive簡介、Hive數據模型及常用操作、Hive綜合案例 | |
HBase | HBase的原理和常用Shell命令、HappyBase操作HBase | |
SparkCore | Spark簡介和RDD的常用算子介紹、SparkCore案例 | |
SparkSQL | SparkSQL概念和DataFrame簡介、Spark SQL案例 | |
SparkStreaming | SparkStreaming概念及常用API介紹、Spark Streaming處理有狀態操作 | |
泛娛樂推薦系統項目 | 項目簡介: 推薦系統的在當下的火爆程度毋庸置疑,個性化推薦的需求也是每一個toC產品應該實現的目標。我們的泛娛樂推薦系統使用主流的Retrive-Ranking(召回-排序)架構。該推薦系統的主要目標: 通過向用戶推薦更合適的帖子, 增加用戶交互行為(點贊,評論,轉發,收藏等), 進而增加用戶平均使用時長。同時滿足的用戶體驗要求: 多樣性,新穎性和數據合理性。在排序模塊即AI部分,我們將從模型選擇,超參數調優,損失函數機器優化方法等多維度深層次進行剖析,詮釋為何我們能夠推薦出滿足用戶“嗨點”的作品。 | 技術亮點: 1、豐富的召回策略幫助我們盡可能多的覆蓋不同用戶對產品推薦的不同需求, 進而提升用戶粘度; 2、金字塔召回機制:海量數據下實時響應用戶行為變化; 3、更加科學合理的構建雙畫像,保證原始數據的準確,為模型收斂奠定基礎; 4、分布式訓練減少了大型模型訓練時間,加速模型調優效率, 更好的利用深度模型發掘海量數據價值; 5、使用wide-deep模型進行排序,在類似工程推薦項目中已經取得成功, eg, google play 提升3.9%。 |
整體系統概述與搭建 | 背景介紹、環境配置、系統搭建、業務流實現 | |
構建雙畫像 | neo4j安裝與使用、cypher語句學習與深入;標簽體系設計、用戶畫像與帖子畫像的實現 | |
多召回策略 | 多召回策略的設計原理、多召回策略實現 | |
召回金字塔 | 召回金字塔機制原理、召回金字塔實現 | |
規則過濾器服務 | 規則過濾器的設計原理、規則過濾器實現 | |
模型的選擇與實現 | 正負樣本的定義標準、正負樣本的采集與評估指標;模型特征的選擇準則、模型特征的定義與實現;wide-deep模型的選用 | |
模型的結構與參數 | LR與MLP學習;wide-deep模型結構與參數分析 | |
損失函數與優化方法 | 二分類交叉熵損失函數詳解;FTRL優化方法詳解、Adagrad優化方法詳解 | |
超參數調優 | 超參數調優理論發展、網格搜索與隨機搜索;貝葉斯優化 | |
使用gcp進行模型訓練 | gcp的基本使用方法、構建gcp規范下的模型;使用gcp進行超參數調優、使用gcp進行優化訓練方案 | |
模型評估與部署 | 模型的評估、深度模型的部署方案;推薦系統的總體檢驗標準 | |
基于圖像和視頻分析的人臉推薦解決方案 | opencv 視頻處理:視頻解碼,圖像基本處理;mtcnn人臉檢測算法:p-net、r-net、o-net級聯,分類+框回歸+關鍵點回歸;inception resnet v2提取人臉特征:人臉區域提取出128/512個特征值;mlp 人臉特征分類:神經網絡基于人臉特征做分類;人臉特征提取用到的loss函數原理;model 服務器端部署:基于tensorflow serving | |
基于圖像和視頻分析的場景推薦解決方案 | nasnet/inception resnet v2 場景分類:cnn提取圖片特征進行分類 | |
基于圖像和視頻分析的表情推薦解決方案 | mtcnn人臉檢測算法:p-net、r-net、o-net級聯,分類+框回歸+關鍵點回歸;人臉矯正:基于人臉關鍵點對齊;cnn提取人臉特征進行分類 | |
基于圖像和視頻分析的姿態推薦解決方案 | mask r-cnn 檢測人體關鍵點:先檢測人體,然后檢測人體骨骼關鍵點;mlp關鍵點分類:神經網絡基于人體關鍵點做分類 | |
黑馬頭條推薦系統項目 | 項目簡介: 黑馬頭條推薦系統建立在海量用戶與海量文章之上,使用Lambda架構整合實時計算和離線計算,借助分布式環境提升計算能力;使用Flume收集用戶的點擊、瀏覽、收藏等行為,建立用戶畫像和文章畫像,并存儲于HDFS集群;通過離線Spark SQL計算建立HIVE特征中心,存儲到HBase集群;通過ALS、LR、Wide&Deep等機器學習與深度學習、推薦算法進行智能推薦,達到千人千面的用戶推薦效果 | 項目特色: 1、ABTest實驗平臺; 2、用戶反饋收集 ; 3、實時計算平臺; 4、離線計算分析平臺; 5、召回算法模型; 6、排序算法模型 ; 7、用戶畫像建模; 8、文章畫像建模; 9、基于Lambda大數據架構進行數據處理。 |
離線計算 | 文章畫像構建;用戶畫像構建;用戶召回集合;離線spark排序模型;特征中心平臺 | |
在線計算 | 實時日志分析;實時召回集;熱門與新文章 | |
實時推薦 | ABTest實驗中心;推薦中心服務 | |
深度排序模型 | TensorFlow基礎;TensorFlow進階;深度學習與排序模型;CTR模型部署與測試 | |
人工智能專業增強 | ||
圖像與視覺處理CV專業增強 | CV相關案例庫:視頻中場景識別、垃圾圖片分類案例、Flappy Bird的深度強化學習、畫風融合和遷移、畫風融合及生成、姿態估計及處理 | DeepLearning的網絡結構+數據集增強方法+CNN提取圖像特征和組合特征的特點;EfficientNet+圖片分類優化技巧+分布式任務隊列Celery構建企業級應用神經網絡自適應匹配不同風格畫作與寫實畫風融合;OpenPose,DeepCut,動作捕捉和增強現實等等 |
自然語言處理 NLP專業增強 | NLP相關案例庫:IMDB影評情感分析、MSCOCO圖像說明生成、莎士比亞風格的文本生成、模型并行與分布式的最佳實踐、西班牙與到英語的機器翻譯、應用于bert模型的動態量化技術 | seq2seq模型架構+InceptionV3的遷移預訓練+attention機制的GRU模型、GRU模型生成概率分布+randomcategorical結果選擇、attention機制的RNN模型+機制的原理與改進方、模型并行+分布式基本理論與實踐、大型模型bert上的動態量化技術等等 |
場景識別項目 | 項目簡介:視頻場景識別是視頻內容結構化的重要基礎。場景信息是視頻內容推薦、廣告位推薦、視頻自動化標注、分類的重要依據。本項目涉及如何快速構建深度學習模型完成場景識別,通過模型分辨率、寬度、深度、超參數等調整模型性能,科學構建業務數據,以及多CNN模型級聯集成學習方法,快速提高場景識別準確率和滿足業務需求 | 技術亮點: 1、基于多模型級聯學習的場景識別解決方案 2、淺CNN模型+深CNN模型集成學習+mlp模型預判場景 3、基于模型分辨率、寬度、深度的高效模型容量調整方法 4、科學構建業務數據集,提高模型學習質量 5、視頻場景片段高效合并算法優化模型泛化能力 |
數據構建 | 開源數據集構建;業務數據集構建;數據增強和質量控制方法 | |
單CNN模型訓練 | 模型選型方法;梯度更新方法選擇;學習率設置方法;loss曲線分析 | |
CNN模型結構、容量分析 | 卷積核設計;模型分辨率設定;圖像特征數量與模型寬度;高級圖像特征與模型深度 | |
多CNN模型級聯學習 | 淺CNN模型選型方法;深CNN模型選型方法;深CNN模型集成學習;mlp模型預判場景類別 | |
模型性能評估與部署 | 影視劇場景識別準確率評估;影視劇場景識別精確率評估;影視劇場景識別能力與業務指標評估;模型web服務部署 | |
在線商品檢測項目 | 在線商品檢測項目是一個基于圖像方向的一個目標檢測的項目。類似的項目應用如淘寶拍立淘等。該項目結合當前CV領域常用工具、深度學習、目標檢測算法、微信小程序對接、百度機器人對接等技術,能夠為用戶或者消費者拍攝的照片、視頻中存在的目標做出標記與類別判斷。 該項目使用的技術包括圖像領域中目標檢測YOLO,SSD等算法做模型訓練,輸入模型的數據使用OpenCV進行讀取處理,并進行data argumentation、多GPU模型訓練及部署等。通過學習該課程能夠掌握對物體檢測的技術點以及業務流程 | 技術亮點: 1、使用OpenCV作為圖像與視頻的讀取工具; 2、基于端到端的目標檢測算法YOLO、SSD系統結構; 3、使用數據增強技術進行圖片的處理增加泛化能力; 4、使用Web server + TensorFlow serving Client完成前端對接; 5、使用Docker + TensorFlow serving部署模型; 6、使用Label image進行圖像的標注存儲; 7、進行微信公眾號接口開發; 8、使用百度機器人平臺對接項目檢測服務。 |
項目介紹和深度學習 | 目標檢測項目演示、目標檢測架構、技術介紹、神經網絡算法優化、神經網絡基礎與原理;案例: tf.keras實現神經網絡圖片分類 | |
卷積網絡 | 卷積神經網絡介紹與原理、神經網絡調優與BN、經典分類網絡結構、CNN實戰與遷移學習;案例:VGG遷移學習進行圖像識別 | |
深度學習正則化 | 偏差、方差、L1與L2、Dropout正則化、早停止法、數據增強、神經網絡調優、Batch Normal | |
CV目標檢測算法 | 物體檢測算法-RCNN、SPPNet、Fast-RCNN、Faster-RCNN、YOLO、SSD;案例:SSD算法進行圖片預測 | |
項目構建 | 數據集的制作與處理、商品檢測模型訓練、多GPU訓練、NMS處理、Matplotib標記;商品檢測模型導出 | |
項目部署對接 | OpenCV Python、案例:視頻流數據物體檢測;Docker開啟Tensorflow serving服務、TensorFlow serving client實現、Docker開啟Web服務;百度機器人平臺接口對接 | |
百度服務平臺拓展 | 服務訪問方式、人臉識別、物體識別、文字識別、 語音識別與合成、語言處理基礎技術 | |
小智同學聊天機器人項目 | 智能客服項目是一個自然語言處理的項目,實現的功能類似于電商等平臺的智能客服。在用戶遇到基礎的問題的時候,可以和智能客服進行基礎的對話,從而解決問題,減少了人工客服的工作量;整個客服項目包含兩個部分:閑聊部分和問答部分。項目涉及了70%的自然語言處理的知識點,包括分詞、詞向量的訓練、seq2seq模型、attention、BeamSearch等內容。 | 本項目能掌握的技術: 1、深度學習中的梯度爆炸、梯度消失原理和解決方法、RELU和ELU、Batch Normalization; 2、文本分類和意圖識別的常見方法; 3、 fastText的使用和原理、Seq2Seq、注意力機制、BeamSearch; 4、. 常見檢索模型的實現方法和流程; 5、基于簇修建的相似度計算類方法; 6、基于tfidf的文本向量化方法; 7、基于BM25的文本向量化方法; 8、基于深度學習的文本向量化方法; 9、孿生神經網絡的搭建; 10、深度模型中self-attenion的原理和實現、池化。 |
循環神經網絡 | word embedding;案例:完成情感分類練習;循環神經網絡;梯度爆炸和梯度消失原理和解決方法;pytorch中的序列化容器;案例:使用循環神經網絡完成情感分類 | |
項目準備和fasttext實現意圖識別 | 需求分析和項目流程介紹;語料準備和基礎api的實現;常見意圖識別的方法;fasttext的使用方法;fasttext的原理;使用fasttext完成項目代碼的封裝 | |
Seq2seq實現閑聊機器人 | Seq2Seq模型原理;案例:使用Seq2seq完成基礎的預測任務;使用seq2seq完成聊天機器人;優化:使用attention優化模型效果;優化:使用BeamSearch優化預測效果 | |
問答機器人實現 | 問答模型的介紹和流程分析;問答模型中召回模型的實現;優化:召回模型的優化;問答模型中排序模型的實現;優化:排序模型的優化 | |
基于Transformer的 語音識別項目 | 項目簡介: 本項目使用Transformer模型結構來實現端到端的語音識別,項目分為三部分,第一部分介紹語音特征提取;第二部分講解Transformer模型結構以及模型訓練;第三部分講解模型在安卓的的移植實現。 | 項目特色: 1、基于Transformer的端到端語音識別; 2、模型凍結技術生成pb格式模型文件; 3、簡潔快速部署在移動端。 |
語音特征提取 | 開源語音數據介紹;語音特征提取流程和原理;語音特征提取實現 | |
Transformer模型的實現和訓練 | 相關依賴說明;實現步驟;tfrecord格式數據保存和加載;Transformer模型實現;Transformer模型封裝;Transformer模型訓練;Beam Search解碼;使用MagicData數據訓練模型 | |
模型在安卓端的移植 | 錄音權限;音頻采集實現;特征提取;模型加載和預測 | |
Web開發方向拓展 | ||
Web-Django 框架與項目 | Django框架 | Git源代碼管理、Redis緩存、VUE介紹、Vue基本語法、ES6語法、VUE 生命周期、Django框架介紹、Django模型、ORM及數據庫操作、視圖及模板、Django中間件 |
美多商城-前臺項目 | 購物電商平臺項目編碼、前后端不分離模式、數據庫-讀寫分離、Django高級第三方模塊、FastDFS分布式文件系統、Celery異步操作、Vue雙向綁定、Docker 入門、Crontab定時任務、頁面靜態化、在線支付、Nginx+uWSGI部署 | |
美多商城-MIS系統項目 | 前后端分離模式、VUE進階-組件式開發、Django REST framwork、統計、權限管理、商品數據管理、日志管理、用戶管理 | |
Web-Flask 框架與項目 | 項目部署 | Docker 進階、uWSGI、Nginx進階、性能優化 |
Flask框架 | Flask框架、路由定義及視圖函數、藍圖、SQLAlchemy | |
黑馬頭條Web項目 | 黑馬頭條項目是一款匯集科技資訊、技術文章和問答交流的用戶移動終端產品。黑馬頭條提供用戶移動App端、自媒體PC Web端和系統MIS PC Web端三大應用,讓用戶輕松獲取最新資訊,發布資訊文章。對接推薦系統,收集埋點數據、獲取推薦結果;對接AI系統,提供聊天機器人通訊平臺。 | 項目特色: 1、使用Flask-RESTful實現REST API; 2、靈活使用SQLAlchemy的數據庫ORM解決方案; 3、采用企業的Gitflow工作流開發; 4、采用企業級的緩存方案; 5、使用gRPC與推薦系統和AI系統對接; 6、采用Elasticsearch搜索引擎7、使用socket.io實現即時通訊; 8、使用APScheduler實現定時任務; 9、使用RabbitMQ消息隊列 ; 10、引入極驗行為驗證。 |
黑馬頭條是一款個性化科技資訊推薦類閱讀產品,類似于今日頭條,產品包含用戶閱讀端App、作者自媒體運營端PC Web站點和系統運營管理后臺PC Web站點三個部分 | 虛擬機賬號說明、ssh遠程工具使用 | |
項目搭建與介紹 | 黑馬頭條產品介紹、原型圖與UI圖說明、技術架構說明、gitlab服務器使用、Yapi接口管理工具使用 | |
數據庫方案 | 數據庫設計:數據庫表設計、數據庫表設計注意事項、建表SQL說明;SQLAlchemy使用:深層理解ORM映射、SQLAlchemy安裝與配置、定義映射模型類、數據增刪改查、事物;分布式ID:分布式ID方案介紹、雪花算法介紹、時鐘回撥問題;數據庫優化:理解索引、SQL優化、數據庫優化;Redis數據庫進階:redis事務、redis持久化、redis哨兵、redis cluster | |
Git工作流 | Gitflow工作流介紹、工作流分支命名、沖突解決方法;頭條項目目錄說明、web開發調試方法總結、項目運行方式配置 | |
認證方案 | 注冊登錄需求說明;jwt原理回顧、中間件實現、裝飾器實現、刷新機制、禁用問題 | |
對象存儲方案 | 圖片存儲(頭像、文章圖片)需求說明;對象存儲介紹、七牛對象存儲使用、頭像上傳、CDN介紹 | |
緩存方案 | 緩存架構、緩存數據、緩存有效期、redis過期與內存淘汰、緩存使用模式與更新、緩存穿透與緩存雪崩;用戶緩存設計、redis持久保存數據設計、用戶緩存實現、統計數據存儲實現 | |
定時任務方案 | APScheduler安裝、使用流程、調度器、執行器、觸發器、配置方法;定時修正統計數據任務原、定時修正統計數據實現 | |
RPC方案 | 推薦文章列表需求說明;RPC介、gRPC介紹、RPC開發流程、IDL語法、IDL編寫、IDL編譯、gRPC服務器編寫、gRPC客戶端編寫;文章推薦接口實現 | |
即時通訊方案 | 即時消息通知需求說明;即時消息方案介紹、websocket介紹、socket.io介紹;socket.io使用編寫、在線聊天實現、APP端在線通知實現 | |
搜索方案 | 文章搜索與自動補全需求說明;Elasticsearch簡、倒排索引、搜索原理、IK分詞、curl使用;創建文章索引、數據初始導入、新數據同步、搜索原始API介紹、文章搜索實現;創建自動補全索引、數據初始導入、新數據同步、自動補全原始API介紹、自動補全實現 | |
單元測試 | 單元測試介紹、assert、unittest使用方法、使用單元測試測試自動補全接口 | |
部署相關 | gunicorn介紹、使用;supervisor介紹、使用 | |
傳智云課堂項目 | 傳智云課堂項目是提供IT職業在線課程的學習平臺,為即將和已經加入IT領域的技術人才提供在線學習服務。用戶通過錄播學習掌握IT技能。項目包括門戶、學習中心、評論系統、教學管理中心、系統管理中心等平臺構成,為學生提供學習服務。 | 技術亮點: 1、RabbitMQ消息隊列; 2、Logstash+ElasticSearch 全文檢索; 3、Oauth2+JWT; 4、FastDFS+GridFS分布式文件系統; 5、Nuxt.js服務端渲染; 6、APScheduler+FFmpeg+Nginx+Video.js+ HLS視頻處理及點播技術方案; 7、大文件斷點續傳技術 WebUploader; 8、APScheduler+MQ完成分布式事務控制解決方案。 |
搭建開發環境 | DRF開發環境搭建 | |
CMS系統開發 | CMS前端開發;CMS頁面管理開發;CMS頁面靜態化;RabbitMQ研究;MonoDB數據庫操作;GridFS使用;頁面預覽;頁面發布 | |
課程管理 | 我的課程;課程管理實戰;課程文件管理;分布式文件系統FastFDS;課程詳情頁靜態化;課程預覽;課程發布 | |
課程搜索 | ElasticSearch研究;Logstash;課程搜索服務;搜索前端 Nuxt.js | |
媒資管理 | 媒體文件上傳斷點續傳;調用第三方程序; 視頻處理進程;我的媒資;媒資與課程計劃關聯;課程發布存儲媒資信息; | |
在線學習HLS | 在線點播解決方案;播放器;學習頁面查詢課程計劃;學習頁面獲取視頻播放地址; | |
用戶授權認證 | JWT認證;用戶登錄與注冊;用戶授權 | |
分布式事務 | 分布式事務解決方案; Apscheduler定時任務;訂單服務定時發送消息;自動添加選課開發 | |
項目部署 | Git/Gitlab代碼管理,Gunicorn,Supervisor |
每晚對學員當天知識的吸收程度、老師授課內容難易程度進行評分,老師會根據學員反饋進行分析,對學員吸收情況調整授課內容、課程節奏,最終讓每位學員都可以跟上班級學習的整體節奏。
為每個就業班都安排了一名優秀的技術指導老師,不管是白天還是晚自習時間,隨時解答學員問題,進一步鞏固和加強課上知識。
為了能輔助學員掌握所學知識,黑馬程序員自主研發了6大學習系統,包括教學反饋系統、學習難易和吸收分析系統、學習測試系統、在線作業系統、學習任務手冊、學員綜合能力評定分析等。
末位輔導隊列的學員,將會得到重點關心。技術輔導老師會在學員休息時間,針對學員的疑惑進行知識點梳理、答疑、輔導。以確保知識點掌握上沒有一個學員掉隊,真正落實不拋棄,不放棄任何一個學員。
從學員學習中的心態調整,到生活中的困難協助,從課上班級氛圍塑造到課下多彩的班級活動,班主任360度暖心鼓勵相伴。
小到五險一金的解釋、面試禮儀的培訓;大到500強企業面試實訓及如何針對性地制定復習計劃,幫助學員拿到高薪Offer。