【培訓(xùn)對(duì)象】
IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)部、大數(shù)據(jù)建模等IT技術(shù)人員。

【培訓(xùn)收益】

第一部分：機(jī)器學(xué)習(xí)基礎(chǔ)
1、機(jī)器學(xué)習(xí)簡(jiǎn)介
2、機(jī)器學(xué)習(xí)的種類(lèi)
監(jiān)督學(xué)習(xí)/無(wú)監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強(qiáng)化學(xué)習(xí)
批量學(xué)習(xí)和在線學(xué)習(xí)
基于實(shí)例與基于模型
3、機(jī)器學(xué)習(xí)的主要戰(zhàn)挑
數(shù)據(jù)量不足
數(shù)據(jù)質(zhì)量差
無(wú)關(guān)特征
過(guò)擬合/擬合不足
4、機(jī)器學(xué)習(xí)任務(wù)
監(jiān)督：分類(lèi)、回歸
無(wú)監(jiān)督：聚類(lèi)、降維、關(guān)聯(lián)規(guī)則
5、機(jī)器學(xué)習(xí)基本過(guò)程
6、機(jī)器學(xué)習(xí)常用庫(kù)
第二部分：回歸算法實(shí)現(xiàn)
1、建模的本質(zhì)，其實(shí)是一個(gè)最優(yōu)化問(wèn)題
2、回歸模型的基礎(chǔ)
3、基本概念：損失函數(shù)
4、線性回歸常用算法
普通最小二乘法OLS
梯度下降算法
牛頓法/擬牛頓法
5、最小二乘法
a)數(shù)學(xué)推導(dǎo)
b)OLS存在的問(wèn)題
6、過(guò)擬合解決方法：正則化
嶺回歸（Ridge）
套索回歸Lasso
ElasticNet回歸
各種算法的適用場(chǎng)景
7、超大規(guī)模數(shù)據(jù)集的回歸模型：迭代算法
梯度概念
梯度下降/上升算法
批量梯度BGD/隨機(jī)梯度SGD/小批量梯度MBGD
學(xué)習(xí)率的影響
早期停止法
8、梯度算法的關(guān)鍵問(wèn)題
9、牛頓法/擬牛頓法
泰勒公式(Taylor)
牛頓法(Newton)
擬牛頓法(Quasi-Newton)的優(yōu)化
DFP/BFGS/L-BFGS
10、算法比較
第三部分：邏輯回歸算法
1、邏輯回歸基礎(chǔ)
2、LR的常用算法
最大似然估計(jì)法
梯度算法
牛頓法
3、最大似然估計(jì)法
似然函數(shù)/損失函數(shù)
數(shù)學(xué)推導(dǎo)
4、模型優(yōu)化
迭代樣本的隨機(jī)選擇
變化的學(xué)習(xí)率
5、邏輯回歸+正則項(xiàng)
6、求解算法與懲罰項(xiàng)的關(guān)系
7、多元邏輯回歸處理
ovo
ovr
優(yōu)缺點(diǎn)比較
8、邏輯回歸建模實(shí)戰(zhàn)
案例：用sklearn庫(kù)實(shí)現(xiàn)銀行貸款違約預(yù)測(cè)
案例：訂閱者用戶的典型特征（二元邏輯回歸）
案例：通信套餐的用戶畫(huà)像（多元邏輯回歸）
第四部分：決策樹(shù)算法
1、決策樹(shù)簡(jiǎn)介
演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征
2、決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
最優(yōu)屬性選擇
熵、基尼系數(shù)
信息增益、信息增益率
屬性最佳劃分
多元?jiǎng)澐峙c二元?jiǎng)澐?br /> 連續(xù)變量最優(yōu)劃分
決策樹(shù)修剪
剪枝原則
預(yù)剪枝與后剪枝
3、構(gòu)建決策樹(shù)的算法
ID3、C4.5、C5.0
CART
4、決策樹(shù)的超參優(yōu)化
5、決策樹(shù)的解讀
6、決策樹(shù)建模過(guò)程
案例：商場(chǎng)酸奶購(gòu)買(mǎi)用戶特征提取
案例：客戶流失預(yù)警與客戶挽留
案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款
案例：識(shí)別電信詐騙者嘴臉，讓通信更安全
案例：電力竊漏用戶自動(dòng)識(shí)別
第五部分：神經(jīng)網(wǎng)絡(luò)算法
1、神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介（ANN）
2、神經(jīng)元基本原理
加法器
激活函數(shù)
3、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
隱藏層數(shù)量
神經(jīng)元個(gè)數(shù)
4、神經(jīng)網(wǎng)絡(luò)的建立步驟
5、神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題
6、BP算法實(shí)現(xiàn)
7、MLP多層神經(jīng)網(wǎng)絡(luò)
8、學(xué)習(xí)率的設(shè)置
案例：評(píng)估銀行用戶拖欠貨款的概率
案例：神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)產(chǎn)品銷(xiāo)量
第六部分：線性判別算法
1、判別分析簡(jiǎn)介
2、判別分析算法
中心和方差
類(lèi)間散席Sb
類(lèi)內(nèi)散席Sw
3、特征值和特征向量
4、多分類(lèi)LDA算法
5、算法實(shí)戰(zhàn)
案例：MBA學(xué)生錄取判別分析
案例：上市公司類(lèi)別評(píng)估
第七部分：最近鄰算法（KNN）
1、KNN的基本原理
2、K近鄰的關(guān)鍵問(wèn)題
距離公式
投票機(jī)制
3、KNN算法實(shí)現(xiàn)
Brute（蠻力計(jì)算）
Kd_tree（KD樹(shù)）
Ball_tre（球樹(shù)）
4、算法比較
第八部分：貝葉斯算法（NBN）
1、貝葉斯簡(jiǎn)介
2、貝葉斯分類(lèi)原理
先驗(yàn)概率和后驗(yàn)概率
條件概率和類(lèi)概率
3、常見(jiàn)貝葉斯網(wǎng)絡(luò)
4、計(jì)算類(lèi)別屬性的條件概率
5、估計(jì)連續(xù)屬性的條件概率
6、預(yù)測(cè)分類(lèi)概率（計(jì)算概率）
7、拉普拉斯修正
案例：評(píng)估銀行用戶拖欠貨款的概率
第九部分：支持向量機(jī)算法（SVM）
1、支持向量機(jī)簡(jiǎn)介
適用場(chǎng)景
2、支持向量機(jī)原理
支持向量
最大邊界超平面
3、線性不可分處理
松弛系數(shù)
4、非線性SVM分類(lèi)
5、常用核函數(shù)
線性核函數(shù)
多項(xiàng)式核
高斯RBF核
核函數(shù)的選擇原則
6、SMO算法
第十部分：模型集成優(yōu)化篇
1、模型的優(yōu)化思想
2、集成模型的框架
Bagging
Boosting
Stacking
3、集成算法的關(guān)鍵過(guò)程
弱分類(lèi)器如何構(gòu)建
組合策略：多個(gè)弱學(xué)習(xí)器如何形成強(qiáng)學(xué)習(xí)器
4、Bagging集成算法
數(shù)據(jù)/屬性重抽樣
決策依據(jù)：少數(shù)服從多數(shù)
隨機(jī)森林RandomForest
5、Boosting集成算法
基于誤分?jǐn)?shù)據(jù)建模
樣本選擇權(quán)重更新
決策依據(jù)：加權(quán)投票
AdaBoost模型
6、GBDT模型
7、XGBoost模型
8、LightGBM模型
第十一部分：聚類(lèi)分析（客戶細(xì)分）實(shí)戰(zhàn)
1、聚類(lèi)基本原理
2、K均值聚類(lèi)算法
K均值算法
3、距離計(jì)算公式
閔可夫斯基距離(Minkowski Distance)
曼哈頓距離(Manhattan Distance)
歐氏距離(Euclidean Distance)
切比雪夫距離(Chebyshev Distance)
余弦距離(Cosine)
Pearson相似距離
馬哈拉諾比斯距離（Mahalanobis）
漢明距離(Hamming distance)
杰卡德相似系數(shù)(Jaccard similarity coefficient)
相對(duì)熵（K-L距離）
4、K均值算法的關(guān)鍵問(wèn)題
初始中心的選取方式
最優(yōu)K值的選取
5、聚類(lèi)算法的評(píng)價(jià)方法
Elbow method（手肘法）
Calinski-Harabasz Index（CH準(zhǔn)則法）
Silhouette Coefficient（輪廓系數(shù)法）
Gap Statistic（間隔統(tǒng)計(jì)量法）
Canopy算法
6、算法實(shí)戰(zhàn)
案例：使用SKLearn實(shí)現(xiàn)K均值聚類(lèi)
第十二部分：關(guān)聯(lián)規(guī)則算法
1、關(guān)聯(lián)規(guī)則基本原理
2、常用關(guān)聯(lián)規(guī)則算法
Apriori算法
發(fā)現(xiàn)頻繁集
生成關(guān)聯(lián)規(guī)則
FP-Growth算法
構(gòu)建FP樹(shù)
提取規(guī)則
3、算法實(shí)戰(zhàn)
案例：使用apriori庫(kù)實(shí)現(xiàn)關(guān)聯(lián)分析
案例：中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
第十三部分：協(xié)同過(guò)濾算法
1、協(xié)同過(guò)濾基本原理
2、協(xié)同過(guò)濾的兩各類(lèi)型
基于用戶的協(xié)同過(guò)濾UserCF
基于物品的協(xié)同過(guò)濾ItemCF
3、相似度評(píng)估常用公式
4、UserCF算法實(shí)現(xiàn)
計(jì)算用戶間的興趣相似度
篩選前K個(gè)相似用戶
合并相似用戶購(gòu)買(mǎi)過(guò)的物品集
剔除該用戶已經(jīng)購(gòu)買(mǎi)過(guò)的產(chǎn)品，得到候選物品集
計(jì)算該用戶對(duì)物品的喜歡程度，物品集排序
優(yōu)先推薦前N個(gè)物品
5、ItemCF算法實(shí)現(xiàn)
計(jì)算物品間的相似度
篩選前K個(gè)喜歡的物品
合并與前K個(gè)物品相似的前L個(gè)物品集
剔除該用戶已經(jīng)購(gòu)買(mǎi)過(guò)的物品，得到候選物品集
計(jì)算該用戶到候選物品的喜愛(ài)程度，物品排序
優(yōu)先推薦前N個(gè)物品
6、關(guān)于冷啟動(dòng)問(wèn)題
7、協(xié)同過(guò)濾算法比較

結(jié)束：課程總結(jié)與問(wèn)題答疑。