《大數(shù)據(jù)建模應(yīng)用實(shí)戰(zhàn)》課綱（3天）

大數(shù)據(jù)建模應(yīng)用實(shí)戰(zhàn)【課程目標(biāo)】
本課程專注于大數(shù)據(jù)建模課程，面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與建模的人士。主要內(nèi)容包括數(shù)據(jù)建模的過程和步驟，以及建模涉及到的分析方法、分析模型，以及模型優(yōu)化等。
本課程從實(shí)際的業(yè)務(wù)需求出發(fā)，對(duì)數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進(jìn)行了全面的介紹，通過大量的操作演練，幫助學(xué)員掌握數(shù)據(jù)分析和數(shù)據(jù)挖掘的思路、方法、工具，從大量的企業(yè)經(jīng)營(yíng)數(shù)據(jù)中進(jìn)行分析，發(fā)現(xiàn)業(yè)務(wù)運(yùn)作規(guī)律，進(jìn)行客戶洞察，挖掘客戶行為特點(diǎn)，消費(fèi)行為，實(shí)現(xiàn)精準(zhǔn)營(yíng)銷，幫助運(yùn)營(yíng)團(tuán)隊(duì)深入理解業(yè)務(wù)運(yùn)作，以達(dá)到提升學(xué)員的數(shù)據(jù)綜合分析能力，支撐運(yùn)營(yíng)決策的目的。
通過本課程的學(xué)習(xí)，達(dá)到如下目的：
掌握數(shù)據(jù)建模的基本過程和步驟。
掌握數(shù)據(jù)建模前的屬性篩選的系統(tǒng)方法，為建模打下基礎(chǔ)。
掌握常用的數(shù)值預(yù)測(cè)模型，包括回歸預(yù)測(cè)和時(shí)序預(yù)測(cè)，以及其適用場(chǎng)景。
掌握常用的分類預(yù)測(cè)模型，包括邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、判別分析等等，以及分類模型的優(yōu)化。
掌握數(shù)據(jù)挖掘常用的專題模型。
【授課時(shí)間】
2-3天時(shí)間
【授課對(duì)象】
業(yè)務(wù)支撐、網(wǎng)絡(luò)中心、IT系統(tǒng)部、數(shù)據(jù)分析部等對(duì)業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)專業(yè)人員。
【學(xué)員要求】
每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Office Excel 2013版本及以上。
便攜機(jī)中事先安裝好IBM SPSS Statistics v24版本以上軟件。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
基礎(chǔ)知識(shí)精講 + 案例演練 + 實(shí)際業(yè)務(wù)問題分析 + SPSS實(shí)際操作
本課程突出數(shù)據(jù)挖掘的實(shí)際應(yīng)用，結(jié)合行業(yè)的典型應(yīng)用特點(diǎn)，從實(shí)際問題入手，引出相關(guān)知識(shí)，進(jìn)行大數(shù)據(jù)的收集與處理；探索數(shù)據(jù)之間的規(guī)律及關(guān)聯(lián)性，幫助學(xué)員掌握系統(tǒng)的數(shù)據(jù)預(yù)處理方法；介紹常用的模型，訓(xùn)練模型，并優(yōu)化模型，以達(dá)到最優(yōu)分析結(jié)果。
【課程大綱】
數(shù)據(jù)建?；具^程
預(yù)測(cè)建模六步法
選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
屬性篩選：選擇對(duì)目標(biāo)變量有顯著影響的屬性來建模
訓(xùn)練模型：采用合適的算法對(duì)模型進(jìn)行訓(xùn)練，尋找到最合適的模型參數(shù)
評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用
優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化
應(yīng)用模型：如果評(píng)估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景
數(shù)據(jù)挖掘常用的模型
數(shù)值預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等
分類預(yù)測(cè)模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
市場(chǎng)細(xì)分：聚類、RFM、PCA等
產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等
產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等
產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
屬性篩選/特征選擇/變量降維
基于變量本身特征
基于相關(guān)性判斷
因子合并（PCA等）
IV值篩選（評(píng)分卡使用）
基于信息增益判斷（決策樹使用）
模型評(píng)估
模型質(zhì)量評(píng)估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等
預(yù)測(cè)值評(píng)估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等
模型評(píng)估方法：留出法、K拆交叉驗(yàn)證、自助法等
其它評(píng)估：過擬合評(píng)估
模型優(yōu)化
優(yōu)化模型：選擇新模型/修改模型
優(yōu)化數(shù)據(jù)：新增顯著自變量
優(yōu)化公式：采用新的計(jì)算公式
模型實(shí)現(xiàn)算法（暫略）
好模型是優(yōu)化出來的
案例：通信客戶流失分析及預(yù)警模型
屬性篩選方法
問題：如何選擇合適的屬性來進(jìn)行建模預(yù)測(cè)？
比如：價(jià)格是否可用于產(chǎn)品銷量的預(yù)測(cè)？套餐的合理性是否會(huì)影響客戶流失？在欺詐風(fēng)險(xiǎn)中有哪些數(shù)據(jù)會(huì)有異常表現(xiàn)？
屬性篩選/變量降維的常用方法
基于變量本身特征來選擇屬性
基于數(shù)據(jù)間的相關(guān)性來選擇屬性
基于因子合并（如PCA分析）實(shí)現(xiàn)變量的合并
利用IV值篩選
基于信息增益來選擇屬性
相關(guān)分析（衡量變量間的線性相關(guān)性）
問題：這兩個(gè)屬性是否會(huì)相互影響？影響程度大嗎？
相關(guān)分析簡(jiǎn)介相關(guān)分析的三個(gè)種類
簡(jiǎn)單相關(guān)分析
偏相關(guān)分析
距離相關(guān)分析
相關(guān)系數(shù)的三種計(jì)算公式
Pearson相關(guān)系數(shù)
Spearman相關(guān)系數(shù)
Kendall相關(guān)系數(shù)
相關(guān)分析的假設(shè)檢驗(yàn)
相關(guān)分析的四個(gè)基本步驟
演練：體重與腰圍的關(guān)系
演練：營(yíng)銷費(fèi)用會(huì)影響銷售額嗎
演練：哪些因素與汽車銷量有相關(guān)性
演練：通信費(fèi)用與開通月數(shù)的相關(guān)分析
偏相關(guān)分析
偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性
偏相關(guān)系數(shù)的計(jì)算公式
偏相關(guān)分析的適用場(chǎng)景
距離相關(guān)分析
方差分析(衡量類別變量與數(shù)據(jù)變量的相關(guān)性)
問題：哪些才是影響銷量的關(guān)鍵因素？
方差分析的應(yīng)用場(chǎng)景
方差分析的三個(gè)種類
單因素方差分析
多因素方差分析
協(xié)方差分析
方差分析的原理
方差分析的四個(gè)步驟
解讀方差分析結(jié)果的兩個(gè)要點(diǎn)
演練：終端擺放位置與終端銷量有關(guān)嗎
演練：開通月數(shù)對(duì)客戶流失的影響分析
演練：客戶學(xué)歷對(duì)消費(fèi)水平的影響分析
演練：廣告和價(jià)格是影響終端銷量的關(guān)鍵因素嗎
演練：營(yíng)業(yè)員的性別、技能級(jí)別對(duì)產(chǎn)品銷量有影響嗎
演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素
多因素方差分析原理
多因素方差分析的作用
多因素方差結(jié)果的解讀
演練：廣告形式、地區(qū)對(duì)銷量的影響因素分析（多因素）
協(xié)方差分析原理
協(xié)方差分析的適用場(chǎng)景演練：飼料對(duì)生豬體重的影響分析（協(xié)方差分析）
列聯(lián)分析/卡方檢驗(yàn)（兩類別變量的相關(guān)性分析）
交叉表與列聯(lián)表
卡方檢驗(yàn)的原理
卡方檢驗(yàn)的幾個(gè)計(jì)算公式
列聯(lián)表分析的適用場(chǎng)景
案例：套餐類型對(duì)客戶流失的影響分析
案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析
相關(guān)性分析各種方法的適用場(chǎng)景
主成份分析（PCA）
因子分析的原理
因子個(gè)數(shù)如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
回歸預(yù)測(cè)模型篇
問題：如何預(yù)測(cè)產(chǎn)品的銷量/銷售金額？如果產(chǎn)品跟隨季節(jié)性變動(dòng)，該如何預(yù)測(cè)？新產(chǎn)品上市，如果評(píng)估銷量上限及銷售增速？
常用的數(shù)值預(yù)測(cè)模型
回歸預(yù)測(cè)
時(shí)序預(yù)測(cè)
回歸預(yù)測(cè)/回歸分析
問題：如何預(yù)測(cè)未來的銷售量（定量分析）？
回歸分析的基本原理和應(yīng)用場(chǎng)景
回歸分析的種類（一元/多元、線性/曲線）
得到回歸方程的四種常用方法
Excel函數(shù)
散點(diǎn)圖+趨勢(shì)線
線性回歸工具
規(guī)范求解
線性回歸分析的五個(gè)步驟
回歸方程結(jié)果的解讀要點(diǎn)
評(píng)估回歸模型質(zhì)量的常用指標(biāo)
評(píng)估預(yù)測(cè)值的準(zhǔn)確度的常用指標(biāo)
演練：散點(diǎn)圖找推廣費(fèi)用與銷售額的關(guān)系（一元線性回歸）
演練：推廣費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（多元線性回歸）
演練：讓你的營(yíng)銷費(fèi)用預(yù)算更準(zhǔn)確
演練：如何選擇最佳的回歸預(yù)測(cè)模型（曲線回歸）
帶分類變量的回歸預(yù)測(cè)
演練：汽車季度銷量預(yù)測(cè)
演練：工齡、性別與終端銷量的關(guān)系
演練：如何評(píng)估銷售目標(biāo)與資源配置（營(yíng)業(yè)廳）
自動(dòng)篩選不顯著自變量
回歸預(yù)測(cè)模型優(yōu)化篇
回歸分析的基本原理
三個(gè)基本概念：總變差、回歸變差、剩余變差
方程的顯著性檢驗(yàn)：是否可以做回歸分析？
因素的顯著性檢驗(yàn)：自變量是否可用？
擬合優(yōu)度檢驗(yàn)：回歸模型的質(zhì)量評(píng)估？
理解標(biāo)準(zhǔn)誤差的含義：預(yù)測(cè)的準(zhǔn)確性？
回歸模型優(yōu)化思路：尋找最佳回歸擬合線
如何處理預(yù)測(cè)離群值（剔除離群值）
如何剔除非顯著因素（剔除不顯著因素）
如何進(jìn)行非線性關(guān)系檢驗(yàn)（增加非線性自變量）
如何進(jìn)行相互作用檢驗(yàn)（增加相互作用自變量）
如何進(jìn)行多重共線性檢驗(yàn)（剔除共線性自變量）
如何檢驗(yàn)誤差項(xiàng)（修改因變量）
如何判斷模型過擬合（模型過擬合判斷）
案例：模型優(yōu)化案例
規(guī)劃求解工具簡(jiǎn)介
自定義回歸模型（如何利用規(guī)劃求解進(jìn)行自定義模型）
案例：如何對(duì)餐廳客流量進(jìn)行建模及模型優(yōu)化
好模型都是優(yōu)化出來的
分類預(yù)測(cè)模型
問題：如何評(píng)估客戶購(gòu)買產(chǎn)品的可能性？或者說，影響客戶購(gòu)買意向的產(chǎn)品關(guān)鍵特性是什么？
分類預(yù)測(cè)模型概述
常見分類預(yù)測(cè)模型
評(píng)估分類模型的常用指標(biāo)正確率、查全率/查準(zhǔn)率、特異性等
邏輯回歸分析模型（LR）
問題：如果評(píng)估用戶是否購(gòu)買產(chǎn)品的概率？
邏輯回歸模型原理及適用場(chǎng)景
邏輯回歸的種類
二項(xiàng)邏輯回歸
多項(xiàng)邏輯回歸
如何解讀邏輯回歸方程
帶分類自變量的邏輯回歸分析
多項(xiàng)邏輯回歸
案例：如何評(píng)估用戶是否會(huì)購(gòu)買某產(chǎn)品（二項(xiàng)邏輯回歸）
案例：多品牌選擇模型分析（多項(xiàng)邏輯回歸）
決策樹分類（DT）
問題：如何提取客戶流失者、拖欠貨款者的特征？如何預(yù)測(cè)其流失的概率？
決策樹分類的原理
決策樹的三個(gè)關(guān)鍵問題
如何選擇最佳屬性來構(gòu)建節(jié)點(diǎn)
如何分裂變量
如何修剪決策樹
選擇最優(yōu)屬性
熵、基尼索引、分類錯(cuò)誤
屬性劃分增益
如何分裂變量
多元?jiǎng)澐峙c二元?jiǎng)澐?br /> 連續(xù)變量離散化（最優(yōu)劃分點(diǎn)）
修剪決策樹
剪枝原則
預(yù)剪枝與后剪枝
構(gòu)建決策樹的四個(gè)算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優(yōu)分類模型？
案例：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貨者的特征
案例：客戶流失預(yù)警與客戶挽留模型
人工神經(jīng)網(wǎng)絡(luò)（ANN）
神經(jīng)網(wǎng)絡(luò)概述
神經(jīng)網(wǎng)絡(luò)基本原理
神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
神經(jīng)網(wǎng)絡(luò)的建立步驟
神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
BP反向傳播網(wǎng)絡(luò)（MLP）
徑向基網(wǎng)絡(luò)（RBF）
案例：評(píng)估銀行用戶拖欠貨款的概率
判別分析（DA）
判別分析原理
距離判別法
典型判別法
貝葉斯判別法
案例：MBA學(xué)生錄取判別分析
案例：上市公司類別評(píng)估
最近鄰分類（KNN）
基本原理
關(guān)鍵問題
貝葉斯分類（NBN）
貝葉斯分類原理
計(jì)算類別屬性的條件概率
估計(jì)連續(xù)屬性的條件概率
貝葉斯網(wǎng)絡(luò)種類：TAN/馬爾科夫毯預(yù)測(cè)分類概率（計(jì)算概率）
案例：評(píng)估銀行用戶拖欠貨款的概率
支持向量機(jī)（SVM）
SVM基本原理
線性可分問題：最大邊界超平面
線性不可分問題：特征空間的轉(zhuǎn)換
維空難與核函數(shù)
分類模型優(yōu)化篇（集成方法）
集成方法的基本原理：利用弱分類器構(gòu)建強(qiáng)分類模型
選取多個(gè)數(shù)據(jù)集，構(gòu)建多個(gè)弱分類器
多個(gè)弱分類器投票決定
集成方法/元算法的種類
Bagging算法
Boosting算法
Bagging原理
如何選擇數(shù)據(jù)集
如何進(jìn)行投票
隨機(jī)森林
Boosting的原理
AdaBoost算法流程
樣本選擇權(quán)重計(jì)算公式
分類器投票權(quán)重計(jì)算公式
時(shí)序預(yù)測(cè)模型
問題：無法找到影響因素，無法回歸建模，怎么辦？隨著業(yè)務(wù)受季節(jié)性因素影響，未來的銷量如何預(yù)測(cè)？
時(shí)序序列簡(jiǎn)介
時(shí)序分析的原理及應(yīng)用場(chǎng)景
常見時(shí)序預(yù)測(cè)模型
評(píng)估預(yù)測(cè)值的準(zhǔn)確度指標(biāo)
平均絕對(duì)誤差MAD
均方差MSE/RMSE
平均誤差率MAPE
移動(dòng)平均
應(yīng)用場(chǎng)景及原理
移動(dòng)平均種類
一次移動(dòng)平均
二次移動(dòng)平均
加權(quán)移動(dòng)平均
移動(dòng)平均比率法
移動(dòng)平均關(guān)鍵問題
最佳期數(shù)N的選擇原則
最優(yōu)權(quán)重系數(shù)的選取原則
演練：平板電腦銷量預(yù)測(cè)及評(píng)估
演練：快銷產(chǎn)品季節(jié)銷量預(yù)測(cè)及評(píng)估
指數(shù)平滑
應(yīng)用場(chǎng)景及原理
最優(yōu)平滑系數(shù)的選取原則
指數(shù)平滑種類
一次指數(shù)平滑
二次指數(shù)平滑（Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù)）
三次指數(shù)平滑
演練：煤炭產(chǎn)量預(yù)測(cè)
演練：航空旅客量預(yù)測(cè)及評(píng)估
溫特期季節(jié)性預(yù)測(cè)模型
適用場(chǎng)景及原理
Holt-Winters加法模型
Holt-Winters乘法模型
演練：汽車銷量預(yù)測(cè)及評(píng)估
回歸季節(jié)預(yù)測(cè)模型
季節(jié)性回歸模型的參數(shù)
基于時(shí)期t的相加模型
基于時(shí)期t的相乘模型
怎樣解讀模型的含義
案例：美國(guó)航空旅客里程的季節(jié)性趨勢(shì)分析
新產(chǎn)品預(yù)測(cè)模型與S曲線
新產(chǎn)品累計(jì)銷量的S曲線模型
如何評(píng)估銷量增長(zhǎng)的上限以及拐點(diǎn)
珀?duì)柷€與龔鉑茲曲線
案例：如何預(yù)測(cè)產(chǎn)品的銷售增長(zhǎng)拐點(diǎn)，以及銷量上限
演戲：預(yù)測(cè)IPad產(chǎn)品的銷量
銀行信用評(píng)分卡模型信用評(píng)分卡模型簡(jiǎn)介
評(píng)分卡的關(guān)鍵問題
信用評(píng)分卡建立過程
篩選重要屬性
數(shù)據(jù)集轉(zhuǎn)化
建立分類模型
計(jì)算屬性分值
確定審批閾值
篩選重要屬性
屬性分段
基本概念：WOE、IV
屬性重要性評(píng)估
數(shù)據(jù)集轉(zhuǎn)化
連續(xù)屬性最優(yōu)分段
計(jì)算屬性取值的WOE
建立分類模型
訓(xùn)練邏輯回歸模型
評(píng)估模型
得到字段系數(shù)
計(jì)算屬性分值
計(jì)算補(bǔ)償與刻度值
計(jì)算各字段得分
生成評(píng)分卡
確定審批閾值
畫K-S曲線
計(jì)算K-S值
獲取最優(yōu)閾值
實(shí)戰(zhàn)篇(電信業(yè)客戶流失分析模型)
商業(yè)理解
業(yè)務(wù)背景
如何定義流失
分析思路
流失客戶的典型特征是什么？
預(yù)測(cè)哪些高價(jià)值客戶可能會(huì)流失？
市場(chǎng)挽留的預(yù)計(jì)收益是多少？
數(shù)據(jù)收集
客戶基本信息
客戶行為數(shù)據(jù)
客戶交互數(shù)據(jù)
客戶態(tài)度數(shù)據(jù)
數(shù)據(jù)預(yù)處理
變量衍生（數(shù)據(jù)波動(dòng)）
探索性分析
屬性篩選
數(shù)據(jù)建模
如何選擇模型
聚類
決策樹或神經(jīng)網(wǎng)絡(luò)
模型評(píng)估
模型應(yīng)用
結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程