《大數(shù)據(jù)挖掘工具SPSS Modeler入門與提高》課綱（2-3天）

大數(shù)據(jù)挖掘工具:SPSS Modeler入門與提高【課程目標(biāo)】
隨著大數(shù)據(jù)分析的需求越來(lái)越旺盛，大數(shù)據(jù)分析工具也越來(lái)越琳瑯滿目，然而，絕大多數(shù)的分析工具都只具有單一用途，無(wú)法滿足企業(yè)的復(fù)雜的多樣化的全面的業(yè)務(wù)分析需求，因此分析工具的選擇成為了一個(gè)挑戰(zhàn)。
一個(gè)良好的分析工具必須滿足如下要求：
易學(xué)易用易操作。
分析效率要高。
滿足業(yè)務(wù)分析需求。
如果要說(shuō)前兩個(gè)要求，顯然類似于Excel/Power BI/Tableau等工具都是滿足要求的，但此類工具卻無(wú)法解決更復(fù)雜的業(yè)務(wù)問(wèn)題，比如影響因素分析、客戶行為預(yù)測(cè)/精準(zhǔn)營(yíng)銷、客戶群劃分、產(chǎn)品交叉銷售、產(chǎn)品銷量預(yù)測(cè)等等，這些需求用Excel/PBI等工具就難以勝任了，需要用到更高級(jí)的數(shù)據(jù)挖掘工具，比如IBM SPSS工具。IBM SPSS工具是面向非專業(yè)人士的高級(jí)的分析工具（挖掘工具），它提供大量的分析方法和分析模型，能夠解決的業(yè)務(wù)問(wèn)題更豐富，提供了更加強(qiáng)大的業(yè)務(wù)數(shù)據(jù)分析功能，并且它封裝了具體的分析算法，即使你沒(méi)有深厚的技能能力，也能夠勝任復(fù)雜的數(shù)據(jù)分析和挖掘。
IBM SPPS Modeler是一個(gè)數(shù)據(jù)流處理工具，適用于數(shù)據(jù)探索與數(shù)據(jù)挖掘，包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)探索、數(shù)據(jù)可視化、數(shù)據(jù)建模、數(shù)據(jù)模型優(yōu)化。
本課程面向數(shù)據(jù)分析部等專門負(fù)責(zé)數(shù)據(jù)分析與挖掘的人士，專注大數(shù)據(jù)挖掘工具SPSS Modeler的培訓(xùn)。
本課程從實(shí)際的業(yè)務(wù)需求出發(fā)，對(duì)數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進(jìn)行了全面的介紹，將數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程、分析思路、分析方法、分析模型，全部落地在SPSS工具中，通過(guò)大量的工具操作和演練，幫助學(xué)員熟練掌握SPSS工具的使用，并能夠?qū)PSS工具在實(shí)際的業(yè)務(wù)數(shù)據(jù)分析中滿地，實(shí)現(xiàn)“知行合一”。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
了解大數(shù)據(jù)挖掘的標(biāo)準(zhǔn)過(guò)程和挖掘步驟。
掌握基本的統(tǒng)計(jì)分析，常用的影響因素分析。
理解數(shù)據(jù)挖掘的常見(jiàn)模型，原理及適用場(chǎng)景。
熟練掌握SPSS基本操作，能利用SPSS解決實(shí)際的商業(yè)問(wèn)題。
【授課時(shí)間】
2~3天時(shí)間，或根據(jù)客戶需求選擇
知識(shí)點(diǎn)
2天
3天
數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程
√
√
數(shù)據(jù)流預(yù)處理
√
√
數(shù)據(jù)可視化
√
√
影響因素分析
√
√
數(shù)值預(yù)測(cè)模型
√回歸時(shí)序
√季節(jié)模型
分類預(yù)測(cè)模型
√僅決策樹(shù)
√ANN/SVM/…
市場(chǎng)客戶劃分
√
客戶價(jià)值評(píng)估
√
實(shí)戰(zhàn)
√
【授課對(duì)象】
市場(chǎng)部、業(yè)務(wù)支撐部、數(shù)據(jù)分析部、運(yùn)營(yíng)分析部等對(duì)業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員?！緦W(xué)員要求】
每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Microsoft Office Excel 2013版本及以上。
便攜機(jī)中事先安裝好SPSS Statistics v24版本及以上。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
基礎(chǔ)知識(shí)精講 + 案例演練 + 實(shí)際業(yè)務(wù)問(wèn)題分析 + 工具實(shí)際操作
本課程突出數(shù)據(jù)挖掘的實(shí)際應(yīng)用，結(jié)合行業(yè)的典型應(yīng)用特點(diǎn)，從實(shí)際問(wèn)題入手，引出相關(guān)知識(shí)，進(jìn)行大數(shù)據(jù)的收集與處理；探索數(shù)據(jù)之間的規(guī)律及關(guān)聯(lián)性，幫助學(xué)員掌握系統(tǒng)的數(shù)據(jù)預(yù)處理方法；介紹常用的模型，訓(xùn)練模型，并優(yōu)化模型，以達(dá)到最優(yōu)分析結(jié)果。
【課程大綱】
數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)理解
模型建立
模型評(píng)估
模型應(yīng)用
案例：客戶流失預(yù)測(cè)及客戶挽留
數(shù)據(jù)集的基本知識(shí)
存儲(chǔ)類型
統(tǒng)計(jì)類型
角度
SPSS工具簡(jiǎn)介
數(shù)據(jù)預(yù)處理過(guò)程
數(shù)據(jù)預(yù)處理的基本步驟
數(shù)據(jù)讀取、數(shù)據(jù)理解、數(shù)據(jù)處理、變量處理、探索分析
數(shù)據(jù)預(yù)處理的主要任務(wù)
數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集的合并
數(shù)據(jù)清理：異常值的處理
數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡(jiǎn)、數(shù)據(jù)平衡
變量處理：變量變換、變量派生、變量精簡(jiǎn)
數(shù)據(jù)歸約：實(shí)現(xiàn)降維，避免維災(zāi)難
數(shù)據(jù)集成
外部數(shù)據(jù)讀入：Txt/Excel/SPSS/Database
數(shù)據(jù)追加（添加數(shù)據(jù)）
變量合并（添加變量）
數(shù)據(jù)理解（異常數(shù)據(jù)處理）
取值范圍限定
重復(fù)值處理
無(wú)效值/錯(cuò)誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評(píng)估
數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理
數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）
數(shù)據(jù)精簡(jiǎn)：數(shù)據(jù)分段/離散化（減少變量的取值個(gè)數(shù)）
數(shù)據(jù)平衡：正反樣本比例均衡
數(shù)據(jù)準(zhǔn)備：變量處理
變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化
變量派生：根據(jù)舊變量生成新的變量
變量精簡(jiǎn)：降維，減少變量個(gè)數(shù)
數(shù)據(jù)降維
常用降維方法如何確定變量個(gè)數(shù)
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標(biāo)變量的相關(guān)性考慮
對(duì)輸入變量進(jìn)行合并
因子分析（主成分分析）
因子分析的原理
因子個(gè)數(shù)如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
常用統(tǒng)計(jì)指標(biāo)分析
單變量：數(shù)值變量/分類變量
雙變量：交叉分析/相關(guān)性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化篇
數(shù)據(jù)可視化的原則
常用可視化工具
常用可視化圖形
柱狀圖、條形圖、餅圖、折線圖、箱圖、散點(diǎn)圖等
圖形的表達(dá)及適用場(chǎng)景
演練：各種圖形繪制
影響因素分析篇
問(wèn)題：如何判斷一個(gè)因素對(duì)另一個(gè)因素有影響？比如營(yíng)銷費(fèi)用是否會(huì)影響銷售額？產(chǎn)品價(jià)格是否會(huì)影響銷量？產(chǎn)品的陳列位置是否會(huì)影響銷量？
風(fēng)險(xiǎn)控制的關(guān)鍵因素有哪些？如何判斷？
影響因素分析的常見(jiàn)方法
相關(guān)分析（衡量變量間的的相關(guān)性）
問(wèn)題：這兩個(gè)屬性是否會(huì)相互影響？影響程度大嗎？營(yíng)銷費(fèi)用會(huì)影響銷售額嗎？
什么是相關(guān)關(guān)系
相關(guān)系數(shù)：衡量相關(guān)程度的指標(biāo)
相關(guān)系數(shù)的三個(gè)計(jì)算公式
相關(guān)分析的假設(shè)檢驗(yàn)
相關(guān)分析的基本步驟
相關(guān)分析應(yīng)用場(chǎng)景
演練：體重與腰圍的關(guān)系
演練：營(yíng)銷費(fèi)用會(huì)影響銷售額嗎
演練：哪些因素與汽車銷量有相關(guān)性
演練：通信費(fèi)用與開(kāi)通月數(shù)的相關(guān)分析
案例：酒樓生意好壞與報(bào)紙銷量的相關(guān)分析
方差分析
問(wèn)題：哪些才是影響銷量的關(guān)鍵因素？
方差分析解決什么問(wèn)題
方差分析種類：?jiǎn)我蛩?雙因素可重復(fù)/雙因素?zé)o重復(fù)
方差分析的應(yīng)用場(chǎng)景
方差分析的原理與步驟
如何解決方差分析結(jié)果
演練：終端擺放位置與終端銷量有關(guān)嗎？
演練：開(kāi)通月數(shù)驛客戶流失的影響分析
演練：客戶學(xué)歷對(duì)消費(fèi)水平的影響分析
演練：廣告和價(jià)格是影響終端銷量的關(guān)鍵因素嗎
演練：營(yíng)業(yè)員的性別、技能級(jí)別產(chǎn)品銷量有影響嗎？
案例：2015年大學(xué)生工資與父母職業(yè)的關(guān)系
案例：醫(yī)生洗手與嬰兒存活率的關(guān)系
演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素
列聯(lián)分析（兩類別變量的相關(guān)性分析）
交叉表與列聯(lián)表
卡方檢驗(yàn)的原理
卡方檢驗(yàn)的幾個(gè)計(jì)算公式
列聯(lián)表分析的適用場(chǎng)景
案例：套餐類型對(duì)客戶流失的影響分析
案例：學(xué)歷對(duì)業(yè)務(wù)套餐偏好的影響分析
案例：行業(yè)/規(guī)模對(duì)風(fēng)控的影響分析
數(shù)據(jù)建模過(guò)程篇
預(yù)測(cè)建模六步法
選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型
屬性篩選：選擇對(duì)目標(biāo)變量有顯著影響的屬性來(lái)建模
訓(xùn)練模型：采用合適的算法對(duì)模型進(jìn)行訓(xùn)練，尋找到最合適的模型參數(shù)
評(píng)估模型：進(jìn)行評(píng)估模型的質(zhì)量，判斷模型是否可用
優(yōu)化模型：如果評(píng)估結(jié)果不理想，則需要對(duì)模型進(jìn)行優(yōu)化
應(yīng)用模型：如果評(píng)估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場(chǎng)景
數(shù)據(jù)挖掘常用的模型
數(shù)值預(yù)測(cè)模型：回歸預(yù)測(cè)、時(shí)序預(yù)測(cè)等
分類預(yù)測(cè)模型：邏輯回歸、決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等
市場(chǎng)細(xì)分：聚類、RFM、PCA等
產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過(guò)濾等
產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等
產(chǎn)品定價(jià)：定價(jià)策略/最優(yōu)定價(jià)等
屬性篩選/特征選擇/變量降維
基于變量本身特征
基于相關(guān)性判斷
因子合并（PCA等）
IV值篩選（評(píng)分卡使用）
基于信息增益判斷（決策樹(shù)使用）
模型評(píng)估
模型質(zhì)量評(píng)估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等
預(yù)測(cè)值評(píng)估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等
模型評(píng)估方法：留出法、K拆交叉驗(yàn)證、自助法等
其它評(píng)估：過(guò)擬合評(píng)估
模型優(yōu)化
優(yōu)化模型：選擇新模型/修改模型
優(yōu)化數(shù)據(jù)：新增顯著自變量
優(yōu)化公式：采用新的計(jì)算公式
模型實(shí)現(xiàn)算法（暫略）
好模型是優(yōu)化出來(lái)的
案例：通信客戶流失分析及預(yù)警模型
數(shù)值預(yù)測(cè)模型篇
問(wèn)題：如何預(yù)測(cè)產(chǎn)品的銷量/銷售金額？如果產(chǎn)品跟隨季節(jié)性變動(dòng)，該如何預(yù)測(cè)？新產(chǎn)品上市，如果評(píng)估銷量上限及銷售增速？
銷量預(yù)測(cè)與市場(chǎng)預(yù)測(cè)——讓你看得更遠(yuǎn)
回歸預(yù)測(cè)/回歸分析
問(wèn)題：如何預(yù)測(cè)未來(lái)的銷售量（定量分析）？
回歸分析的基本原理和應(yīng)用場(chǎng)景
回歸分析的種類（一元/多元、線性/曲線）
得到回歸方程的幾種常用方法
回歸分析的五個(gè)步驟與結(jié)果解讀
回歸預(yù)測(cè)結(jié)果評(píng)估（如何評(píng)估預(yù)測(cè)質(zhì)量，如何選擇最佳回歸模型）
演練：散點(diǎn)圖找推廣費(fèi)用與銷售額的關(guān)系（一元線性回歸）
演練：推廣費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（多元線性回歸）
演練：讓你的營(yíng)銷費(fèi)用預(yù)算更準(zhǔn)確
演練：如何選擇最佳的回歸預(yù)測(cè)模型（曲線回歸）
帶分類變量的回歸預(yù)測(cè)
演練：汽車季度銷量預(yù)測(cè)
演練：工齡、性別與終端銷量的關(guān)系
演練：如何評(píng)估銷售目標(biāo)與資源配置（營(yíng)業(yè)廳）
時(shí)序預(yù)測(cè)
問(wèn)題：隨著時(shí)間變化，未來(lái)的銷量變化趨勢(shì)如何？
時(shí)序分析的應(yīng)用場(chǎng)景（基于時(shí)間的變化規(guī)律）
移動(dòng)平均MA的預(yù)測(cè)原理
指數(shù)平滑ES的預(yù)測(cè)原理
自回歸移動(dòng)平均ARIMA模型
如何評(píng)估預(yù)測(cè)值的準(zhǔn)確性？
案例：銷售額的時(shí)序預(yù)測(cè)及評(píng)估
演練：汽車銷量預(yù)測(cè)及評(píng)估
演練：電視機(jī)銷量預(yù)測(cè)分析
演練：上海證券交易所綜合指數(shù)收益率序列分析
演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢(shì)預(yù)測(cè)分析
自定義模型（如何利用規(guī)劃求解進(jìn)行自定義模型）
案例：如何對(duì)餐廳客流量進(jìn)行建模及模型優(yōu)化
分類預(yù)測(cè)模型篇
問(wèn)題：如何評(píng)估客戶購(gòu)買產(chǎn)品的可能性？如何預(yù)測(cè)客戶的購(gòu)買行為？如何提取某類客戶的典型特征？如何向客戶精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？
分類模型概述
常見(jiàn)分類預(yù)測(cè)模型
評(píng)估分類模型的常用指標(biāo)
正確率、查全率/查準(zhǔn)率、特異性等
邏輯回歸模型（LR）
邏輯回歸模型原理及適用場(chǎng)景
邏輯回歸種類：二項(xiàng)/多項(xiàng)邏輯回歸
如何解讀邏輯回歸方程
案例：如何評(píng)估用戶是否會(huì)購(gòu)買某產(chǎn)品（二項(xiàng)邏輯回歸）
消費(fèi)者品牌選擇模型分析
案例：多品牌選擇模型分析（多項(xiàng)邏輯回歸）
分類決策樹(shù)（DT）
問(wèn)題：如何預(yù)測(cè)客戶行為？如何識(shí)別潛在客戶？
風(fēng)控：如何識(shí)別欠貸者的特征，以及預(yù)測(cè)欠貸概率？
客戶保有：如何識(shí)別流失客戶特征，以及預(yù)測(cè)客戶流失概率？
決策樹(shù)分類簡(jiǎn)介
如何評(píng)估分類性能？
案例：美國(guó)零售商（Target）如何預(yù)測(cè)少女懷孕
演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征
構(gòu)建決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
如何選擇最佳屬性來(lái)構(gòu)建節(jié)點(diǎn)
如何分裂變量
修剪決策樹(shù)
選擇最優(yōu)屬性
熵、基尼索引、分類錯(cuò)誤
屬性劃分增益
如何分裂變量
多元?jiǎng)澐峙c二元?jiǎng)澐?br /> 連續(xù)變量離散化（最優(yōu)劃分點(diǎn)）
修剪決策樹(shù)
剪枝原則
預(yù)剪枝與后剪枝
構(gòu)建決策樹(shù)的四個(gè)算法
C5.0、CHAID、CART、QUEST
各種算法的比較
如何選擇最優(yōu)分類模型？
案例：商場(chǎng)酸奶購(gòu)買用戶特征提取
案例：電信運(yùn)營(yíng)商客戶流失預(yù)警與客戶挽留
案例：識(shí)別拖欠銀行貨款者的特征，避免不良貨款
案例：識(shí)別電信詐騙者嘴臉，讓通信更安全
人工神經(jīng)網(wǎng)絡(luò)（ANN）
神經(jīng)網(wǎng)絡(luò)概述
神經(jīng)網(wǎng)絡(luò)基本原理
神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
神經(jīng)網(wǎng)絡(luò)的建立步驟
神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問(wèn)題
BP反向傳播網(wǎng)絡(luò)（MLP）
徑向基網(wǎng)絡(luò)（RBF）
案例：評(píng)估銀行用戶拖欠貨款的概率
判別分析（DA）
判別分析原理
距離判別法
典型判別法
貝葉斯判別法
案例：MBA學(xué)生錄取判別分析
案例：上市公司類別評(píng)估
K近鄰分類（KNN）
基本原理
關(guān)鍵問(wèn)題
貝葉斯分類（NBN）
貝葉斯分類原理
計(jì)算類別屬性的條件概率
估計(jì)連續(xù)屬性的條件概率
貝葉斯網(wǎng)絡(luò)種類：TAN/馬爾科夫毯預(yù)測(cè)分類概率（計(jì)算概率）
案例：評(píng)估銀行用戶拖欠貨款的概率
支持向量機(jī)（SVM）
SVM基本原理
線性可分問(wèn)題：最大邊界超平面
線性不可分問(wèn)題：特征空間的轉(zhuǎn)換
維空難與核函數(shù)
市場(chǎng)細(xì)分模型篇
問(wèn)題：我們的客戶有幾類？各類特征是什么？如何實(shí)現(xiàn)客戶細(xì)分，開(kāi)發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？如何提取客戶特征，從而對(duì)產(chǎn)品進(jìn)行市場(chǎng)定位？
市場(chǎng)細(xì)分的常用方法
有指導(dǎo)細(xì)分
無(wú)指導(dǎo)細(xì)分
聚類分析
如何更好的了解客戶群體和市場(chǎng)細(xì)分？
如何識(shí)別客戶群體特征？
如何確定客戶要分成多少適當(dāng)?shù)念悇e？
聚類方法原理介紹
聚類方法作用及其適用場(chǎng)景
聚類分析的種類
K均值聚類（快速聚類）
案例：移動(dòng)三大品牌細(xì)分市場(chǎng)合適嗎？
演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？
演練：如何評(píng)選優(yōu)秀員工？
演練：中國(guó)各省份發(fā)達(dá)程度分析，讓數(shù)據(jù)自動(dòng)聚類
層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個(gè)類別
R型聚類與Q型聚類的區(qū)別
案例：中移動(dòng)如何實(shí)現(xiàn)客戶細(xì)分及營(yíng)銷策略
演練：中國(guó)省市經(jīng)濟(jì)發(fā)展情況分析（Q型聚類）
演練：裁判評(píng)分的標(biāo)準(zhǔn)衡量，避免“黑哨”（R型聚類）
兩步聚類
主成分分析PCA分析
主成分分析原理
主成分分析基本步驟
主成分分析結(jié)果解讀
演練：PCA探索汽車購(gòu)買者的細(xì)分市場(chǎng)
RFM模型客戶細(xì)分框架
客戶價(jià)值評(píng)估
客戶價(jià)值評(píng)估與RFM模型
問(wèn)題：如何評(píng)估客戶的價(jià)值？如何針對(duì)不同客戶采取不同的營(yíng)銷策略？
RFM模型，更深入了解你的客戶價(jià)值
RFM的客戶細(xì)分框架理解
RFM模型與市場(chǎng)策略
RFM模型與活躍度
演練：“雙11”淘寶商家如何選擇客戶進(jìn)行促銷
演練：結(jié)合響應(yīng)模型，宜家IKE實(shí)現(xiàn)最大化營(yíng)銷利潤(rùn)
演練：重購(gòu)用戶特征分析
實(shí)戰(zhàn)-數(shù)據(jù)挖掘項(xiàng)目
實(shí)戰(zhàn)1：客戶流失預(yù)警與客戶挽留之真實(shí)數(shù)據(jù)分析實(shí)踐
實(shí)戰(zhàn)2：銀行信用風(fēng)險(xiǎn)分析
結(jié)束：課程總結(jié)與問(wèn)題答疑。

傅一航老師的其它課程