大數(shù)據(jù)分析與數(shù)據(jù)挖掘能力提升實(shí)戰(zhàn)

【課程大綱】**部分：解構(gòu)大數(shù)據(jù)1、 大數(shù)據(jù)時(shí)代已經(jīng)來臨

2、 大數(shù)據(jù)的三層理解

? 理論層：以數(shù)據(jù)為基礎(chǔ)

? 技術(shù)層：以平臺(tái)為手段

? 應(yīng)用層：以應(yīng)用為導(dǎo)向

3、 大數(shù)據(jù)的4V特征

4、 大數(shù)據(jù)的核心價(jià)值

? 發(fā)現(xiàn)業(yè)務(wù)運(yùn)行規(guī)律

? 預(yù)測(cè)事物未來

5、 大數(shù)據(jù)在各行業(yè)是如何應(yīng)用的

? 醫(yī)療衛(wèi)生

? 政治軍事

? 行政執(zhí)法

? 金融銀行

? ……

6、 數(shù)據(jù)分析的核心理念

? 數(shù)據(jù)變化意味著業(yè)務(wù)變化

? 數(shù)據(jù)間關(guān)系意味著因素間的關(guān)系

7、 大數(shù)據(jù)戰(zhàn)略

? 大數(shù)據(jù)成為企業(yè)的核心資產(chǎn)

? 大數(shù)據(jù)成為業(yè)務(wù)創(chuàng)新的核心引擎

? 從數(shù)據(jù)化運(yùn)營到運(yùn)營數(shù)據(jù)

8、 大數(shù)據(jù)的思維變革

? 定量思維

? 相關(guān)思維

? 實(shí)驗(yàn)思維

? ……

9、 大數(shù)據(jù)的商業(yè)模式分析

10、 大數(shù)據(jù)的人才培養(yǎng)

第二部分：數(shù)據(jù)分析篇問題：數(shù)據(jù)分析是神馬?數(shù)據(jù)分析基本過程？

1、 數(shù)據(jù)分析面臨的常見問題

2、 認(rèn)識(shí)數(shù)據(jù)分析

? 什么是數(shù)據(jù)分析

? 數(shù)據(jù)分析的三大作用

? 數(shù)據(jù)分析的三大類別

案例：喜歡賺“差價(jià)”的營業(yè)員

3、 數(shù)據(jù)分析的六步曲

? 明確目的

? 收集數(shù)據(jù)

? 處理數(shù)據(jù)（預(yù)處理）

? 分析數(shù)據(jù)

? 呈現(xiàn)數(shù)據(jù)（可視化）

? 撰寫報(bào)告

案例：終端精準(zhǔn)營銷項(xiàng)目過程討論

4、 數(shù)據(jù)分析師需要什么樣的能力

? 懂業(yè)務(wù)、懂管理、懂分析、懂工具、懂呈現(xiàn)

5、 大數(shù)據(jù)應(yīng)用系統(tǒng)的四層結(jié)構(gòu)

? 數(shù)據(jù)基礎(chǔ)層、數(shù)據(jù)模型層、業(yè)務(wù)模型層、業(yè)務(wù)應(yīng)用層

6、 數(shù)據(jù)分析方法的層次

? 基本分析法（對(duì)比/分組/結(jié)構(gòu)/趨勢(shì)/…）

? 綜合分析法（交叉/綜合評(píng)價(jià)/杜邦/漏斗/…）

? 高級(jí)分析法（相關(guān)/方差/驗(yàn)證/回歸/時(shí)序/…）

? 數(shù)據(jù)挖掘法（聚類/分類/關(guān)聯(lián)/RFM模型/…）

7、 基本分析方法及其適用場(chǎng)景

? 對(duì)比分析（查看數(shù)據(jù)差距）

演練：按性別、省份、產(chǎn)品進(jìn)行分類統(tǒng)計(jì)

? 分組分析（查看數(shù)據(jù)分布）

演練：銀行信用卡月消費(fèi)分析（銀行）

演練：呼叫中心接聽電話效率分析（呼叫中心）

演練：客服中心科學(xué)排班人數(shù)需求分析（客服中心）

演練：客戶年齡分布分析

案例：排班后面隱藏的貓膩

? 結(jié)構(gòu)分析（評(píng)估事物構(gòu)成）

案例：用戶市場(chǎng)占比結(jié)構(gòu)分析

案例：物流費(fèi)用占比結(jié)構(gòu)分析（物流）

? 趨勢(shì)分析（發(fā)現(xiàn)變化規(guī)律）

案例：破解零售店銷售規(guī)律

8、 綜合分析方法及其適用場(chǎng)景

? 交叉分析（兩維分析）

演練：用戶性別 地域分布分析

? 綜合評(píng)價(jià)法（多維指標(biāo)歸一）

演練：人才選拔評(píng)價(jià)分析（HR）

案例：南京丈母娘選女婿分析表格

? 杜邦分析法（關(guān)鍵因素分析-財(cái)務(wù)數(shù)據(jù)分析）

案例：電信市場(chǎng)占有率分析

演練：服務(wù)水平提升分析（呼叫中心）

案例：銷售額的影響因素分析（零售店/電商）

? 漏斗分析法（關(guān)鍵流程環(huán)節(jié)分析-流失率與轉(zhuǎn)化率分析）

演練：終端銷售流程分析（電信營業(yè)廳）

案例：業(yè)務(wù)辦理流程優(yōu)化分析（銀行營業(yè)廳）

案例：物流配送效率分析（物流）

? 矩陣分析法（產(chǎn)品策略分析-象限圖分析法）

案例：工作安排評(píng)估

案例：HR人員考核與管理

案例：波士頓產(chǎn)品策略分析

9、 **合適的分析方法才是硬道理。

10、 數(shù)據(jù)分析思路（如何細(xì)化業(yè)務(wù)問題）

案例：利用5W2H來分析產(chǎn)品銷售情況

第三部分：概率與數(shù)理統(tǒng)計(jì)篇1、 數(shù)據(jù)統(tǒng)計(jì)指標(biāo)

? 集中程度：平均數(shù)/中位數(shù)/眾數(shù)

? 離散程度：全距/四分位距/標(biāo)準(zhǔn)差/四分位

? 分布形態(tài)：偏度/峰度

? 正確理解各指標(biāo)的含義

案例：如何用Excel計(jì)算統(tǒng)計(jì)指標(biāo)

案例：如何用Excel畫直方圖

2、 概率論基本知識(shí)

? 隨機(jī)事件與概率

? 古典概率與條件概率

? 全概率公式與貝葉斯公司

? 概率分布函數(shù)

? 數(shù)學(xué)期望與方差

? 大數(shù)定律與中心極限定理

3、 參數(shù)檢驗(yàn)分析

? 假設(shè)檢驗(yàn)概述

? 假設(shè)檢驗(yàn)步驟

? 樣本T檢驗(yàn)（單樣本、兩獨(dú)立樣本、兩配對(duì)樣本）及適用場(chǎng)景

案例：電信運(yùn)營商ARPU值評(píng)估分析（單樣本）

案例：營銷活動(dòng)前后分析（兩配對(duì)樣本）

案例：吸煙與膽固醇升高的分析（兩獨(dú)立樣本）

4、 非參數(shù)檢驗(yàn)分析

? 非參數(shù)檢驗(yàn)概述

? 樣本檢驗(yàn)（單樣本、兩獨(dú)立樣本、兩相關(guān)樣本）

案例：產(chǎn)品合格率檢驗(yàn)（單樣本-二項(xiàng)分布）

案例：訓(xùn)練新方法有效性檢驗(yàn)（兩配對(duì)樣本-符號(hào)/秩檢驗(yàn)）

案例：促銷方式效果檢驗(yàn)(多相關(guān)樣本-Friedman檢驗(yàn))

案例：客戶滿意度差異檢驗(yàn)(多相關(guān)樣本-Cochran Q檢驗(yàn))

第四部分：高級(jí)數(shù)據(jù)分析本篇包含三大內(nèi)容：影響因素分析，數(shù)值預(yù)測(cè)模型。

1、 相關(guān)分析（衡量變量間的的相關(guān)性）

問題：營銷費(fèi)用會(huì)影響銷售額嗎？影響程度大嗎？

? 什么是相關(guān)關(guān)系

? 相關(guān)系數(shù)：衡量相關(guān)程度的指標(biāo)

? 相關(guān)分析的步驟與計(jì)算公式

? 相關(guān)分析應(yīng)用場(chǎng)景

演練：體重與腰圍的關(guān)系

演練：營銷費(fèi)用與銷售額的關(guān)系

2、 方差分析

問題：哪些才是影響銷量的關(guān)鍵因素？

? 方差分析解決什么問題

? 方差分析種類：單因素/雙因素可重復(fù)/雙因素?zé)o重復(fù)

? 方差分析的應(yīng)用場(chǎng)景

? 如何解決方差分析結(jié)果

演練：產(chǎn)品擺放位置與銷量有關(guān)嗎？（單因素方差分析）

案例：2015年大學(xué)生工資與父母職業(yè)的關(guān)系

3、 回歸分析（預(yù)測(cè)）

問題：如何預(yù)測(cè)未來的銷售量（定量分析）？

? 回歸分析的基本原理和應(yīng)用場(chǎng)景

? 回歸分析的種類（一元/多元、線性/曲線）

? 回歸分析的幾種常用方法

? 回歸分析的五個(gè)步驟與結(jié)果解讀

? 回歸預(yù)測(cè)結(jié)果評(píng)估（如何評(píng)估預(yù)測(cè)質(zhì)量，如何選擇**回歸模型）

演練：散點(diǎn)圖找推廣費(fèi)用與銷售額的關(guān)系（一元線性回歸）

演練：推廣費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（多元線性回歸）

演練：**選擇的預(yù)測(cè)銷售額的回歸模型（一元曲線回歸）

? 回歸分析（帶分類變量）

案例：汽車銷量的季度預(yù)測(cè)

演練：工齡、性別與終端銷量的關(guān)系

討論：終端銷售預(yù)測(cè)分析（營業(yè)廳）

4、 時(shí)序分析（預(yù)測(cè)）

問題：隨著時(shí)間變化，未來的銷量變化趨勢(shì)如何？

? 時(shí)序分析的應(yīng)用場(chǎng)景（基于時(shí)間的變化規(guī)律）

? 移動(dòng)平均的預(yù)測(cè)原理

? 指數(shù)平滑的預(yù)測(cè)原理

案例：銷售額的時(shí)序預(yù)測(cè)及評(píng)估

演練：產(chǎn)品銷量預(yù)測(cè)及評(píng)估第五部分：建立預(yù)測(cè)模型與模型優(yōu)化（Excel工具）本篇包含內(nèi)容：數(shù)值預(yù)測(cè)建模、模型優(yōu)化，季節(jié)性預(yù)測(cè)模型、S曲線預(yù)測(cè)模型。

1、 常見預(yù)測(cè)模型類別

? 數(shù)值預(yù)測(cè)

? 分類預(yù)測(cè)

2、 回歸分析建模

? 尋找**回歸擬合線來判斷和預(yù)測(cè)

? 模型優(yōu)化七步法（因素、異常值、相互作用、非線性關(guān)系…）

案例：汽車銷量預(yù)測(cè)分析

案例：工齡、性別與銷量的回歸分析

3、 季節(jié)性預(yù)測(cè)模型

? 季節(jié)性預(yù)測(cè)模型的參數(shù)

? 常用季節(jié)性預(yù)測(cè)模型（相加模型、相乘模型）

案例：美國航空旅客里程的季節(jié)性趨勢(shì)分析

案例：產(chǎn)品銷售季節(jié)性趨勢(shì)預(yù)測(cè)分析

4、 新產(chǎn)品銷量預(yù)測(cè)與S曲線

? 如何評(píng)估銷量增長的拐點(diǎn)

? 常用模型（珀?duì)柷€、龔鉑茲曲線）

案例：預(yù)測(cè)IPad產(chǎn)品的銷售增長拐點(diǎn)，以及銷量上限

5、 規(guī)劃求解與自定義模型

案例：大數(shù)據(jù)下的產(chǎn)品定價(jià)方法

案例：如何對(duì)客流量進(jìn)行建模及模型優(yōu)化

第五部分：數(shù)據(jù)挖掘篇（SPSS工具使用）1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程

? 商業(yè)理解

? 數(shù)據(jù)準(zhǔn)備

? 數(shù)據(jù)理解

? 模型建立

? 模型評(píng)估

? 模型應(yīng)用

案例：通信客戶流失分析及預(yù)警模型

3、 聚類分析（市場(chǎng)細(xì)分與客戶細(xì)分）

問題：如何實(shí)現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？

? 聚類分析及其作用

? 聚類分析的種類

? 層次聚類：發(fā)現(xiàn)多個(gè)類別

? R型聚類與Q型聚類的區(qū)別

演練：中國省市經(jīng)濟(jì)發(fā)展情況分析（Q型聚類）

演練：裁判評(píng)分的標(biāo)準(zhǔn)衡量（R型聚類）

? K均值聚類

演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？

演練：如何評(píng)選優(yōu)秀員工？

4、 分類分析

案例：美國零售商（Target）如何預(yù)測(cè)少女懷孕

問題：如何提取客戶流失者、拖欠貨款者的特征？如何預(yù)測(cè)其流失的概率？

? 分類與聚類

? 決策樹分類的原理

? 如何評(píng)估分類性能

演練：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貨者的特征

5、 關(guān)聯(lián)分析

案例：啤酒與尿布、颶風(fēng)與蛋撻

問題：購買面包的人是否也會(huì)購買牛奶？他們同時(shí)購買哪些產(chǎn)品？

? 關(guān)聯(lián)分析解決什么樣的問題

? 如何提取關(guān)聯(lián)規(guī)則

? 關(guān)聯(lián)規(guī)則的應(yīng)用場(chǎng)景

案例：超市商品交叉銷售與布局優(yōu)化（關(guān)聯(lián)分析）

6、 RFM模型

問題：如何評(píng)估客戶的價(jià)值？如何針對(duì)不同客戶采取不同的營銷策略？

? RFM模型介紹

? RFM的客戶細(xì)分框架理解

演練：淘寶客戶選擇促銷客戶的方式

演練：結(jié)合響應(yīng)模型，宜家IKE實(shí)現(xiàn)**大化營銷利潤

第六部分：數(shù)據(jù)挖掘?qū)崙?zhàn)篇（Modeler工具實(shí)操）1、 數(shù)據(jù)挖掘處理的一般過程

? 數(shù)據(jù)源à數(shù)據(jù)理解à數(shù)據(jù)準(zhǔn)備à探索分析à數(shù)據(jù)建模à模型評(píng)估

2、 數(shù)據(jù)讀入

3、 數(shù)據(jù)集成

? 變量合并（增加變量）

? 數(shù)據(jù)追加（添加記錄）

4、 數(shù)據(jù)理解

? 取值范圍限定

? 重復(fù)數(shù)據(jù)處理

? 缺失值處理

? 無效值處理

? 離群點(diǎn)和極端值的修正

? 數(shù)據(jù)質(zhì)量評(píng)估

5、 數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）

? 數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值）

? 數(shù)據(jù)平衡：正反樣本比例均衡

? 其它：排序、分類匯總

6、 數(shù)據(jù)準(zhǔn)備：變量處理

? 變量變換：原變量值更新

? 變量派生：生成新的變量

? 變量精簡：降維，減少變量個(gè)數(shù)

7、 基本分析

? 單變量：數(shù)據(jù)基本描述分析

? 雙變量：相關(guān)分析、方差分析、卡方檢驗(yàn)（列聯(lián)檢驗(yàn)）

? 變量精簡：特征選擇、因子分析

案例：通信基本費(fèi)用與開通月數(shù)的相關(guān)分析

案例：開通月數(shù)對(duì)客戶流失的影響分析

案例：套餐類型對(duì)對(duì)客戶流失的影響分析

8、 特征選擇

? 特征選擇方法：選擇重要變量，剔除不重要的變量

? 從變量本身考慮

? 從輸入變量與目標(biāo)變量的相關(guān)性考慮

9、 因子分析（主成分分析）

? 因子分析的原理

? 因子個(gè)數(shù)如何選擇

? 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

10、 常見分類預(yù)測(cè)模型

? 分類預(yù)測(cè)基本過程

? 如何評(píng)估分類模型的性能（查準(zhǔn)率、查全率）

11、 決策樹分類

? 決策樹分類原理

? 決策樹構(gòu)建的三個(gè)關(guān)鍵問題

? 決策樹算法

案例：識(shí)別銀行欠貨風(fēng)險(xiǎn)，提取欠貨者的特征

案例：客戶流失預(yù)警與客戶挽留模型

12、 神經(jīng)網(wǎng)絡(luò)

? 神經(jīng)網(wǎng)絡(luò)概述

? 神經(jīng)元工作原理

? BP反向傳播網(wǎng)絡(luò)（MLP）

? 徑向基函數(shù)網(wǎng)絡(luò)（RBF）

13、 支持向量機(jī)

14、 貝葉斯分類

實(shí)戰(zhàn)：電信客戶流失分析與預(yù)警模型

結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程