大數(shù)據(jù)時代的數(shù)據(jù)挖掘分析及案例（含CRISP-DM方法論）
 

一、“大數(shù)據(jù)、大機會”：

1.概述

1)大數(shù)據(jù)概念和特點

2)大數(shù)據(jù)需要哪些技術(shù)支撐

3)大數(shù)據(jù)能夠帶來哪些新應(yīng)用？

2.大數(shù)據(jù)時代帶來對傳統(tǒng)營銷的挑戰(zhàn)

1)大數(shù)據(jù)如何成為資產(chǎn)？——GOOGLE的市值遠(yuǎn)超過制造企業(yè)

2)大數(shù)據(jù)如何體現(xiàn)精細(xì)營銷

3)大數(shù)據(jù)的價值——靠空調(diào)電表判斷氣候趨勢（“指數(shù)”）

3.大數(shù)據(jù)時代的“互聯(lián)網(wǎng)思維”營銷模式

1)互聯(lián)網(wǎng)思維——先圈用戶再掙錢

2）互聯(lián)網(wǎng)的營銷模式——微博營銷、網(wǎng)頁營銷等

3) CRM——“舊貌煥發(fā)新顏”

4)精細(xì)營銷——裝上了GPS，實現(xiàn)“精確打擊”

4.如何在海量數(shù)據(jù)中整合線上、線下數(shù)據(jù)，形成你對客戶的獨特洞察力

1)知道客戶的各個屬性——互聯(lián)網(wǎng)時代不再“是否是狗”

2)客戶的群體特征——“人以群分”

5.如何建立產(chǎn)品分析的數(shù)據(jù)平臺，提供產(chǎn)品的“標(biāo)尺”

1)產(chǎn)品的數(shù)據(jù)有哪些？

2)產(chǎn)品設(shè)計的互聯(lián)網(wǎng)思維？——小米手機

3)產(chǎn)品的大數(shù)據(jù)分析——哪些維度？

4）如何“產(chǎn)品為中心”發(fā)展為“客戶為中心”？——有數(shù)據(jù)就有可能

6.大數(shù)據(jù)對企業(yè)的精細(xì)管理提升

1）企業(yè)的精細(xì)管理——不再盲人摸象

2）企業(yè)的KPI儀表板——進(jìn)入駕駛艙

3）預(yù)防企業(yè)的管理風(fēng)險——早診斷、早發(fā)現(xiàn)

4）員工的量化績效評定——計件之后計量

7.大數(shù)據(jù)提升企業(yè)的產(chǎn)品質(zhì)量

1）建立量化的產(chǎn)品管理方法——辣椒的辣度評定

2）產(chǎn)品制造過程的管理控制——監(jiān)控大數(shù)據(jù)分析

3）產(chǎn)品問題的及時監(jiān)控——溫度、風(fēng)速等異常早發(fā)現(xiàn)

4）產(chǎn)品訂制的范例——好萊塢大片的大數(shù)據(jù)

5）產(chǎn)品質(zhì)量的量化管控——擋板安裝的故事

二、大數(shù)據(jù)的“數(shù)據(jù)挖掘技術(shù)”

1.數(shù)據(jù)挖掘概述

1）基本概念——“啤酒和尿布的故事”

2）與講師系統(tǒng)、統(tǒng)計分析、人工智能的關(guān)系——演進(jìn)歷史分析

3）數(shù)據(jù)挖掘在制造行業(yè)的應(yīng)用內(nèi)容——如何體現(xiàn)“智能制造”？

2. CRISP-DM過程描述

1）商業(yè)理解——要實現(xiàn)什么“目的”？

2）數(shù)據(jù)的理解以及收集——手里有哪些數(shù)據(jù)？

3）數(shù)據(jù)的準(zhǔn)備——數(shù)據(jù)的清洗及轉(zhuǎn)換

4）應(yīng)用數(shù)據(jù)挖掘工具建立模型——使用哪種數(shù)據(jù)挖掘算法和工具？

5）模型評估——算法評估

6）部署（并形成數(shù)據(jù)挖掘報告）——實際使用及形成報告  

3.數(shù)據(jù)挖掘常用算法介紹

預(yù)測型

1）分類算法

2）回歸分析

3）時間序列

描述型

4）關(guān)聯(lián)分析

5）序列關(guān)聯(lián)分析

6）聚類分析

4.數(shù)據(jù)挖掘具體算法舉例

1）神經(jīng)網(wǎng)絡(luò)算法

2）決策樹算法

5.根據(jù)實際問題選擇數(shù)據(jù)挖掘算法

1）客戶離網(wǎng)分析

2）客戶分群模型

3）產(chǎn)品關(guān)聯(lián)分析

4）問題的描述

需要解決的關(guān)鍵問題

如何轉(zhuǎn)換成為數(shù)據(jù)挖掘的描述

數(shù)據(jù)挖掘算法的選擇依據(jù)

預(yù)測類還是描述類

與各種算法的使用特點結(jié)合

6.分析結(jié)果的檢驗

對照組數(shù)據(jù)的選擇方法

對照組數(shù)據(jù)的時間窗口選擇

對照組數(shù)據(jù)的抽樣

數(shù)據(jù)挖掘模型的修訂

1）如何剔除無效的結(jié)果數(shù)據(jù)

2） 根據(jù)反饋結(jié)果進(jìn)行模型修訂

7.數(shù)據(jù)挖掘項目的投入產(chǎn)出

數(shù)據(jù)挖掘項目的投入成本計算

數(shù)據(jù)挖掘項目的產(chǎn)出計算依據(jù) 

8.如何形成分析報告

1）分析報告的組成部分

2）部分優(yōu)秀的分析報告演示

9．常用數(shù)據(jù)挖掘工具介紹

   1）SAS

   2 ) SPSS

三、數(shù)據(jù)挖掘具體案例分析

某電信公司具體數(shù)據(jù)挖掘案例（某產(chǎn)品營銷）詳細(xì)舉例

1. 商業(yè)理解：提升哪個KPI指標(biāo)？（ARPU/MOU等）

2. 數(shù)據(jù)理解及收集:哪些具體的數(shù)據(jù)（客戶詳單、客戶資料等）

3. 數(shù)據(jù)準(zhǔn)備：

1）客戶數(shù)據(jù)質(zhì)量分析

如何保障數(shù)據(jù)質(zhì)量——哪些衡量指標(biāo)

如何發(fā)現(xiàn)異常數(shù)據(jù)——剔除干擾數(shù)據(jù)

2）客戶數(shù)據(jù)抽樣過程

抽樣比例分析

抽樣的具體方法

3）挖掘應(yīng)用需求描述

如何篩選有用數(shù)據(jù)——選擇相關(guān)變量和匯總數(shù)據(jù)

如何描述需求

4.數(shù)據(jù)挖掘工具建立模型

挖掘算法選擇

如何選擇合適的分析方法

如何剔除無效的干擾數(shù)據(jù)

選擇關(guān)鍵變量

挖掘具體過程

結(jié)果數(shù)據(jù)分析

5.模型（算法）評估

LIFT值等分析

6.實際部署及分析報告

   實際分析報告編寫示例

   如何計算該項目的投入、產(chǎn)出

項目的投入計算依據(jù)

項目的產(chǎn)出計算方法

項目的投入/產(chǎn)出結(jié)果

四、基礎(chǔ)數(shù)據(jù)的收集和整理

1、數(shù)據(jù)的種類

1）客戶數(shù)據(jù)內(nèi)容（保險客戶的基本資料）

2）產(chǎn)品數(shù)據(jù)內(nèi)容（產(chǎn)品的編碼）

3）營銷數(shù)據(jù)內(nèi)容（交易記錄的保存）

4）服務(wù)數(shù)據(jù)內(nèi)容（客戶服務(wù)數(shù)據(jù)的保存）

5）制造行業(yè)數(shù)據(jù)的特點：（數(shù)據(jù)類型雜、數(shù)據(jù)量大等）

2、數(shù)據(jù)的存放方法

1）數(shù)據(jù)的清洗、轉(zhuǎn)換和加載

2）存放在數(shù)據(jù)庫/數(shù)據(jù)倉庫

3）數(shù)據(jù)的基本分析工具EXCEL等

3、數(shù)據(jù)的基本整理

1）數(shù)據(jù)的歸類存放（建模型）

2）數(shù)據(jù)的基本加工

4、數(shù)據(jù)的基礎(chǔ)分析

1）數(shù)據(jù)的基本匯總

2）數(shù)據(jù)中的“金子”：從石頭中淘金子

5、數(shù)據(jù)質(zhì)量的基本保障

1）指標(biāo)的口徑描述和統(tǒng)一

2）后期補數(shù)據(jù)成本是前提收集數(shù)據(jù)成本的15倍

3）“差之毫厘謬以千里”

6、制造業(yè)企業(yè)數(shù)據(jù)的收集和整理

1）制造環(huán)境的數(shù)據(jù)收集/整理

2）采購數(shù)據(jù)的收集/整理

3）營銷數(shù)據(jù)的收集/整理：

4）人力資源數(shù)據(jù)的收集/整理

示例：某企業(yè)的數(shù)據(jù)收集/整理方案

五、云計算技術(shù)

1.Hadoop項目簡介

2.HDFS體系結(jié)構(gòu)

3.HDFS關(guān)鍵運行機制

4.MapReduce產(chǎn)生背景

5.MapReduce編程模型

6.MapReduce實現(xiàn)機制

7.MapReduce案例分析

8.HIVE介紹

9.HBASE介紹

六、總結(jié)和展望

段方老師的其它課程