Python數(shù)據(jù)挖掘開(kāi)發(fā)實(shí)戰(zhàn)

Python實(shí)現(xiàn)大數(shù)據(jù)挖掘技術(shù)培訓(xùn)【課程目標(biāo)】
Python已經(jīng)成為數(shù)據(jù)分析和數(shù)據(jù)挖掘的首選語(yǔ)言，作為除了Java、C/C++/C#外最受歡迎的語(yǔ)言。
本課程基于Python工具來(lái)實(shí)現(xiàn)大數(shù)據(jù)的數(shù)據(jù)分析和數(shù)據(jù)挖掘項(xiàng)目?；跇I(yè)務(wù)問(wèn)題，在數(shù)據(jù)挖掘標(biāo)準(zhǔn)過(guò)程指導(dǎo)下，采用Python分析工具，實(shí)現(xiàn)數(shù)據(jù)挖掘項(xiàng)目的每一步操作，從數(shù)據(jù)預(yù)處理、數(shù)據(jù)建模、數(shù)據(jù)可視化，到最終數(shù)據(jù)挖掘結(jié)束，幫助學(xué)員掌握Python用于數(shù)據(jù)挖掘，提升學(xué)員的數(shù)據(jù)化運(yùn)營(yíng)及數(shù)據(jù)挖掘的能力。
通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：
全面掌握Python語(yǔ)言以及其編程思想。
掌握常用擴(kuò)展庫(kù)的使用，特別是數(shù)據(jù)挖掘相關(guān)庫(kù)的使用。
學(xué)會(huì)使用Python完成數(shù)據(jù)挖掘項(xiàng)目整個(gè)過(guò)程。
掌握利用Python實(shí)現(xiàn)可視化呈現(xiàn)。掌握數(shù)據(jù)挖掘常見(jiàn)算法在Python中的實(shí)現(xiàn)。
【授課時(shí)間】
2-5天時(shí)間
（要根據(jù)學(xué)員的實(shí)際情況調(diào)整重點(diǎn)內(nèi)容及時(shí)間）
【授課對(duì)象】
業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。
【學(xué)員要求】
課程為實(shí)戰(zhàn)課程，要求：
每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Python 3.6版本及以上。
安裝好Numpy,Pandas,sklearn等常用庫(kù)。
注：講師現(xiàn)場(chǎng)提供開(kāi)源的安裝程序、擴(kuò)展庫(kù)，以及現(xiàn)場(chǎng)分析的數(shù)據(jù)源。
【授課方式】
語(yǔ)言基礎(chǔ) + 挖掘模型 + 案例演練 + 開(kāi)發(fā)實(shí)踐 + 可視化呈現(xiàn)
采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問(wèn)題，展開(kāi)數(shù)據(jù)分析過(guò)程，全過(guò)程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過(guò)程中獲得能力提升。
【課程大綱】
數(shù)據(jù)對(duì)象基本操作
目的：掌握數(shù)據(jù)集結(jié)構(gòu)及基本處理方法，進(jìn)一步鞏固Python語(yǔ)言
數(shù)據(jù)挖掘常用擴(kuò)展庫(kù)介紹
Numpy數(shù)組處理支持
Scipy矩陣計(jì)算模塊
Matplotlib數(shù)據(jù)可視化工具庫(kù)
Pandas數(shù)據(jù)分析和探索工具
StatsModels統(tǒng)計(jì)建模庫(kù)
Scikit-Learn機(jī)器學(xué)習(xí)庫(kù)
Keras深度學(xué)習(xí)（神經(jīng)網(wǎng)絡(luò)）庫(kù)
Gensim文本挖掘庫(kù)
數(shù)據(jù)集構(gòu)建
Index, Series, DataFrame對(duì)象
手工構(gòu)建（創(chuàng)建索引、序列、數(shù)據(jù)集）
讀取文件（CSV文件、Excel文件）
讀取數(shù)據(jù)庫(kù)
數(shù)據(jù)集保存（CSV、Excel）
數(shù)據(jù)集基本操作
基本屬性訪問(wèn)
shape,ndim,index,columns,values,empty,size
數(shù)據(jù)類(lèi)型處理：查看、修改、轉(zhuǎn)換
排序
排序依據(jù)：標(biāo)題、索引、字段
排序順序：升序、降序
自定義排序：按標(biāo)題、索引、字段、有序類(lèi)別變量排序
基本訪問(wèn)
行訪問(wèn)、列訪問(wèn)、值訪問(wèn)
訪問(wèn)方式：標(biāo)簽、位置
訪問(wèn)類(lèi)型：?jiǎn)涡辛小⒍嘈辛?、連續(xù)行列
布爾數(shù)組訪問(wèn)
字段管理、新增、刪除、修改、替換、移位
數(shù)據(jù)篩選：條件篩選、多值篩選、篩選空值/非空值
演練：用Python實(shí)現(xiàn)數(shù)據(jù)的基本訪問(wèn)
大數(shù)據(jù)預(yù)處理
目的：掌握數(shù)據(jù)預(yù)處理的基本環(huán)節(jié)，以及Python的實(shí)現(xiàn)。
預(yù)處理任務(wù)
數(shù)據(jù)清洗
數(shù)據(jù)集成
數(shù)據(jù)處理
變量處理
數(shù)據(jù)清洗
重復(fù)值處理
重復(fù)字段、重復(fù)標(biāo)題、重復(fù)索引
處理方式：查找、刪除、修改
錯(cuò)誤值處理
查找錯(cuò)誤值
置空/刪除
重新編碼/替換
離群值處理：
檢測(cè)標(biāo)題：3σ準(zhǔn)則，IQR準(zhǔn)則，K均值
處理方式：查找、置空、截尾、縮尾
基于K均值的離群值檢測(cè)
缺失值處理：
查找、刪除
插補(bǔ)(固定值/均值/向下填充/向上填充/插入法/拉格朗日)
數(shù)據(jù)集成
數(shù)據(jù)追加
變量合并（連接類(lèi)型）
數(shù)據(jù)處理
數(shù)據(jù)篩選
數(shù)據(jù)抽樣
簡(jiǎn)單抽樣（有放回、無(wú)放回）
分層抽樣
離散化/分箱
等寬
等頻
自定義間隔
K均值
變量處理
處理方式：變量變換、變量派生
規(guī)范化：min-max /mean-std/exp-max
啞變量化
案例：用Python實(shí)現(xiàn)數(shù)據(jù)預(yù)處理
數(shù)據(jù)可視化處理
目的：掌握作圖擴(kuò)展庫(kù)，實(shí)現(xiàn)數(shù)據(jù)可視化
統(tǒng)計(jì)基礎(chǔ)
數(shù)值變量：描述統(tǒng)計(jì)
類(lèi)別變量：分類(lèi)計(jì)數(shù)
分類(lèi)統(tǒng)計(jì)：分類(lèi)匯總
常用的Python作圖庫(kù)
Matplotlib庫(kù)
Pygal庫(kù)
各種圖形的畫(huà)法
柱狀圖
直方圖
餅圖
折線圖
散點(diǎn)圖
…
演練：用Python庫(kù)作圖來(lái)實(shí)現(xiàn)產(chǎn)品銷(xiāo)量分析，并可視化
影響因素分析/特征選擇
目的：掌握判斷事物間相關(guān)性的常用方法，熟悉建模前如何進(jìn)行屬性篩選/特征選擇，以實(shí)現(xiàn)降維的目的。
影響因素分析常用方法
相關(guān)分析
相關(guān)分析原理
相關(guān)系數(shù)公式種類(lèi)
Pearson相關(guān)系數(shù)
Spearman等級(jí)相關(guān)系數(shù)
Kendall等級(jí)相關(guān)系數(shù)
方差分析
方差分析原理
方差分析種類(lèi)
單因素方差分析
多因素方差分析
協(xié)方差分析
列聯(lián)分析/卡方檢驗(yàn)
列聯(lián)分析原理
計(jì)數(shù)與期望值
卡方檢驗(yàn)公式
主成分分析：降維
PCA方法原理
回歸預(yù)測(cè)模型實(shí)戰(zhàn)
常用數(shù)值預(yù)測(cè)的模型
通用預(yù)測(cè)模型：回歸模型
季節(jié)性預(yù)測(cè)模型：相加、相乘模型
新產(chǎn)品預(yù)測(cè)模型：珀?duì)柷€與龔鉑茲曲線
回歸分析概念
常見(jiàn)回歸分析類(lèi)別
回歸分析常見(jiàn)算法
普通最小二乘法OLS
嶺回歸（RR）
套索回歸Lasso
ElasticNet回歸
回歸模型的評(píng)估
判定系數(shù)R^2
平均誤差率MAPE
分類(lèi)預(yù)測(cè)模型實(shí)戰(zhàn)
常見(jiàn)分類(lèi)預(yù)測(cè)的模型與算法
如何評(píng)估分類(lèi)預(yù)測(cè)模型的質(zhì)量
正確率、查準(zhǔn)率、召回率、F1
ROC曲線
邏輯回歸分析模型
邏輯回歸的原理
邏輯回歸建模的步驟
案例：用sklearn庫(kù)實(shí)現(xiàn)銀行貸款違約預(yù)測(cè)
決策樹(shù)模型
決策樹(shù)分類(lèi)的原理
決策樹(shù)的三個(gè)關(guān)鍵問(wèn)題
決策樹(shù)算法與實(shí)現(xiàn)
案例：電力竊漏用戶自動(dòng)識(shí)別
決策樹(shù)算法
最優(yōu)屬性選擇算法：ID3、ID4.0、ID5.0
連續(xù)變量分割算法
樹(shù)剪枝：預(yù)剪枝、后剪枝
人工神經(jīng)網(wǎng)絡(luò)模型（ANN）
神經(jīng)網(wǎng)絡(luò)概述
神經(jīng)元工作原理
常見(jiàn)神經(jīng)網(wǎng)絡(luò)算法（BP、LM、RBF、FNN等）
案例：神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)產(chǎn)品銷(xiāo)量
支持向量機(jī)（SVM）
SVM基本原理
維災(zāi)難與核心函數(shù)
案例：基于水質(zhì)圖像的水質(zhì)評(píng)價(jià)
貝葉斯分析
條件概率
常見(jiàn)貝葉斯網(wǎng)絡(luò)
聚類(lèi)分析（客戶細(xì)分）實(shí)戰(zhàn)
客戶細(xì)分常用方法
聚類(lèi)分析（Clustering）
聚類(lèi)方法原理介紹及適用場(chǎng)景
常用聚類(lèi)分析算法
聚類(lèi)算法的評(píng)價(jià)
案例：使用SKLearn實(shí)現(xiàn)K均值聚類(lèi)
案例：使用TSNE實(shí)現(xiàn)聚類(lèi)可視化
RFM模型分析
RFM模型，更深入了解你的客戶價(jià)值
RFM模型與市場(chǎng)策略
案例：航空公司客戶價(jià)值分析
關(guān)聯(lián)規(guī)則分析實(shí)戰(zhàn)
關(guān)聯(lián)規(guī)則概述
常用關(guān)聯(lián)規(guī)則算法
Apriori算法
發(fā)現(xiàn)頻繁集
生成關(guān)聯(lián)規(guī)則
FP-Growth算法
構(gòu)建FP樹(shù)
提取規(guī)則
時(shí)間序列分析
案例：使用apriori庫(kù)實(shí)現(xiàn)關(guān)聯(lián)分析
案例：中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
案例實(shí)戰(zhàn)
客戶流失預(yù)測(cè)和客戶挽留模型
銀行欠貸風(fēng)險(xiǎn)預(yù)測(cè)模型
結(jié)束：課程總結(jié)與問(wèn)題答疑。

尹傳亮老師的其它課程