Python數(shù)據(jù)分析與自動(dòng)化辦公-3天

Python數(shù)據(jù)分析與自動(dòng)化辦公
課程背景
互聯(lián)網(wǎng)的飛速發(fā)展伴隨著海量信息的產(chǎn)生，而海量信息的背后對(duì)應(yīng)的則是海量數(shù)據(jù)如何從這些海量數(shù)據(jù)中獲取有價(jià)值的信息來供人們學(xué)習(xí)和工作使用，這就不得不用到大數(shù)據(jù)挖掘和分析技術(shù)。數(shù)據(jù)分析作為大數(shù)據(jù)技術(shù)的核心一環(huán)，其重要性不言而喻。
在數(shù)據(jù)分析領(lǐng)域，Python語言以其簡(jiǎn)單易用，并提供了優(yōu)秀、好用的第三方庫(kù)和數(shù)據(jù)分析的完整框架而深受數(shù)據(jù)分析人員的青睞?？梢哉f，Python 已經(jīng)當(dāng)仁不讓地成為了數(shù)據(jù)分析人員的一把“利器”。程序員想要進(jìn)入數(shù)據(jù)分析行業(yè)，首先要掌握 Python 數(shù)據(jù)分析技術(shù)，只有這樣才能在嚴(yán)峻的就業(yè)市場(chǎng)中具有較強(qiáng)的競(jìng)爭(zhēng)力。
課程收益
通過本課程學(xué)習(xí)，達(dá)到如下目的：
能夠搭建自己的編程開發(fā)環(huán)境，并掌握Python編程的基礎(chǔ)語法知識(shí)、精髓其編程思想；
了解Numpy庫(kù)多維數(shù)組的創(chuàng)建、切片和索引方法，以及數(shù)組的運(yùn)算和存取。
學(xué)會(huì)使用Pandas庫(kù)完成數(shù)據(jù)的導(dǎo)入導(dǎo)出、數(shù)據(jù)整理和數(shù)據(jù)多角度分析的方法；
*學(xué)習(xí)正則表達(dá)式及如何爬取網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。
能結(jié)合課程學(xué)習(xí)到的方法和工具對(duì)本職工作中遇到的場(chǎng)景進(jìn)行針對(duì)性分析。
培訓(xùn)對(duì)象
本課程適用于數(shù)據(jù)分析人士、與數(shù)據(jù)分析工作相關(guān)的職場(chǎng)人士以及希望提高自動(dòng)化辦公水平的其他職場(chǎng)人士。
?授課講師
張曉如 老師（微軟OFFICE大師級(jí)認(rèn)證）
?授課時(shí)間
3天（6小時(shí)/天）。
課程大綱PartⅠ、數(shù)據(jù)分析理念
*了解數(shù)據(jù)分析的方法、工具和流程。
什么是數(shù)據(jù)分析？
概念與目的
發(fā)現(xiàn)數(shù)據(jù)規(guī)律——找到可行方案——指導(dǎo)管理決策。
數(shù)據(jù)分析三階段
描述性分析，發(fā)生了何事
診斷性分析，為何發(fā)生
預(yù)測(cè)性分析，將發(fā)生何事數(shù)據(jù)分析方法
對(duì)比分析
同比分析
環(huán)比分析
回歸分析
聚類分析
時(shí)間序列分析
數(shù)據(jù)分析的工具
常規(guī)工具VS高大上工具
數(shù)據(jù)分析流程
步驟1：明確目的
確定分析目的：要解決什么樣的業(yè)務(wù)問題
確定分析思路：分解業(yè)務(wù)問題，構(gòu)建分析框架
步驟2：數(shù)據(jù)收集
明確收集數(shù)據(jù)范圍
確定收集來源
確定收集方法
步驟3：數(shù)據(jù)預(yù)處理
數(shù)據(jù)質(zhì)量評(píng)估
數(shù)據(jù)清洗、數(shù)據(jù)處理和變量處理
步驟4：數(shù)據(jù)分析
選擇合適的分析方法
構(gòu)建合適的分析模型
選擇合適的分析工具
步驟5：數(shù)據(jù)展示
選擇恰當(dāng)?shù)膱D表
選擇合適的可視化工具
步驟6：報(bào)表撰寫
選擇報(bào)告種類
完整的報(bào)告結(jié)構(gòu)
Part2、Python環(huán)境搭建
*搭建自己的Python編程開發(fā)環(huán)境。
認(rèn)識(shí)Python與環(huán)境搭建
What——什么是Python
Anaconda如何下載、安裝與配置
IDLE VS Jupyter Notebook VS Spyder
Python初體驗(yàn)——十秒鐘快速創(chuàng)建100個(gè)Excel工作薄并統(tǒng)一命名
Spyder界面介紹
Python文件的打開、編輯與保存
案例：認(rèn)識(shí)一下Python代碼的整體構(gòu)成
模塊的類別、安裝、導(dǎo)入
內(nèi)置模塊
第三方模塊
用PIP命令安裝、卸載、升級(jí)模塊
Import語句導(dǎo)入模塊
From語句導(dǎo)入模塊
實(shí)戰(zhàn)：搭建并配置自己的Python運(yùn)行環(huán)境。
Part3、Python編程基礎(chǔ)
*掌握Python編程思想、編程語句、數(shù)據(jù)結(jié)構(gòu)。
變量與數(shù)據(jù)類型
變量的賦值與命名規(guī)則
數(shù)值型：整型與浮點(diǎn)型
字符型：字符型的定義
邏輯型：1和0，或TRUE和FALSE
數(shù)據(jù)類型的查詢：TYPE函數(shù)
數(shù)據(jù)類型的運(yùn)算：數(shù)值型/字符型/邏輯型如何運(yùn)算
數(shù)據(jù)類型的轉(zhuǎn)換：Str()函數(shù)、int()函數(shù)、float()函數(shù)
數(shù)據(jù)結(jié)構(gòu)
列表（LIST）：如何定義/訪問/增加/修改/刪除
字典(DICTIONARY)：如何定義/訪問/增加/修改/刪除
元組：如何定義/訪問
集合：如何定義/訪問
編碼基本規(guī)則與流程控制語句
縮進(jìn)、注釋、其他規(guī)則
If語句——選擇結(jié)構(gòu)
For語句——循環(huán)結(jié)構(gòu)
While語句——循環(huán)結(jié)構(gòu)
循環(huán)結(jié)構(gòu)中的break語句和continue語句
控制語句的嵌套
函數(shù)
常用內(nèi)置函數(shù)：print()input()replace()/strip()/split()open()……
如何自定義函數(shù):def語句
練習(xí)：基本Python編程語句實(shí)戰(zhàn)操作。
Part4、NumPy入門與實(shí)戰(zhàn)
*學(xué)習(xí)NumPy庫(kù)對(duì)多維數(shù)組的創(chuàng)建、切片和索引方法，以及數(shù)組的運(yùn)算和存取。
ndarray多維數(shù)組
創(chuàng)建ndarray多維數(shù)組
Ndarray的對(duì)象屬性、數(shù)據(jù)類型及變換
數(shù)組的索引和切片
數(shù)組索引方法
數(shù)組切片方法
數(shù)組的運(yùn)
數(shù)組和標(biāo)量間的運(yùn)算
數(shù)組的條件邏輯運(yùn)算
統(tǒng)計(jì)運(yùn)算
數(shù)組內(nèi)如何排序
Part5、數(shù)據(jù)預(yù)處理
*學(xué)習(xí)Pandas庫(kù)和xlwing庫(kù)對(duì)文件的讀寫操作、數(shù)據(jù)整理的方法。
pandas數(shù)據(jù)結(jié)構(gòu)
Series對(duì)象：如何定義/訪問/增加/修改/刪除
DataFrame對(duì)象：如何定義/訪問/增加/修改/刪除
讀、寫數(shù)據(jù)
讀、寫文本文件
讀、寫Excel文件
讀、寫數(shù)據(jù)庫(kù)數(shù)據(jù)
讀、寫網(wǎng)頁
數(shù)據(jù)操作
數(shù)據(jù)的增、刪、改、查
NaN數(shù)據(jù)處理
時(shí)間數(shù)據(jù)的處理
數(shù)據(jù)的抽?。鹤侄尾鸱?、記錄抽取、隨機(jī)抽樣
數(shù)據(jù)的預(yù)處理
處理缺失值
去除重復(fù)數(shù)據(jù)
處理異常值
合并數(shù)據(jù)：追加合并、匹配合并
數(shù)據(jù)標(biāo)準(zhǔn)化：0-1標(biāo)準(zhǔn)化
數(shù)據(jù)的分組與聚合
數(shù)據(jù)分組
數(shù)據(jù)聚合
Part6、Pandas模塊數(shù)據(jù)分析
*學(xué)習(xí)Pandas中常用的數(shù)據(jù)分析方法。
基礎(chǔ)數(shù)據(jù)分析方法
批量升序/降序排序一個(gè)工作薄中的所有工作表
使用描述統(tǒng)計(jì)呈現(xiàn)數(shù)據(jù)的相關(guān)指標(biāo)（如平均值、極值、%分位值、峰度系數(shù)、偏度系數(shù)等）
進(jìn)階數(shù)據(jù)分析方法
制作數(shù)據(jù)透視表進(jìn)行交叉分析
分組對(duì)比分析（定性分組與定量分組）
使用相關(guān)系數(shù)判斷數(shù)據(jù)的相關(guān)性
數(shù)據(jù)建模進(jìn)行回歸分析
時(shí)間序列分析
Datetime模塊的時(shí)間數(shù)據(jù)類型
如何把字符型轉(zhuǎn)為時(shí)間型數(shù)據(jù)
時(shí)間序列如何索引和切片數(shù)據(jù)
如何創(chuàng)建介于某時(shí)間區(qū)間的時(shí)間數(shù)據(jù)（天/月/固定天數(shù)）
案例實(shí)操：超市交易數(shù)據(jù)清洗、查看員工業(yè)績(jī)波動(dòng)、分析員工業(yè)績(jī)。
Part7、Python自動(dòng)化辦公
*實(shí)操內(nèi)容，學(xué)員動(dòng)手實(shí)操完成下述工作中常見的辦公場(chǎng)景需求。
文件夾管理
自動(dòng)獲取文件夾中所有文件的名稱
文件夾內(nèi)容自動(dòng)分類整理
自動(dòng)清理文件夾中的重復(fù)文件
自動(dòng)按照日期對(duì)圖片進(jìn)行分類并放置的不同文件夾中
文件合并、加密與轉(zhuǎn)換（PDF/WORD/PPT）
批量合并PDF文件
批量加密PDF文件
批量為PDF文件添加水印
批量生成多份WORD文檔（郵件合并）
將WORD文檔批量轉(zhuǎn)換為PDF文件
批量提取PPT中的文字
批量提取PPT中的圖片
如何將PPT導(dǎo)出為圖片和PDF
使用xlwing庫(kù)批量處理工作薄/工作表/行/列(EXCEL)
批量新建、保存、關(guān)閉工作薄
批量打開一個(gè)文件夾下的所有工作薄
批量重命名一個(gè)工作薄中的工作表名稱
批量打印工作薄中的指定工作表/指定頁
按條件將EXCEL中的多個(gè)工作表合并為一個(gè)工作表
按條件將EXCEL中的一個(gè)工作表拆分為多個(gè)工作薄
郵件自動(dòng)化
電子郵箱設(shè)置
利用yagmail庫(kù)發(fā)送郵件基礎(chǔ)操作
賬戶設(shè)置、正文設(shè)置、發(fā)送設(shè)置
利用yagmail庫(kù)發(fā)送郵件高級(jí)操作
插入圖片
插入附件
插入鏈接
多個(gè)收件人
發(fā)網(wǎng)頁型正文
定時(shí)發(fā)送郵件
利用Imbox庫(kù)獲取郵件高級(jí)操作
獲取郵件主題、發(fā)件人、收件人
自動(dòng)刪除郵件、歸檔郵件
自動(dòng)下載附件
學(xué)習(xí)keyring庫(kù)保護(hù)郵件授權(quán)碼
Part8、爬取網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析
*學(xué)習(xí)正則表達(dá)式及如何爬取網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。
認(rèn)識(shí)網(wǎng)頁結(jié)構(gòu)和網(wǎng)頁源代碼
查看源代碼
查看網(wǎng)頁結(jié)構(gòu)（區(qū)塊/列表/標(biāo)題/鏈接/元素）
正則表達(dá)式
認(rèn)識(shí)普通字符和元字符
使用正則表達(dá)式提取數(shù)據(jù)
Request模塊獲取網(wǎng)頁源代碼
Selenium模塊獲取網(wǎng)頁源代碼
Selenium模塊模擬鼠標(biāo)和鍵盤操作
爬蟲實(shí)戰(zhàn)：
爬取某網(wǎng)站圖書銷量排行榜數(shù)據(jù)并分析
爬取某網(wǎng)站關(guān)于某關(guān)鍵詞的實(shí)時(shí)新聞數(shù)據(jù)
爬取新聞熱點(diǎn)排行榜
特別注意
學(xué)員自備電腦（建議一人一臺(tái)），老師講解示范后學(xué)員操作練習(xí)；本課程內(nèi)容及順序可能根據(jù)學(xué)員需求及難度而調(diào)整。

張曉如老師的其它課程