Python數(shù)據(jù)分析與自動化辦公-3天

Python數(shù)據(jù)分析與自動化辦公
課程背景
互聯(lián)網(wǎng)的飛速發(fā)展伴隨著海量信息的產(chǎn)生，而海量信息的背后對應(yīng)的則是海量數(shù)據(jù)如何從這些海量數(shù)據(jù)中獲取有價值的信息來供人們學(xué)習(xí)和工作使用，這就不得不用到大數(shù)據(jù)挖掘和分析技術(shù)。數(shù)據(jù)分析作為大數(shù)據(jù)技術(shù)的核心一環(huán)，其重要性不言而喻。
在數(shù)據(jù)分析領(lǐng)域，Python語言以其簡單易用，并提供了優(yōu)秀、好用的第三方庫和數(shù)據(jù)分析的完整框架而深受數(shù)據(jù)分析人員的青睞?？梢哉f，Python 已經(jīng)當(dāng)仁不讓地成為了數(shù)據(jù)分析人員的一把“利器”。程序員想要進(jìn)入數(shù)據(jù)分析行業(yè)，首先要掌握 Python 數(shù)據(jù)分析技術(shù)，只有這樣才能在嚴(yán)峻的就業(yè)市場中具有較強(qiáng)的競爭力。
課程收益
通過本課程學(xué)習(xí)，達(dá)到如下目的：
能夠搭建自己的編程開發(fā)環(huán)境，并掌握Python編程的基礎(chǔ)語法知識、精髓其編程思想；
了解Numpy庫多維數(shù)組的創(chuàng)建、切片和索引方法，以及數(shù)組的運(yùn)算和存取。
學(xué)會使用Pandas庫完成數(shù)據(jù)的導(dǎo)入導(dǎo)出、數(shù)據(jù)整理和數(shù)據(jù)多角度分析的方法；
*學(xué)習(xí)正則表達(dá)式及如何爬取網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。
能結(jié)合課程學(xué)習(xí)到的方法和工具對本職工作中遇到的場景進(jìn)行針對性分析。
培訓(xùn)對象
本課程適用于數(shù)據(jù)分析人士、與數(shù)據(jù)分析工作相關(guān)的職場人士以及希望提高自動化辦公水平的其他職場人士。
?授課講師
張曉如 老師（微軟OFFICE大師級認(rèn)證）
?授課時間
3天（6小時/天）。
課程大綱PartⅠ、數(shù)據(jù)分析理念
*了解數(shù)據(jù)分析的方法、工具和流程。
什么是數(shù)據(jù)分析？
概念與目的
發(fā)現(xiàn)數(shù)據(jù)規(guī)律——找到可行方案——指導(dǎo)管理決策。
數(shù)據(jù)分析三階段
描述性分析，發(fā)生了何事
診斷性分析，為何發(fā)生
預(yù)測性分析，將發(fā)生何事數(shù)據(jù)分析方法
對比分析
同比分析
環(huán)比分析
回歸分析
聚類分析
時間序列分析
數(shù)據(jù)分析的工具
常規(guī)工具VS高大上工具
數(shù)據(jù)分析流程
步驟1：明確目的
確定分析目的：要解決什么樣的業(yè)務(wù)問題
確定分析思路：分解業(yè)務(wù)問題，構(gòu)建分析框架
步驟2：數(shù)據(jù)收集
明確收集數(shù)據(jù)范圍
確定收集來源
確定收集方法
步驟3：數(shù)據(jù)預(yù)處理
數(shù)據(jù)質(zhì)量評估
數(shù)據(jù)清洗、數(shù)據(jù)處理和變量處理
步驟4：數(shù)據(jù)分析
選擇合適的分析方法
構(gòu)建合適的分析模型
選擇合適的分析工具
步驟5：數(shù)據(jù)展示
選擇恰當(dāng)?shù)膱D表
選擇合適的可視化工具
步驟6：報表撰寫
選擇報告種類
完整的報告結(jié)構(gòu)
Part2、Python環(huán)境搭建
*搭建自己的Python編程開發(fā)環(huán)境。
認(rèn)識Python與環(huán)境搭建
What——什么是Python
Anaconda如何下載、安裝與配置
IDLE VS Jupyter Notebook VS Spyder
Python初體驗(yàn)——十秒鐘快速創(chuàng)建100個Excel工作薄并統(tǒng)一命名
Spyder界面介紹
Python文件的打開、編輯與保存
案例：認(rèn)識一下Python代碼的整體構(gòu)成
模塊的類別、安裝、導(dǎo)入
內(nèi)置模塊
第三方模塊
用PIP命令安裝、卸載、升級模塊
Import語句導(dǎo)入模塊
From語句導(dǎo)入模塊
實(shí)戰(zhàn)：搭建并配置自己的Python運(yùn)行環(huán)境。
Part3、Python編程基礎(chǔ)
*掌握Python編程思想、編程語句、數(shù)據(jù)結(jié)構(gòu)。
變量與數(shù)據(jù)類型
變量的賦值與命名規(guī)則
數(shù)值型：整型與浮點(diǎn)型
字符型：字符型的定義
邏輯型：1和0，或TRUE和FALSE
數(shù)據(jù)類型的查詢：TYPE函數(shù)
數(shù)據(jù)類型的運(yùn)算：數(shù)值型/字符型/邏輯型如何運(yùn)算
數(shù)據(jù)類型的轉(zhuǎn)換：Str()函數(shù)、int()函數(shù)、float()函數(shù)
數(shù)據(jù)結(jié)構(gòu)
列表（LIST）：如何定義/訪問/增加/修改/刪除
字典(DICTIONARY)：如何定義/訪問/增加/修改/刪除
元組：如何定義/訪問
集合：如何定義/訪問
編碼基本規(guī)則與流程控制語句
縮進(jìn)、注釋、其他規(guī)則
If語句——選擇結(jié)構(gòu)
For語句——循環(huán)結(jié)構(gòu)
While語句——循環(huán)結(jié)構(gòu)
循環(huán)結(jié)構(gòu)中的break語句和continue語句
控制語句的嵌套
函數(shù)
常用內(nèi)置函數(shù)：print()input()replace()/strip()/split()open()……
如何自定義函數(shù):def語句
練習(xí)：基本Python編程語句實(shí)戰(zhàn)操作。
Part4、NumPy入門與實(shí)戰(zhàn)
*學(xué)習(xí)NumPy庫對多維數(shù)組的創(chuàng)建、切片和索引方法，以及數(shù)組的運(yùn)算和存取。
ndarray多維數(shù)組
創(chuàng)建ndarray多維數(shù)組
Ndarray的對象屬性、數(shù)據(jù)類型及變換
數(shù)組的索引和切片
數(shù)組索引方法
數(shù)組切片方法
數(shù)組的運(yùn)
數(shù)組和標(biāo)量間的運(yùn)算
數(shù)組的條件邏輯運(yùn)算
統(tǒng)計運(yùn)算
數(shù)組內(nèi)如何排序
Part5、數(shù)據(jù)預(yù)處理
*學(xué)習(xí)Pandas庫和xlwing庫對文件的讀寫操作、數(shù)據(jù)整理的方法。
pandas數(shù)據(jù)結(jié)構(gòu)
Series對象：如何定義/訪問/增加/修改/刪除
DataFrame對象：如何定義/訪問/增加/修改/刪除
讀、寫數(shù)據(jù)
讀、寫文本文件
讀、寫Excel文件
讀、寫數(shù)據(jù)庫數(shù)據(jù)
讀、寫網(wǎng)頁
數(shù)據(jù)操作
數(shù)據(jù)的增、刪、改、查
NaN數(shù)據(jù)處理
時間數(shù)據(jù)的處理
數(shù)據(jù)的抽取：字段拆分、記錄抽取、隨機(jī)抽樣
數(shù)據(jù)的預(yù)處理
處理缺失值
去除重復(fù)數(shù)據(jù)
處理異常值
合并數(shù)據(jù)：追加合并、匹配合并
數(shù)據(jù)標(biāo)準(zhǔn)化：0-1標(biāo)準(zhǔn)化
數(shù)據(jù)的分組與聚合
數(shù)據(jù)分組
數(shù)據(jù)聚合
Part6、Pandas模塊數(shù)據(jù)分析
*學(xué)習(xí)Pandas中常用的數(shù)據(jù)分析方法。
基礎(chǔ)數(shù)據(jù)分析方法
批量升序/降序排序一個工作薄中的所有工作表
使用描述統(tǒng)計呈現(xiàn)數(shù)據(jù)的相關(guān)指標(biāo)（如平均值、極值、%分位值、峰度系數(shù)、偏度系數(shù)等）
進(jìn)階數(shù)據(jù)分析方法
制作數(shù)據(jù)透視表進(jìn)行交叉分析
分組對比分析（定性分組與定量分組）
使用相關(guān)系數(shù)判斷數(shù)據(jù)的相關(guān)性
數(shù)據(jù)建模進(jìn)行回歸分析
時間序列分析
Datetime模塊的時間數(shù)據(jù)類型
如何把字符型轉(zhuǎn)為時間型數(shù)據(jù)
時間序列如何索引和切片數(shù)據(jù)
如何創(chuàng)建介于某時間區(qū)間的時間數(shù)據(jù)（天/月/固定天數(shù)）
案例實(shí)操：超市交易數(shù)據(jù)清洗、查看員工業(yè)績波動、分析員工業(yè)績。
Part7、Python自動化辦公
*實(shí)操內(nèi)容，學(xué)員動手實(shí)操完成下述工作中常見的辦公場景需求。
文件夾管理
自動獲取文件夾中所有文件的名稱
文件夾內(nèi)容自動分類整理
自動清理文件夾中的重復(fù)文件
自動按照日期對圖片進(jìn)行分類并放置的不同文件夾中
文件合并、加密與轉(zhuǎn)換（PDF/WORD/PPT）
批量合并PDF文件
批量加密PDF文件
批量為PDF文件添加水印
批量生成多份WORD文檔（郵件合并）
將WORD文檔批量轉(zhuǎn)換為PDF文件
批量提取PPT中的文字
批量提取PPT中的圖片
如何將PPT導(dǎo)出為圖片和PDF
使用xlwing庫批量處理工作薄/工作表/行/列(EXCEL)
批量新建、保存、關(guān)閉工作薄
批量打開一個文件夾下的所有工作薄
批量重命名一個工作薄中的工作表名稱
批量打印工作薄中的指定工作表/指定頁
按條件將EXCEL中的多個工作表合并為一個工作表
按條件將EXCEL中的一個工作表拆分為多個工作薄
郵件自動化
電子郵箱設(shè)置
利用yagmail庫發(fā)送郵件基礎(chǔ)操作
賬戶設(shè)置、正文設(shè)置、發(fā)送設(shè)置
利用yagmail庫發(fā)送郵件高級操作
插入圖片
插入附件
插入鏈接
多個收件人
發(fā)網(wǎng)頁型正文
定時發(fā)送郵件
利用Imbox庫獲取郵件高級操作
獲取郵件主題、發(fā)件人、收件人
自動刪除郵件、歸檔郵件
自動下載附件
學(xué)習(xí)keyring庫保護(hù)郵件授權(quán)碼
Part8、爬取網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析
*學(xué)習(xí)正則表達(dá)式及如何爬取網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行數(shù)據(jù)分析。
認(rèn)識網(wǎng)頁結(jié)構(gòu)和網(wǎng)頁源代碼
查看源代碼
查看網(wǎng)頁結(jié)構(gòu)（區(qū)塊/列表/標(biāo)題/鏈接/元素）
正則表達(dá)式
認(rèn)識普通字符和元字符
使用正則表達(dá)式提取數(shù)據(jù)
Request模塊獲取網(wǎng)頁源代碼
Selenium模塊獲取網(wǎng)頁源代碼
Selenium模塊模擬鼠標(biāo)和鍵盤操作
爬蟲實(shí)戰(zhàn)：
爬取某網(wǎng)站圖書銷量排行榜數(shù)據(jù)并分析
爬取某網(wǎng)站關(guān)于某關(guān)鍵詞的實(shí)時新聞數(shù)據(jù)
爬取新聞熱點(diǎn)排行榜
特別注意
學(xué)員自備電腦（建議一人一臺），老師講解示范后學(xué)員操作練習(xí)；本課程內(nèi)容及順序可能根據(jù)學(xué)員需求及難度而調(diào)整。

張曉如老師的其它課程