Hadoop關(guān)鍵技術(shù) Spark內(nèi)存計(jì)算框架
Hadoop關(guān)鍵技術(shù) Spark內(nèi)存計(jì)算框架詳細(xì)內(nèi)容
Hadoop關(guān)鍵技術(shù) Spark內(nèi)存計(jì)算框架
Hadoop關(guān)鍵技術(shù)與Spark內(nèi)存計(jì)算框架
本課程將介紹目前大數(shù)據(jù)的核心技術(shù)和應(yīng)用實(shí)例，并以實(shí)踐操作和項(xiàng)目式教學(xué)的方式著重講解Hadoop和Spark的基本原理和應(yīng)用。
一、Hadoop關(guān)鍵技術(shù)
學(xué)習(xí)如何安裝運(yùn)行各種大數(shù)據(jù)軟件以及如何進(jìn)行初級編程實(shí)踐，包括Hadoop、HDFS、MapReduce等安裝、操作和編程。其中會介紹一些Hadoop的應(yīng)用案例，并通過一些實(shí)驗(yàn)初步了解Hadoop的操作。
第1章 Hadoop概論1.1 緣于搜索的Hadoop1.1.1 Hadoop簡介1.1.2 Hadoop發(fā)展1.2 大數(shù)據(jù)、Hadoop的關(guān)系1.3 Hadoop設(shè)計(jì)思想與架構(gòu)1.3.1 數(shù)據(jù)存儲與切分1.3.2 MapReduce模型1.3.3 MPI和MapReduce第2章 Hadoop存儲系統(tǒng)2.1 基本概念2.1.1 NameNode2.1.2 DateNode2.1.3 客戶端2.1.4 塊2.2 HDFS的特性和目標(biāo)2.2.1 HDFS的特性2.2.2 HDFS的目標(biāo)2.3 HDFS架構(gòu)2.3.1 Master/Slave架構(gòu)2.3.2 NameNode和Secondary NameNode通信模型2.3.3 文件存取機(jī)制2.4 HDFS核心設(shè)計(jì)2.5 HDFS權(quán)限管理第3章 HDFS的使用3.1 HDFS環(huán)境準(zhǔn)備3.2 HDFS命令的使用3.3 HDFS Java API的使用方法第4章 MapReduce計(jì)算框架4.1 Hadoop MapReduce簡介4.2 MapReduce模型4.2.1 MapReduce編程模型4.2.2 MapReduce實(shí)現(xiàn)原理
第5章 Hadoop命令系統(tǒng)5.1 Hadoop命令系統(tǒng)的組成5.2 用戶命令
第6章 Hadoop作業(yè)調(diào)度系統(tǒng)6.1 作業(yè)調(diào)度概述6.1.1 相關(guān)概念6.1.2 作業(yè)調(diào)度流程6.1.3 集群資源組織與管理6.1.4 隊(duì)列控制和權(quán)限管理6.1.5 插件式調(diào)度框架
第7章 Hadoop集群搭建7.1 Hadoop版本的選擇7.2 集群基礎(chǔ)硬件需求7.3 安裝Hadoop實(shí)驗(yàn)
實(shí)驗(yàn)一：熟悉常用的 Linux 操作和 Hadoop 操作
實(shí)驗(yàn)二：熟悉常用的 HDFS 操作
實(shí)驗(yàn)三：熟悉常用的 HBase 操作
實(shí)驗(yàn)四：NoSQL 和關(guān)系數(shù)據(jù)庫的操作比較
實(shí)驗(yàn)五：MapReduce 初級編程實(shí)踐
二、Spark內(nèi)存計(jì)算框架
介紹為什么會出現(xiàn)Spark？Spark是什么？Spark能做什么？還有Spark安裝、使用以及編程基礎(chǔ)，并初步了解Spark SQL等核心技術(shù)。其中穿插一些Spark的典型應(yīng)用案例，并通過動手實(shí)驗(yàn)初步體驗(yàn)Spark的應(yīng)用。
第8章 Spark概述8．3．1 Spark的出現(xiàn)與發(fā)展8．3．2 Spark協(xié)議族8．3．3 Spark的應(yīng)用及優(yōu)勢第9章 Spark原理9．1 Spark工作原理9．2 Spark架構(gòu)及運(yùn)行機(jī)制9．2．1 Spark系統(tǒng)架構(gòu)與節(jié)點(diǎn)角色9．2．2 Spark作業(yè)執(zhí)行過程9．2．3 應(yīng)用初始化9．2．4 構(gòu)建RDD有向無環(huán)圖9．2．5 RDD有向無環(huán)圖拆分
第10章 RDD算子10．1 創(chuàng)建算子10．1．1 基于集合類型數(shù)據(jù)創(chuàng)建RDD10．1．2 基于外部數(shù)據(jù)創(chuàng)建RDD10．2 transformation變換算子10．2．1對Value型RDD進(jìn)行變換10．2．2對Key/ Value型RDD進(jìn)行變換10.3 action行動算子10．3．1 數(shù)據(jù)運(yùn)算類行動算子10．3．2 存儲型行動算子
第11章 安裝和使用Spark11．1 安裝Spark11．2 編寫和運(yùn)行Spark程序?qū)嶒?yàn)：
實(shí)驗(yàn)1：Linux系統(tǒng)基本命令和Hadoop使用方法
實(shí)驗(yàn)2：RDD基本操作
實(shí)驗(yàn)3：迭代式算法編程實(shí)踐
實(shí)驗(yàn)4：自定義分匙、排序、合并
實(shí)驗(yàn)5：利用DataFrame實(shí)現(xiàn)數(shù)據(jù)庫的讀寫
實(shí)驗(yàn) 6：利用 Spark Streaming 實(shí)現(xiàn)流數(shù)據(jù)處理
趙衛(wèi)東老師的其它課程
大數(shù)據(jù)平臺運(yùn)維管理 06.03
大數(shù)據(jù)平臺運(yùn)維管理1.運(yùn)維監(jiān)控系統(tǒng)的設(shè)計(jì)1.1基于ISO/IEC20000和ITILv3理論1.2遵循ITSS、GB/T28827-2012系列運(yùn)行維護(hù)服務(wù)國家標(biāo)準(zhǔn)2.建立集成化的資源運(yùn)行狀態(tài)監(jiān)控管理系統(tǒng)2.1平臺運(yùn)行狀態(tài)和信息化資源的統(tǒng)一化、可視化、可控化管理2.2基于資源的統(tǒng)一化管理2.3面向基礎(chǔ)資源和面向業(yè)務(wù)應(yīng)用兩個(gè)層面的監(jiān)控3.服務(wù)運(yùn)行監(jiān)控管理3.1
講師：趙衛(wèi)東詳情
銀行數(shù)據(jù)應(yīng)用實(shí)踐課程大綱培訓(xùn)天數(shù):3‐4日1.銀行數(shù)據(jù)應(yīng)用的問題?互聯(lián)網(wǎng)金融尤其依賴數(shù)據(jù)??金融業(yè)本身就是基于數(shù)據(jù)與信息的產(chǎn)業(yè)?數(shù)據(jù)分析推動了銀行的轉(zhuǎn)型與創(chuàng)新??未來互聯(lián)網(wǎng)銀行模式??傳統(tǒng)銀行與互聯(lián)網(wǎng)金融的結(jié)合??目前的問題:??數(shù)據(jù)特點(diǎn)與組成???數(shù)量不夠大;維度不夠多???核心數(shù)據(jù)、外圍數(shù)據(jù)、常規(guī)渠道的數(shù)據(jù)、社會化的數(shù)據(jù)等??技術(shù)不足???互聯(lián)網(wǎng)的流行使
講師：趙衛(wèi)東詳情
智慧營銷 06.03
智慧營銷1.智慧商務(wù)的發(fā)展-智能技術(shù)前沿-認(rèn)知計(jì)算2.新時(shí)代的客戶管理2.0-客戶的個(gè)性化需求-客戶智能-工業(yè)4.0與C2B商業(yè)模式3.商務(wù)智能與營銷智慧-業(yè)務(wù)分析與優(yōu)化-營銷智能-數(shù)字營銷4.智慧營銷的挑戰(zhàn)-客戶洞察-精準(zhǔn)營銷-一對一營銷5.智慧營銷中的數(shù)據(jù)分析技術(shù)-電子推薦技術(shù)-大數(shù)據(jù)技術(shù)-文本挖掘技術(shù)（社會關(guān)系網(wǎng)絡(luò)營銷）-數(shù)據(jù)驅(qū)動的電商客戶分析-IBM
講師：趙衛(wèi)東詳情
智能機(jī)器人 06.03
智能機(jī)器人培訓(xùn)大綱此部分內(nèi)容從人工智能的起源和發(fā)展談起，分析人工智能技術(shù)在智能機(jī)器的典型應(yīng)用，并結(jié)合很多具體的應(yīng)用案例，說明智能機(jī)器的核心技術(shù)及其應(yīng)用。人工智能和智能機(jī)器人工智能的起源與發(fā)展人工智能/機(jī)器學(xué)習(xí)/深度學(xué)習(xí)認(rèn)知科學(xué)的發(fā)展人工智能的廣泛應(yīng)用無人駕車棋類競技推薦系統(tǒng)自然語言處理圖像識別文本語義處理各類機(jī)器人逐步實(shí)用化智能機(jī)器的興起個(gè)人信息助手智慧家居
講師：趙衛(wèi)東詳情
智能時(shí)代：運(yùn)營商大數(shù)據(jù)之路運(yùn)營商數(shù)據(jù)概述運(yùn)營商與傳統(tǒng)互聯(lián)網(wǎng)數(shù)據(jù)比較移動大數(shù)據(jù)運(yùn)營商大數(shù)據(jù)優(yōu)勢運(yùn)營商開放的數(shù)據(jù)產(chǎn)品征信產(chǎn)品行業(yè)洞察和指數(shù)類產(chǎn)品APP指數(shù)旅游指數(shù)沃信指數(shù)互聯(lián)網(wǎng)廣告與精準(zhǔn)營銷運(yùn)營商客戶分群客戶標(biāo)簽體系行業(yè)標(biāo)簽產(chǎn)品運(yùn)營商目標(biāo)營銷與電子推薦運(yùn)營商大數(shù)據(jù)產(chǎn)品解析數(shù)據(jù)源大數(shù)據(jù)基礎(chǔ)平臺架構(gòu)大數(shù)據(jù)應(yīng)用實(shí)時(shí)用戶行為分析運(yùn)營商大數(shù)據(jù)可視化運(yùn)營商大數(shù)據(jù)安全管理運(yùn)營
講師：趙衛(wèi)東詳情
智能制造 工業(yè)大數(shù)據(jù) 06.03
智能制造工業(yè)智能大數(shù)據(jù)【課程目標(biāo)】大數(shù)據(jù)時(shí)代已經(jīng)來臨，大數(shù)據(jù)戰(zhàn)略已經(jīng)上升到國家意志，擁有大數(shù)據(jù)的規(guī)模和利用大數(shù)據(jù)的能力已經(jīng)成為國家競爭力的一種體現(xiàn)，大數(shù)據(jù)的重要性已經(jīng)毋庸置疑。本課程圍繞大數(shù)據(jù)產(chǎn)業(yè)，從大數(shù)據(jù)的基本面出發(fā)，到大數(shù)據(jù)應(yīng)用價(jià)值；從大數(shù)據(jù)的發(fā)展現(xiàn)狀，到行業(yè)發(fā)展趨勢及大數(shù)據(jù)市場預(yù)測；從大數(shù)據(jù)的商業(yè)模式，再到大數(shù)據(jù)的戰(zhàn)略和大數(shù)據(jù)思維。并重點(diǎn)探討了智能制造
講師：趙衛(wèi)東詳情
人工智能-機(jī)器人培訓(xùn) 06.03
解構(gòu)新型產(chǎn)業(yè)推動園區(qū)發(fā)展——人工智能+機(jī)器人第一部分未來三年人工智能發(fā)展趨勢與產(chǎn)業(yè)格局1.驅(qū)動人工智能發(fā)展的動因海量數(shù)據(jù)為人工智能發(fā)展提供燃料計(jì)算力的提升大幅推動人工智能發(fā)展深度學(xué)習(xí)突破人工智能算法瓶頸政策利好使人工智能發(fā)展如火如荼2.人工智能產(chǎn)業(yè)鏈構(gòu)成人工智能在各細(xì)分領(lǐng)域創(chuàng)業(yè)的熱度自動駕駛領(lǐng)域迎來創(chuàng)業(yè)熱潮產(chǎn)業(yè)鏈的組成：基礎(chǔ)支撐層.技術(shù)應(yīng)用層和方案集成層3.
講師：趙衛(wèi)東詳情
人工智能培訓(xùn)綱要 06.03
人工智能（3天）客戶對人工智能的需求：行業(yè)大發(fā)展人工智能的發(fā)展人工智能的內(nèi)涵人工智能的分類人工智能企業(yè)的主要應(yīng)用領(lǐng)域人工智能的行業(yè)發(fā)展分析驅(qū)動人工智能發(fā)展的動因中國制造助理人工智能互聯(lián)網(wǎng)+促進(jìn)人工智能發(fā)展人工智能發(fā)展規(guī)劃2.技術(shù)框架硬件架構(gòu)：引領(lǐng)場景通用AI時(shí)代主流的人工智能開源框架3.圖像處理圖像理解圖像識別圖像分類及檢索（SVM或者CNN）人臉識別技術(shù)及
講師：趙衛(wèi)東詳情
深度學(xué)習(xí) 06.03
深度學(xué)習(xí)深度學(xué)習(xí)DeepLearning基礎(chǔ)和基本思想1.人工智能概述、計(jì)算智能、類腦智能3.機(jī)器學(xué)習(xí)概述、記憶學(xué)習(xí)、歸納學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)4.深度學(xué)習(xí)的前生今世、發(fā)展趨勢5.人工神經(jīng)網(wǎng)絡(luò)、前饋神經(jīng)網(wǎng)絡(luò)、BP算法、Hessian矩陣、結(jié)構(gòu)性特征表示深度學(xué)習(xí)DeepLearning基本框架結(jié)構(gòu)1.Caffe????????2.Tensorflow3.Torch??
講師：趙衛(wèi)東詳情
深度學(xué)習(xí)培訓(xùn)大綱時(shí)間安排課程內(nèi)容第一天上午：機(jī)器學(xué)習(xí)基礎(chǔ)1.1、線性代數(shù)1）矩陣運(yùn)算2）向量運(yùn)算3）SVD4）PCA）1.2、概率信息論概論分布2）期望、方差、協(xié)方差3）貝葉斯4）結(jié)構(gòu)概論模型）1.3、數(shù)值優(yōu)化：深度學(xué)習(xí)基礎(chǔ)2.1、深度學(xué)習(xí)介紹1）發(fā)展歷史2）主要應(yīng)用2.2、感知器2.3、人工神經(jīng)網(wǎng)絡(luò)2.4、前饋神經(jīng)網(wǎng)絡(luò)2.5、BP算法2.6、Hessian
講師：趙衛(wèi)東詳情
- [潘文富] 中小企業(yè)招聘廣告的內(nèi)容完
- [潘文富] 優(yōu)化考核方式，減少員工抵
- [潘文富] 廠家心目中的理想化經(jīng)銷商
- [潘文富] 經(jīng)銷商的產(chǎn)品驅(qū)動與管理驅(qū)
- [潘文富] 消費(fèi)行為的背后
- [王曉楠] 輔警轉(zhuǎn)正方式，定向招錄成為
- [王曉楠] 西安老師招聘要求，西安各區(qū)
- [王曉楠] 西安中小學(xué)教師薪資福利待遇
- [王曉楠] 什么是備案制教師？備案制教
- [王曉楠] 2024年陜西省及西安市最
- 1社會保障基礎(chǔ)知識(ppt) 21158
- 2安全生產(chǎn)事故案例分析(ppt) 20229
- 3行政專員崗位職責(zé) 19044
- 4品管部崗位職責(zé)與任職要求 16222
- 5員工守則 15459
- 6軟件驗(yàn)收報(bào)告 15393
- 7問卷調(diào)查表(范例) 15113
- 8工資發(fā)放明細(xì)表 14554
- 9文件簽收單 14194
