大數(shù)據(jù)技術(shù)及應(yīng)用

《大數(shù)據(jù)技術(shù)及應(yīng)用》課程教學(xué)大綱
一 、課程基本信息
課程名稱
大數(shù)據(jù)技術(shù)及應(yīng)用（英文名稱） Big data technology and App lic
ation
課程學(xué)時(shí)
理論 8 小時(shí)，實(shí)驗(yàn) 4 小時(shí)
授課方式
多媒體+實(shí)踐
考核方式
實(shí)踐考試+課程論文
開課單位
先修課程
C 語言程序設(shè)計(jì)；Java 程序設(shè)計(jì)；數(shù)據(jù)結(jié)構(gòu)；Linux 操作系統(tǒng)；
后續(xù)課程
大數(shù)據(jù)算法；
適用專業(yè)
數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、人工智能、模式識(shí)別與人工智能；信息
技術(shù)-職業(yè)技術(shù)教育方向
二 、課程的性質(zhì) 、 目的和任務(wù)
《大數(shù)據(jù)技術(shù)及應(yīng)用》 是大數(shù)據(jù)管理及應(yīng)用專業(yè)人員一 門核心課程 ，也是 該專業(yè)的導(dǎo)入課程 ，以引導(dǎo)學(xué)生對(duì)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)與應(yīng)用有一個(gè)全面和
概括性的了解。
通過本課程學(xué)習(xí)，使學(xué)生能較系統(tǒng)地掌握大數(shù)據(jù)的基本知識(shí)、原理和方法， 初步具備大數(shù)據(jù)的應(yīng)用、開發(fā)的能力 ，為從事大數(shù)據(jù)分析、建模、可視化奠定 基礎(chǔ) 。 目的是讓學(xué)生了解并掌握四個(gè)領(lǐng)域即大數(shù)據(jù)系統(tǒng)的起源及系統(tǒng)特征；大 數(shù)據(jù)系統(tǒng)的架構(gòu)設(shè)計(jì)及功能目標(biāo)設(shè)計(jì)；大數(shù)據(jù)系統(tǒng)程序開發(fā)；企業(yè)大數(shù)據(jù)案例 分析的內(nèi)容，同時(shí)利用真機(jī)實(shí)驗(yàn)環(huán)節(jié)以及大數(shù)據(jù)實(shí)訓(xùn)一體機(jī)來提升學(xué)生對(duì)大數(shù)
據(jù)開發(fā)的實(shí)踐能力；
本課程重點(diǎn)讓學(xué)生掌握三個(gè)方面的內(nèi)容：
（1）基礎(chǔ)篇： 主要包括 HDFS 使用操作、MapReduce 開發(fā)； 、HBase 數(shù)據(jù)庫
的開發(fā)；
（2）核心篇： YARN 架構(gòu)、Spark 集群計(jì)算；
（3）應(yīng)用篇： 醫(yī)藥大數(shù)據(jù)案例分析。
三 、課程教學(xué)目標(biāo)
（一）總體目標(biāo)
掌握大數(shù)據(jù)分析的基本理論、技術(shù)， 了解大數(shù)據(jù)分析的典型應(yīng)用場(chǎng)景、掌
握如何分析數(shù)據(jù)、解決問題、完成相關(guān)研究的方法 ，具有創(chuàng)新和獨(dú)立思意識(shí)。
（二） 具體目標(biāo)
通過本課程的學(xué)習(xí) ，學(xué)生應(yīng)達(dá)到如下目標(biāo)：
1．知識(shí)與技能
（1） 了解大數(shù)據(jù)平臺(tái)搭建的步驟，掌握大數(shù)據(jù)的存儲(chǔ)、分析的原理；
（2） 了解大數(shù)據(jù)分析的典型應(yīng)用場(chǎng)景，例如文本挖掘、Web 廣告、聚類、
推薦系統(tǒng)、Web 鏈接分析、社交網(wǎng)絡(luò)大數(shù)據(jù)分析、頻繁項(xiàng)集；
（3） 理解大數(shù)據(jù)分析和挖掘的基本理論技術(shù)；
（4） 能獲取、處理、分析和應(yīng)用大數(shù)據(jù)資源。
2．過程與方法
（1）經(jīng)過對(duì)大數(shù)據(jù)領(lǐng)域的探索，學(xué)會(huì)用大數(shù)據(jù)思維認(rèn)識(shí)、分析和解決問題。
3．情感與態(tài)度
（1）通過探究活動(dòng)，養(yǎng)成認(rèn)真嚴(yán)謹(jǐn)?shù)膶W(xué)習(xí)態(tài)度；
（2）通過師生、生生互動(dòng)交流 ，體驗(yàn)大數(shù)據(jù)的價(jià)值和魅力。
四 、教學(xué)內(nèi)容及教學(xué)基本要求
第一講 大數(shù)據(jù)概述
（一）教學(xué)目的
通過本章的學(xué)習(xí)掌握大數(shù)據(jù)基本概念 ，理解大數(shù)據(jù)的處理流程， 了解大數(shù)
據(jù)在行業(yè)中的應(yīng)用和未來趨勢(shì)。
（二） 教學(xué)要求
1、解釋大數(shù)據(jù)基本概念；
2、分析大數(shù)據(jù)的分析處理流程；
3、知道大數(shù)據(jù)技術(shù)應(yīng)用場(chǎng)景和前景。
（三）教學(xué)內(nèi)容
第一節(jié)大數(shù)據(jù)的概述知識(shí)要點(diǎn)： 大數(shù)據(jù)的定義和特征。
第二節(jié)大數(shù)據(jù)分析的過程、技術(shù)及工具知識(shí)要點(diǎn)： 大數(shù)據(jù)的采集、存儲(chǔ)方
式、分析技術(shù)、展示及應(yīng)用。
第三節(jié)大數(shù)據(jù)技術(shù)的發(fā)展前景知識(shí)要點(diǎn)： 大數(shù)據(jù)技術(shù)不斷發(fā)展， 出現(xiàn)更多
的應(yīng)用項(xiàng)目。
（四）教學(xué)重點(diǎn)與難點(diǎn)
1．教學(xué)重點(diǎn)： 大數(shù)據(jù)的基本概念。
2．教學(xué)難點(diǎn)： 大數(shù)據(jù)分析處理的流程。
第二講 大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)
（一）教學(xué)目的
能分析大數(shù)據(jù)集群 ， 闡明其基本原理； 在虛擬化計(jì)算機(jī)系統(tǒng)中安裝
CentOS 7 操作系統(tǒng) ，通過 SecureCRT/Xshell 訪問 CentOS 7 操作系統(tǒng) ， 以 三臺(tái)節(jié)點(diǎn)機(jī)搭建大數(shù)據(jù)集群環(huán)境。
（二）教學(xué)要求
1.掌握虛擬機(jī)軟件 VMware Workstation 10 及以上和終端仿真程序 SecureCRT/Xshell 的下載、安裝和使用方法；
2.掌握 VMware Workstation 10 中安裝 CentOS 7 的方法；
3.理解大數(shù)據(jù)集群相關(guān)組成和技術(shù) ，部署大數(shù)據(jù)集群。
（三）教學(xué)內(nèi)容
第一節(jié) CentOS 大數(shù)據(jù)集群系統(tǒng)的組成知識(shí)要點(diǎn)：CentOS 概念、CentOS 集群系統(tǒng)拓?fù)鋱D。
第二節(jié) 操作實(shí)踐：大數(shù)據(jù)集群的部署知識(shí)要點(diǎn)：集群規(guī)劃、網(wǎng)絡(luò)配置、 安全配置、時(shí)間同步、SSH 登錄。
（四）教學(xué)重點(diǎn)與難點(diǎn)
1．教學(xué)重點(diǎn)：VMwareWorkstation、CentOS 7、SecureCRT 的安裝和使 用。
2．教學(xué)難點(diǎn)： 大數(shù)據(jù)集群的部署。
第三講 Hadoop 分布式系統(tǒng)
（一）教學(xué)目的
Hadoop 的使用需要搭建一個(gè)完整的分布式系統(tǒng)，在理解 Hadoop 工作原 理的基礎(chǔ)上配置和運(yùn)行 Hadoop。
（二）教學(xué)要求
1.說明 Hadoop 的運(yùn)行原理。
2.掌握 Hadoop 環(huán)境的安裝與配置。
（三）教學(xué)內(nèi)容
第一節(jié) Hadoop 相關(guān)技術(shù)及生態(tài)系統(tǒng)知識(shí)要點(diǎn)：構(gòu)成 Hadoop 生態(tài)系統(tǒng) 的相關(guān)技術(shù)。
第二節(jié) 操作實(shí)踐： Hadoop 安裝與配置知識(shí)要點(diǎn)： JDK 安裝、Hadoop 安裝、Hadoop 運(yùn)行、瀏覽 Hadoop 頁面。
（四）教學(xué)重點(diǎn)與難點(diǎn)
1．教學(xué)重點(diǎn)：Hadoop 安裝過程中 hadoop-en v.sh、yarn-en v.sh、slaves、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件 的配置。
2．教學(xué)難點(diǎn)： Hadoop 安裝過程中參數(shù)的配置。
第四講 HDFS 分布式文件系統(tǒng)
（一）教學(xué)目的
Hadoop 采用分布式 HDFS，通過本章學(xué)習(xí)掌握 HDFS 的基本原理，掌握 HDFS
相關(guān)的操作命令，并能夠應(yīng)用 Java 對(duì) HDFS 進(jìn)行編程。（二） 教學(xué)要求
1 ． 了解 HDFS 的特點(diǎn)、架構(gòu)、數(shù)據(jù)讀取過程、數(shù)據(jù)寫入過程。
2. 掌握 HDFS 操作。
（三）教學(xué)內(nèi)容
第一節(jié) HDFS 知識(shí)要點(diǎn)： HDFS 設(shè)計(jì)前提和設(shè)計(jì)目標(biāo)、Namenode 和 Datanode、文件系統(tǒng)的名字空間、數(shù)據(jù)復(fù)制、HDFS 讀寫流程。
第二節(jié) HDFS 操作實(shí)踐知識(shí)要點(diǎn)： HDFSShell、HDFS JavaAPI、Eclipse 開發(fā)環(huán)境、綜合實(shí)例。
（四）教學(xué)重點(diǎn)與難點(diǎn)
1．教學(xué)重點(diǎn)： HDFS 的原理、數(shù)據(jù)讀寫的原理。
2．教學(xué)難點(diǎn):HDFS 綜合實(shí)例。
第五講 分布式計(jì)算系統(tǒng)—MapReduce 及其應(yīng)用實(shí)例
（一）教學(xué)目的
Hadoop 采用分布式計(jì)算系統(tǒng) MapReduce，通過本章的學(xué)習(xí)，掌握 MapReduce 的基本原理、架構(gòu)以及工作機(jī)制 ，并且掌握 MapReduce 的編程操作，從而運(yùn)用 到實(shí)處。
（二）教學(xué)要求
1.分析 MapReduce 的基本原理、架構(gòu)以及工作機(jī)制；
2.操作 MapReduce WordCount 編程和 MapReduce 倒排索引編程 ，實(shí)現(xiàn)其應(yīng) 用。
（三）教學(xué)內(nèi)容
第一節(jié) MapReduce 簡(jiǎn)介知識(shí)要點(diǎn)： MapReduce 架構(gòu)、原理、工作機(jī)制。
第二節(jié) MapReduce 操作實(shí)踐知識(shí)要點(diǎn)： MapReduceWordCount 編程實(shí)例、 MapReduce 倒排索引編程實(shí)例。
（四）教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn)： MapReduce 的基本原理、架構(gòu)以及工作機(jī)制等知識(shí)內(nèi)容。
2.教學(xué)難點(diǎn)：MapReduce WordCount 編程實(shí)例；MapReduce 倒排索引編程實(shí) 例
實(shí)踐課 醫(yī)藥大數(shù)據(jù)案例分析
（一）教學(xué)目的
根據(jù)大數(shù)據(jù)系統(tǒng)的需求分析 ，在 Hadoop 框架下 ，基于 Hbase 數(shù)據(jù)庫，綜合 應(yīng)用各項(xiàng)關(guān)鍵技術(shù)完成大數(shù)據(jù)系統(tǒng)的功能。
（二）教學(xué)要求
能在 Hadoop 框架下，綜合大數(shù)據(jù)應(yīng)用系統(tǒng)編程的原理、技術(shù) ，呈現(xiàn)既定的 運(yùn)行結(jié)果。
（三） 教學(xué)內(nèi)容
第一節(jié) 項(xiàng)目概述知識(shí)要點(diǎn)： 醫(yī)藥電商大數(shù)據(jù)分析平臺(tái)的形成背景。
第二節(jié) 功能需求知識(shí)要點(diǎn)：流量分析、經(jīng)營(yíng)狀況分析、大數(shù)據(jù)可視化系統(tǒng)。 第三節(jié) 軟件關(guān)鍵技術(shù)知識(shí)要點(diǎn)： 醫(yī)藥電商大數(shù)據(jù)分析平臺(tái)的關(guān)鍵技術(shù)。
第四節(jié) 效果展示知識(shí)要點(diǎn)： 各類分析效果圖。
第五節(jié) 系統(tǒng)構(gòu)架設(shè)計(jì)知識(shí)要點(diǎn)：系統(tǒng)的組成、協(xié)作方式、網(wǎng)絡(luò)拓?fù)洹⒔ㄔO(shè) 方案。
第六節(jié) 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)知識(shí)要點(diǎn)：設(shè)計(jì)流量數(shù)據(jù)表、訂單數(shù)據(jù)表、會(huì)員評(píng)價(jià) 表。
第七節(jié) 數(shù)據(jù)分析知識(shí)要點(diǎn)：采集、分析數(shù)據(jù)。第八節(jié) 數(shù)據(jù)展示知識(shí)要點(diǎn)： 結(jié)果數(shù)據(jù)展示代碼。
（四）教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn)： 大數(shù)據(jù)系統(tǒng)的需求分析、Hbase 數(shù)據(jù)庫的建立、程序的設(shè)計(jì) 與實(shí)現(xiàn)。
2.教學(xué)難點(diǎn)： 程序的設(shè)計(jì)與實(shí)現(xiàn)。
五 、各教學(xué)環(huán)節(jié)學(xué)時(shí)分配
章節(jié)
教學(xué)內(nèi)容
各教學(xué)環(huán)節(jié)學(xué)時(shí)分配
合 計(jì)
講 授
練 習(xí)
研 討
在線
學(xué)習(xí)
課 外
其 它
第一講
大數(shù)據(jù)概論
1
1
第二講
大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)
1
1
第三講
Hadoop 分布式系統(tǒng)
2
2
第四講
HDFS 分布式文件系統(tǒng)
1
1
2
第五講
MapReduce 分布式計(jì)算
1.5
0.5
2
第 6 講
醫(yī)藥大數(shù)據(jù)案例分析
1
3
4
合計(jì)
12
六 、教學(xué)手段與方法
1.教學(xué)手段 :本課程主要采用多媒體、課件演示、實(shí)驗(yàn)實(shí)訓(xùn)等教學(xué)手段進(jìn)行 教學(xué)。
2.教學(xué)方法 :本課程主要采用任務(wù)驅(qū)動(dòng)、案例教學(xué)、講授與討論相結(jié)合等教 學(xué)方法進(jìn)行教學(xué) 。課程內(nèi)容主要按大數(shù)據(jù)處理任務(wù)進(jìn)行組織 ，因此可以按解決 相應(yīng)任務(wù)所需的方法技術(shù)進(jìn)行教學(xué)組織和實(shí)踐 。在課程的授課過程中 ，對(duì)于學(xué) 生難以理解的方法技術(shù)都給與案例分析，完整展現(xiàn)相應(yīng)方法技術(shù)是如何實(shí)施和 應(yīng)用的 。另外 ，課程教學(xué)過程中 ，可以圍繞相關(guān)大數(shù)據(jù)處理的任務(wù)組織學(xué)生進(jìn) 行討論，培養(yǎng)學(xué)生主動(dòng)學(xué)習(xí)、解決問題的能力。
七 、考核方式 、考核內(nèi)容及成績(jī)?cè)u(píng)定
1.考核評(píng)價(jià)方式
1）過程性考核評(píng)價(jià)方式。本課程的過程性考核評(píng)價(jià)方式主要包括：考勤、 作業(yè)、討論、隨堂提問等。
2）結(jié)果性考核評(píng)價(jià)方式。本課程的結(jié)果性考核評(píng)價(jià)方式主要是期末考查（開 卷）。根據(jù)各章知識(shí)點(diǎn)，設(shè)計(jì)期末考查試卷。
八 、課程教材
[1]朝樂門.數(shù)據(jù)科學(xué)[M].北京：清華大學(xué)出版社,2020.
[2]朝樂門.數(shù)據(jù)科學(xué)理論與實(shí)踐[M].北京：清華大學(xué)出版社,2019.
[3]周蘇,王文.大數(shù)據(jù)導(dǎo)論[M].清華大學(xué)出版社,2020 第一版
[4]許晶華.管理信息系統(tǒng)[M].廣州:華南理工大學(xué)出版社,2015.
[5]黃梯云.管理信息系統(tǒng)[M].北京:高等教育出版社,2019.
[6]薛華成.管理信息系統(tǒng)[M].北京:清華大學(xué)出版社,2020.

李海良老師的其它課程