數(shù)據(jù)倉庫總體設(shè)計報告
| |文檔編號 |產(chǎn)品版本 |密級 | | | | | | | | |1.0 | | | | |共87頁 | 數(shù)據(jù)倉庫系統(tǒng) 總體設(shè)計 文檔作者：__ ____日期：2001/12/20 項目經(jīng)理：__ ____日期：2001/12/28 部門經(jīng)理：__ __ 日期：2002/01/08 總 工 辦：__ ____日期：2002/01/08 [pic] 目 錄 1 概述 7 1.1 背景 7 1.1.1 待開發(fā)的軟件系統(tǒng)名稱 8 1.1.2 系統(tǒng)的基本概念 8 1.1.3 項目組名稱 8 1.1.4 項目代號 8 1.2 術(shù)語和縮寫詞 8 1.3 設(shè)計目標 9 2 系統(tǒng)設(shè)計 9 2.1 設(shè)計原則 9 2.2 系統(tǒng)結(jié)構(gòu) 11 2.2.1 子系統(tǒng)劃分 11 2.3 系統(tǒng)數(shù)據(jù)結(jié)構(gòu) 17 2.3.1 邏輯結(jié)構(gòu) 12 2.3.2 層次結(jié)構(gòu) 13 2.3.3 網(wǎng)絡(luò)拓撲結(jié)構(gòu) 14 2.3.4 網(wǎng)絡(luò)層次結(jié)構(gòu) 16 2.4 行業(yè)特殊需求 17 2.5 底層數(shù)據(jù)庫（倉庫）設(shè)計 19 2.5.1 設(shè)計原則 19 2.5.2 數(shù)據(jù)現(xiàn)狀 20 2.5.3 數(shù)據(jù)存儲整體規(guī)劃 21 2.6 ETL系統(tǒng) 24 2.6.1 需求規(guī)定 24 2.6.2 運行環(huán)境 24 2.6.3 設(shè)計思想 24 2.6.4 結(jié)構(gòu)說明 25 2.6.5 處理流程 26 2.7 系統(tǒng)管理 27 2.7.1 需求規(guī)定 27 2.7.2 運行環(huán)境 28 2.7.3 設(shè)計思想 28 2.7.4 結(jié)構(gòu)說明 28 2.7.5 處理流程 29 2.8 數(shù)據(jù)展現(xiàn) 30 2.8.1 需求規(guī)定 30 2.8.2 運行環(huán)境 32 2.8.3 設(shè)計思想 32 2.8.4 結(jié)構(gòu)說明 32 2.8.5 處理流程 34 2.9 界面設(shè)計 34 2.9.1 需求規(guī)定 34 2.9.2 主程序界面 34 2.9.3 主要頁面設(shè)計 35 2.10 接口設(shè)計 38 2.10.1 外部接口 38 2.10.2 內(nèi)部接口 39 2.11 安全設(shè)計 39 2.11.1 網(wǎng)絡(luò)安全 39 2.11.2 數(shù)據(jù)庫安全 42 2.12 系統(tǒng)可靠性設(shè)計 43 2.12.1 可靠性 43 2.12.2 可維護性 43 2.12.3 可擴展性 44 2.12.4 健壯性 44 2.12.5 性能保證 44 2.12.6 出錯處理 45 2.12.7 備份與恢復(fù) 45 2.13 運行設(shè)計 46 2.14 相關(guān)工具選擇 46 2.14.1 數(shù)據(jù)庫選擇 47 2.14.2 WEB服務(wù)器和應(yīng)用服務(wù)器 47 2.14.3 數(shù)據(jù)庫建模工具 48 2.14.4 分析型工具 48 2.14.5 OLAP工具介紹 49 2.14.6 ORACLE公司OLAP介紹 50 2.15 開發(fā)環(huán)境 51 2.15.1 硬件環(huán)境 51 2.15.2 操作系統(tǒng) 51 2.15.3 開發(fā)語言 52 2.15.4 數(shù)據(jù)庫系統(tǒng) 52 2.15.5 中間件系統(tǒng) 52 2.15.6 應(yīng)用系統(tǒng) 53 3 系統(tǒng)調(diào)試和測試 53 3.1 目的 53 3.2 基本要求 54 3.2.1 測試計劃 54 3.2.2 測試說明 54 3.2.3 測試環(huán)境建立 54 3.2.4 測試報告 54 3.3 應(yīng)遵循的原則 54 3.4 測試方法 55 3.5 測試重點 55 4 項目進度 56 4.1 項目資源計劃 56 4.1.1 項目組 56 4.1.2 數(shù)據(jù)倉庫領(lǐng)導(dǎo)小組辦公室 56 4.2 項目工期計劃 56 4.3 時間進度計劃 56 4.3.1 數(shù)據(jù)倉庫系統(tǒng)需求調(diào)查與兩會系統(tǒng) 57 4.4 第一期開發(fā)主題 57 4.5 第二期開發(fā)主題 57 4.6 工作量分配計劃 57 5 小結(jié) 58 6 參考文獻 60 7 附錄 61 7.1 Oracle性能評估報告 61 7.2 主流WEB服務(wù)器比較 65 7.3 IBM小型機性能評估報告 76 7.4 詳細網(wǎng)絡(luò)拓撲圖及設(shè)備清單 78 7.5 在多層體系結(jié)構(gòu)下建立數(shù)據(jù)倉庫 83 摘 要 數(shù)據(jù)倉庫系統(tǒng)的建立可以解決傳統(tǒng)數(shù)據(jù)庫不能很好提供分析決策功能的問題，可以發(fā) 掘歷史數(shù)據(jù)中隱含的大量有價值的信息，為國民經(jīng)濟的發(fā)展和宏觀決策提供大量有效的 參考信息。系統(tǒng)數(shù)據(jù)來源復(fù)雜，在數(shù)據(jù)倉庫設(shè)計中不能采用常規(guī)方法解決問題；主題眾 多且分析熱點會隨時間變化而變化，要求主題下所含的信息在一定范圍可變；主題下指 標可能需要調(diào)整等實際情況，這和數(shù)據(jù)倉庫的數(shù)據(jù)的不可修改性有矛盾；等等。我們結(jié) 合數(shù)據(jù)倉庫的特點和系統(tǒng)實際情況，提供了一套完整的數(shù)據(jù)倉庫系統(tǒng)的解決方案。整個 數(shù)據(jù)倉庫系統(tǒng)從數(shù)據(jù)采集到數(shù)據(jù)展現(xiàn)共分為四部分：1、數(shù)據(jù)抽取、轉(zhuǎn)換、加載；2、系 統(tǒng)管理（包括數(shù)據(jù)庫維護）；3、數(shù)據(jù)展現(xiàn)；4、支撐整個系統(tǒng)的數(shù)據(jù)庫的設(shè)計(包括ETL 中間數(shù)據(jù)庫和數(shù)據(jù)倉庫)保證系統(tǒng)具有相當(dāng)?shù)撵`活性。各個部分獨立完成本部分功能，同 時緊密協(xié)作組成數(shù)據(jù)倉庫系統(tǒng)。數(shù)據(jù)倉庫系統(tǒng)管理與數(shù)據(jù)導(dǎo)入部分采用C/S模式有針對性 的開發(fā)；數(shù)據(jù)倉庫系統(tǒng)的數(shù)據(jù)展現(xiàn)采用流行的B/S模式向用戶提供數(shù)據(jù)查詢、決策分析。 關(guān)鍵詞： 指標，主題，數(shù)據(jù)倉庫，聯(lián)機分析，數(shù)據(jù)挖掘，決策支持。 概述 1 背景 經(jīng)過2個多月的需求分析調(diào)查，確定了數(shù)據(jù)倉庫系統(tǒng)總體定位（省政府?dāng)?shù)據(jù)倉庫是以 充分發(fā)揮信息的社會作用和經(jīng)濟效益為最終目的）和系統(tǒng)功能需求?，F(xiàn)根據(jù)需求分析規(guī) 定和局具體情況，確定數(shù)據(jù)倉庫整體方案，以指導(dǎo)數(shù)據(jù)倉庫系統(tǒng)研究、開發(fā)、實現(xiàn)。 省政府局數(shù)據(jù)具有建立數(shù)據(jù)倉庫系統(tǒng)的基本條件： o 積累了大量歷史數(shù)據(jù)，這是數(shù)據(jù)倉庫存在的必要條件； o 隨著市場經(jīng)濟的發(fā)展，社會各界（如金融投資等領(lǐng)域為了規(guī)避市場風(fēng)險，提高決策 的準確度，開發(fā)新的市場和利潤增長點，挖掘市場潛力）對數(shù)據(jù)的需求不斷增大 ，社會各界迫切需要利用數(shù)據(jù)進行決策分析，指導(dǎo)經(jīng)濟建設(shè)。 省政府?dāng)?shù)據(jù)倉庫建設(shè)存在以下困難： o 當(dāng)前局各個處室沒有統(tǒng)一規(guī)劃的數(shù)據(jù)庫系統(tǒng)； o 只有少量數(shù)據(jù)以電子文件形式存在，大部分歷史數(shù)據(jù)保存在紙介質(zhì)上，到目前為止 ，建國以來的數(shù)據(jù)有一般以上以紙介質(zhì)方式存儲； o 由于我國制度在不斷發(fā)展完善，指標在不同的歷史時期的口徑不同，為了使同類指 標具有可比性，要確定不同時期各個指標的調(diào)整規(guī)則，并對歷史數(shù)據(jù)按規(guī)則進行 調(diào)整，這種調(diào)整除了少數(shù)指標可以按統(tǒng)一的算法進行以外，大部分調(diào)整工作需要 人工參與； 因此，省政府?dāng)?shù)據(jù)倉庫的建設(shè)中數(shù)據(jù)的整理加載工作量極大，ETL（Extract、Trans form、Cleaning、Load）工具開發(fā)難度大；完善的、與數(shù)據(jù)倉庫系統(tǒng)良好聯(lián)接的、統(tǒng)一 規(guī)劃的各個處室的數(shù)據(jù)庫系統(tǒng)是據(jù)倉庫系統(tǒng)的具有長久生命力的基本保障，因此各處室 數(shù)據(jù)庫的建設(shè)應(yīng)同步進行。 1 待開發(fā)的軟件系統(tǒng)名稱 省政府?dāng)?shù)據(jù)倉庫系統(tǒng) 2 系統(tǒng)的基本概念 指標：系統(tǒng)的數(shù)據(jù)以指標為載體，所有的數(shù)據(jù)都是指標在不同時間，不同地域上的取 值，統(tǒng)一指標可能有年度、月度、季度、半年、連續(xù)某幾個月等時間段的數(shù)據(jù)，可能有 國家、省、地、市、縣、鄉(xiāng)、村的數(shù)據(jù)，甚至有居民戶、具體企業(yè)單位的明細數(shù)據(jù)，數(shù) 據(jù)倉庫中的數(shù)據(jù)就是這些數(shù)據(jù)的有機集合。 主題：數(shù)據(jù)倉庫中的數(shù)據(jù)按主題組織，這是由數(shù)據(jù)倉庫以分析決策為主要目的決定的 。主題是一個在較高層次上將數(shù)據(jù)歸類的標準，每一個主題對應(yīng)一個宏觀的分析領(lǐng)域。 省政府?dāng)?shù)據(jù)倉庫是將指標數(shù)據(jù)按分析主題集成起來，供查詢、分析、輔助決策。 3 項目組名稱 數(shù)據(jù)倉庫項目組 4 項目代號 XhnTJDW001-0019 2 術(shù)語和縮寫詞 指標：Statistical Parameter 數(shù)據(jù)倉庫：DW（DataWarehouse） 主題：Subject 數(shù)據(jù)集市：DataMart 元數(shù)據(jù)：MetaData 數(shù)據(jù)抽取、轉(zhuǎn)換、加載：ETL（Extract、Transform、Cleaning、Load） 聯(lián)機分析處理：OLAP（On-LineAnalyticalProcessing） 聯(lián)機事務(wù)處理：OLTP（On-LineTransactionProcessing） 決策支持系統(tǒng)：DSS（DecisionSupportSystem） 數(shù)據(jù)挖掘：DM（DataMining） 應(yīng)用服務(wù)器：AS（ApplicationServer） Web服務(wù)器：WebServer 3 設(shè)計目標 省政府?dāng)?shù)據(jù)倉庫系統(tǒng)是以充分發(fā)揮信息的社會效益和經(jīng)濟價值為最終目的。 將大量事務(wù)處理數(shù)據(jù)庫中的數(shù)據(jù)進行清理、抽取和轉(zhuǎn)換，并按決策主題進行多維重組 ，在高效的網(wǎng)絡(luò)平臺上充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)臁钡淖?用，直接向黨政領(lǐng)導(dǎo)、社會各界提供數(shù)據(jù)、信息服務(wù)，為信息工程建設(shè)提供一個“決策數(shù) 據(jù)管理與分析中心”的基本解決方案。 為省政府局建立一套面向黨政領(lǐng)導(dǎo)、專業(yè)分析人員、廣大社會群眾對外發(fā)布信息的數(shù) 據(jù)倉庫系統(tǒng)。整個系統(tǒng)集數(shù)據(jù)采集、管理、維護、展現(xiàn)于一體，旨在建立數(shù)據(jù)倉庫后既 減輕局工作人員工作量，又能很好的為公眾服務(wù)。前端數(shù)據(jù)展現(xiàn)要有通用性，采用瀏覽 器瀏覽數(shù)據(jù)，是瘦客戶端。后端維護系統(tǒng)要具有高效性，能及時、高效處理、管理數(shù)據(jù) ，功能強大，是胖客戶端。 數(shù)據(jù)倉庫系統(tǒng)重在建立一個適應(yīng)分析的系統(tǒng)環(huán)境，首期開發(fā)“兩會”信息咨詢，企業(yè)名 錄、人口普查、字典、工業(yè)經(jīng)濟、農(nóng)業(yè)經(jīng)濟等主題。 系統(tǒng)設(shè)計 1 設(shè)計原則 從充分發(fā)揮系統(tǒng)作為社會“數(shù)據(jù)庫，信息庫，思想庫，智囊?guī)臁钡淖饔?，直接向黨政領(lǐng) 導(dǎo)、社會各界提供“快、精、準”的信息服務(wù)的需要出發(fā)，采用當(dāng)今數(shù)據(jù)庫領(lǐng)域成熟穩(wěn)定 的數(shù)據(jù)倉庫、決策分析等技術(shù)，在高效的網(wǎng)絡(luò)平臺上為全省信息工程建設(shè)提供一個“決策 數(shù)據(jù)管理與分析中心”的基本解決方案。 1. 系統(tǒng)采用多層體系結(jié)構(gòu)，建立一個良好開放性的數(shù)據(jù)倉庫系統(tǒng)環(huán)境，適應(yīng)不斷增加 和變化的業(yè)務(wù)需求。多層體系結(jié)構(gòu)通過引入中間層組件，擴大了傳統(tǒng)的客戶/服務(wù) 器和兩層計算模式。多層結(jié)構(gòu)可由以下三類分層來定義：前端的客戶層，負責(zé)提 供可移植的表達邏輯；中間的應(yīng)用層，允許用戶通過將其與實際應(yīng)用隔離而共享 和控制業(yè)務(wù)邏輯；后端的數(shù)據(jù)管理與服務(wù)層，提供對專門服務(wù)（例如數(shù)據(jù)庫服務(wù) 器）的訪問。多層結(jié)構(gòu)與傳統(tǒng)的客戶/服務(wù)器結(jié)構(gòu)的區(qū)別在于：在傳統(tǒng)的客戶/服 務(wù)器兩層結(jié)構(gòu)中，用戶將實際的業(yè)務(wù)邏輯放置到客戶端(作為對表達邏輯的增補) 或放置到后端數(shù)據(jù)庫(作為數(shù)據(jù)邏輯的一部分包含在存儲過程中)。而在多層結(jié)構(gòu) 中，用戶將業(yè)務(wù)邏輯放到中間層上。這種模塊化方法明確地劃分了表達邏輯、業(yè) 務(wù)邏輯和數(shù)據(jù)存儲。多層結(jié)構(gòu)通過將應(yīng)用邏輯集中到中間層，開發(fā)者可以迅速更 新業(yè)務(wù)邏輯，而無需重新將應(yīng)用遞交到成千上萬的桌面系統(tǒng)上。提高數(shù)據(jù)庫的性 能、改善系統(tǒng)的開放性、可擴展性和數(shù)據(jù)的安全性，并降低管理的復(fù)雜性。 2. 結(jié)構(gòu)化、層次化、模塊化。采用面向?qū)ο蠹夹g(shù)，使系統(tǒng)高度結(jié)構(gòu)化、模塊化、層次 化，整個系統(tǒng)由接口定義良好的多個模塊組成，每個模塊都有詳細的功能說明和 設(shè)計文稿，每個模塊完成相對獨立的功能，模塊之間的接口定義規(guī)范，使模塊功 能的變化相對獨立，不影響整個系統(tǒng)的功能和結(jié)構(gòu)，便于系統(tǒng)升級，維護。 3. 具有良好的平臺移植性。選用支持多種操作平臺的數(shù)據(jù)庫服務(wù)器、應(yīng)用服務(wù)器、W EB服務(wù)器等服務(wù)器軟件系統(tǒng)，選用具有良好平臺移植性的B/S和C/S模式下的開發(fā) 語言開發(fā)應(yīng)用程序和應(yīng)用中間件，提高應(yīng)用系統(tǒng)的平臺移植性； 4. 統(tǒng)一性和多樣性相結(jié)合。面向用戶的各個應(yīng)用系統(tǒng)，盡量保持統(tǒng)一風(fēng)格以適應(yīng)用戶 的操作習(xí)慣，但各個系統(tǒng)根據(jù)內(nèi)容具有各自的特色，整個系統(tǒng)和諧統(tǒng)一，清新明 了。 5. 自主開發(fā)和利用現(xiàn)有工具相結(jié)合。盡量利用各成熟的數(shù)據(jù)倉庫系統(tǒng)軟件（工具）為 數(shù)據(jù)倉庫這個具有特殊性的項目服務(wù)，針對具有特殊性的需求，開發(fā)特定的系統(tǒng) 軟件，縮短數(shù)據(jù)倉庫開發(fā)周期，降低開發(fā)成本，保證系統(tǒng)正常開發(fā)。 6. 安全性的考慮。系統(tǒng)安全和數(shù)據(jù)安全是一個網(wǎng)絡(luò)應(yīng)用系統(tǒng)應(yīng)該首先考慮的問題，數(shù) 據(jù)倉庫系統(tǒng)的設(shè)計要從網(wǎng)絡(luò)安全、系統(tǒng)安全、數(shù)據(jù)安全等各個方面充分考慮，保 障系統(tǒng)安全穩(wěn)定。 7. 分散與集中相結(jié)合。數(shù)據(jù)倉庫系統(tǒng)是一個非常龐大的系統(tǒng)，所有數(shù)據(jù)集中存儲，但 局各處室能分別維護本處室數(shù)據(jù)，數(shù)據(jù)倉庫根據(jù)需要能對系統(tǒng)管理分別設(shè)置權(quán)限 ，不同用戶維護不同數(shù)據(jù)。 8. 穩(wěn)定優(yōu)先，注重效率。數(shù)據(jù)倉庫的海量數(shù)據(jù)存儲和高效查詢是一對矛盾，在當(dāng)今硬 件技術(shù)不斷發(fā)展和成本不斷降低的形式下，我們優(yōu)先考慮系統(tǒng)效率，但是在系統(tǒng) 穩(wěn)定性和效率不可兼顧時，以系統(tǒng)穩(wěn)定優(yōu)先。。例如在數(shù)據(jù)倉庫設(shè)計方面，我們 通過逆規(guī)范化（引進適當(dāng)冗余）來提高系統(tǒng)查詢效率。 9. 以最簡單的方式實現(xiàn)復(fù)雜的功能。為提高系統(tǒng)的穩(wěn)定性和可讀性，可維護性，盡量 采用簡潔易懂的方式實現(xiàn)系統(tǒng)功能，不追求復(fù)雜、深奧的算法。 2 系統(tǒng)結(jié)構(gòu) 1 子系統(tǒng)劃分 整個系統(tǒng)按功能分為四大系統(tǒng)，各系統(tǒng)分別為： 1. 數(shù)據(jù)庫系統(tǒng)
數(shù)據(jù)倉庫總體設(shè)計報告