基于數(shù)據(jù)庫管理的D5000系統(tǒng)數(shù)據(jù)管理技術(shù)

　　基于數(shù)據(jù)庫管理的D5000系統(tǒng)數(shù)據(jù)管理技術(shù)

　　引言

　　以特高壓、三華聯(lián)網(wǎng)[1]為代表的智能電網(wǎng)飛速發(fā)展，國家電網(wǎng)公司集約化、扁平化管理[2]的快速推進(jìn)，計(jì)算機(jī)、通信技術(shù)的長足進(jìn)步[3—5]，推動(dòng)了智能電網(wǎng)調(diào)度控制系統(tǒng)（簡(jiǎn)稱“D5000系統(tǒng)”）的研發(fā)和推廣。

　　D5000系統(tǒng)體系架構(gòu)，橫向上將原來多套獨(dú)立系統(tǒng)集成為分布在Ⅰ/Ⅱ/Ⅲ區(qū)的四大類應(yīng)用，縱向上貫穿各級(jí)調(diào)度[6]。原各個(gè)孤立系統(tǒng)的數(shù)據(jù)管理技術(shù)無法適應(yīng)這種架構(gòu)。各級(jí)調(diào)度間信息共享，需要信息安全保障，原孤立系統(tǒng)數(shù)據(jù)管理不具備這樣的功能。橫向集成、縱向貫通的體系架構(gòu)要求全局信息的支撐能力提升;數(shù)據(jù)規(guī)模急劇增加，原有孤立系統(tǒng)的數(shù)據(jù)管理無法應(yīng)對(duì)這種數(shù)據(jù)規(guī)模，也無法達(dá)到應(yīng)用協(xié)同所需的效率。因而亟需開發(fā)適應(yīng)D5000系統(tǒng)需求的數(shù)據(jù)管理技術(shù)。

　　D5000系統(tǒng)數(shù)據(jù)管理基于面向服務(wù)的總線，借助安全防護(hù)技術(shù)，包含實(shí)時(shí)數(shù)據(jù)庫（簡(jiǎn)稱實(shí)時(shí)庫）、商用關(guān)系數(shù)據(jù)庫（簡(jiǎn)稱商用庫）、時(shí)間序列內(nèi)存庫（簡(jiǎn)稱時(shí)序內(nèi)存庫）、時(shí)間序列文件庫（簡(jiǎn)稱時(shí)序文件庫）和集中管理文件幾類數(shù)據(jù)服務(wù)。

　　文獻(xiàn)[7]提出基于商用庫的數(shù)據(jù)中心，將各種數(shù)據(jù)轉(zhuǎn)換到數(shù)據(jù)中心，實(shí)現(xiàn)多套系統(tǒng)信息共享，該方式中間環(huán)節(jié)多，維護(hù)工作量大，定制性強(qiáng)，是早期缺乏統(tǒng)一平臺(tái)的數(shù)據(jù)共享方式。文獻(xiàn)[8—10]提出了通過資源集中、虛擬化、HBase等云技術(shù)的信息中心方案;文獻(xiàn)中將大機(jī)虛擬化成小機(jī)的方式和D5000系統(tǒng)將多臺(tái)服務(wù)器協(xié)作出一臺(tái)大機(jī)工作效能的研究方向思路不同;文獻(xiàn) 中提 到 的 基 于 “關(guān) 鍵 字—數(shù) 值”（Key—Value）的HBase，其性能無法滿足D5000系統(tǒng)實(shí)時(shí)處理、在線計(jì)算的要求，無法進(jìn)行多條件檢索和聯(lián)合查詢;文獻(xiàn)中提到的Map/Reduce并行處理方式，須借助于文件交換，處理批處理任務(wù)，難以滿足以信息實(shí)時(shí)處理為主的D5000系統(tǒng)。文獻(xiàn)[11]將商 用 庫 封 裝 成 電 力 市 場(chǎng) 數(shù) 據(jù) 管 理 平 臺(tái)。文 獻(xiàn)[12—13]介紹了采用拼接方式構(gòu)建的模型管理平臺(tái);文獻(xiàn)[14—15]介紹了生產(chǎn)控制大區(qū)與管理信息大區(qū)內(nèi)、外數(shù)據(jù)平臺(tái)間的數(shù)據(jù)采集、存儲(chǔ)、交換、共享、加工等方面的研究?jī)?nèi)容;文獻(xiàn)[16]對(duì)變電站數(shù)據(jù)中心進(jìn)行了研究;但文獻(xiàn)[11—16]均不涉及底層數(shù)據(jù)管理研究，而是數(shù)據(jù)管理之上數(shù)據(jù)使用層面的研究。文獻(xiàn)[17]實(shí)現(xiàn)了參照公共信息模型（CIM）的對(duì)象實(shí)時(shí)庫原型，但工程化考慮不足，文獻(xiàn)提供的性能數(shù)據(jù)無法滿足電網(wǎng)調(diào)度控制系統(tǒng)要求。文獻(xiàn)[18]介紹了一種層次性實(shí)時(shí)庫，其實(shí)現(xiàn)方式采用了和本文所提實(shí)時(shí)庫不同的技術(shù)路線。文獻(xiàn)[19]介紹了一種可擴(kuò)展標(biāo)記語言（XML）數(shù)據(jù)庫，但性能不高，未見工程應(yīng)用。文獻(xiàn)[17—19]中的實(shí)時(shí)庫均不支持橫向集成、縱向貫通架構(gòu)。文獻(xiàn)[20]介紹了D5000系統(tǒng)實(shí)時(shí)庫的部分技術(shù)。文獻(xiàn)[21]是D5000系統(tǒng)實(shí)時(shí)庫技術(shù)基礎(chǔ)上的深化研究。文獻(xiàn)[22]研究了電廠監(jiān)控系統(tǒng)使用時(shí)序庫的方法、時(shí)序庫在電網(wǎng)廣域測(cè)量系統(tǒng)（WAMS）中的使用[23]、時(shí)序庫的備份方式[24]，但均未涉及時(shí)序內(nèi)存庫、時(shí)序文件庫實(shí)現(xiàn)技術(shù)。

　　Google設(shè)計(jì)了基于GFS（Google file system）的分布式存儲(chǔ)系統(tǒng)BigTable[25]，為用戶提供簡(jiǎn)單的數(shù)據(jù)服務(wù)，客戶可以動(dòng)態(tài)控制數(shù)據(jù)的分布和格式。

　　BigTable以行名、列名、時(shí)間戳建立索引，適用于特定的應(yīng)用環(huán)境。

　　Amazon提供了基于Dynamo基礎(chǔ)存儲(chǔ)架構(gòu)的簡(jiǎn)單存儲(chǔ)服務(wù) （simple storage service，S3）[26]，它以“桶”為容器、通過“鍵”查找“對(duì)象”，提供簡(jiǎn)單、易用、低成本的數(shù)據(jù)管理方式。這兩種數(shù)據(jù)管理方式較好地適應(yīng)了非結(jié)構(gòu)化數(shù)據(jù)的特點(diǎn)，都能管理PB級(jí)別的數(shù)據(jù)，具備良好的可擴(kuò)展性，能夠很好地適用于電子商務(wù)、信息分析等數(shù)據(jù)量特別龐大，數(shù)據(jù)處理較為簡(jiǎn)單，對(duì)響應(yīng)速度要求不高的業(yè)務(wù)。

　　其 他 的 非 結(jié) 構(gòu) 化 數(shù) 據(jù) 平 臺(tái) 諸 如Yahoo的PNUTS[27]、阿 里 云 的 開 放 數(shù) 據(jù) 處 理 服 務(wù)（ODPS）[28]等均具有類似特點(diǎn)。然而這些數(shù)據(jù)存儲(chǔ)管理方式均無法滿足調(diào)度控制系統(tǒng)對(duì)實(shí)時(shí)性的要求，數(shù)據(jù)查詢的靈活性和商用關(guān)系數(shù)據(jù)庫存在明顯差距，在存儲(chǔ)歷史數(shù)據(jù)時(shí)也無法達(dá)到時(shí)序文件庫的效率，難以直接應(yīng)用于以結(jié)構(gòu)化數(shù)據(jù)使用為主的調(diào)度控制系統(tǒng)中。

　　D5000系統(tǒng)的文件管理是基于服務(wù)總線的大粒度文件集中管理服務(wù)，實(shí)現(xiàn)方式較為簡(jiǎn)潔，本文不詳細(xì)介紹。

　　1 數(shù)據(jù)庫管理的特點(diǎn)

　　數(shù)據(jù)庫管理中的幾種技術(shù)適合于不同的場(chǎng)景，各具特點(diǎn)，同時(shí)也相互協(xié)作配合，相輔相成。

　　1）實(shí)時(shí)庫實(shí)時(shí)庫提供高速的本地訪問接口、遠(yuǎn)方服務(wù)訪問接口，具有數(shù)據(jù)定義、存儲(chǔ)、驗(yàn)證、瀏覽、訪問和復(fù)制等功能，支持?jǐn)?shù)據(jù)關(guān)系描述和檢索，對(duì)各種實(shí)時(shí)、在線類應(yīng)用程序提供數(shù)據(jù)共享和交換手段。實(shí)時(shí)庫中的模型數(shù)據(jù)來自商用庫按照應(yīng)用檢索的視圖。

　　2）商用庫商用庫具有結(jié)構(gòu)化、完整性和可靠性的特點(diǎn)。在D5000系統(tǒng)中，商用庫主要用于保存對(duì)一致性、可靠性要求很高，而對(duì)數(shù)據(jù)讀寫效率要求稍低的場(chǎng)景。商用庫管理的數(shù)據(jù)可分為模型數(shù)據(jù)和歷史數(shù)據(jù)，模型數(shù)據(jù)包括數(shù)據(jù)字典、系統(tǒng)運(yùn)行參數(shù)、電網(wǎng)設(shè)備參數(shù)、電網(wǎng)靜態(tài)拓?fù)溥B接信息等。歷史數(shù)據(jù)包括采樣、告警、計(jì)劃值、運(yùn)行數(shù)據(jù)、考核數(shù)據(jù)等。

　　3）時(shí)序內(nèi)存庫時(shí)序 內(nèi) 存 庫 用 于 存 儲(chǔ) 諸 如 相 量 測(cè) 量 單 元（PMU）動(dòng)態(tài)檢測(cè)這類高頻變化的時(shí)間序列數(shù)據(jù)，其性能要遠(yuǎn)高于下文介紹的時(shí)序文件庫，常用作時(shí)序文件庫的高速緩存。該數(shù)據(jù)庫采用共享內(nèi)存存儲(chǔ)數(shù)據(jù)，并和時(shí)序文件庫協(xié)作運(yùn)行，循環(huán)保存一段時(shí)間內(nèi)的數(shù)據(jù)，超出時(shí)間范圍的數(shù)據(jù)將被后續(xù)數(shù)據(jù)覆蓋。WAMS應(yīng)用下的動(dòng)態(tài)監(jiān)視、一次調(diào)頻、擾動(dòng)識(shí)別、低頻振蕩等功能均直接使用時(shí)序內(nèi)存庫。

　　4）時(shí)序文件庫時(shí)序文件庫主要用于存儲(chǔ)較長時(shí)期的PMU動(dòng)態(tài)監(jiān)測(cè)數(shù)據(jù)等高頻變化數(shù)據(jù)，對(duì)于故障期間的數(shù)據(jù)還可永久保存。與穩(wěn)態(tài)數(shù)據(jù)相比，動(dòng)態(tài)數(shù)據(jù)具有異地同步采樣、帶高精度時(shí)標(biāo)、高密度實(shí)時(shí)傳輸?shù)奶攸c(diǎn)，能精細(xì)反映電力系統(tǒng)動(dòng)態(tài)行為過程，基于動(dòng)態(tài)數(shù)據(jù)的電網(wǎng)運(yùn)行動(dòng)態(tài)監(jiān)視與分析應(yīng)用讓調(diào)度運(yùn)行部門具備對(duì)電力系統(tǒng)低頻振蕩、短路故障、機(jī)組跳閘等電力故障行為進(jìn)行有效監(jiān)測(cè)和事后分析能力。海量數(shù)據(jù)的高速采集和分析占用較大的傳輸帶寬和存儲(chǔ)空間，時(shí)序文件庫需具備快速壓縮存儲(chǔ)和高效檢索能力。

　　2 D5000系統(tǒng)對(duì)數(shù)據(jù)庫管理的需求

　　D5000系統(tǒng)對(duì)數(shù)據(jù)庫管理整體的要求是滿足橫向集成、縱向貫通架構(gòu)，使用安全、可靠，D5000系統(tǒng)對(duì)數(shù)據(jù)庫管理方式還各有如下要求。

　　1）D5000系統(tǒng)對(duì)實(shí)時(shí)庫的要求在橫向集成、縱向貫通體系架構(gòu)下，D5000系統(tǒng)的數(shù)據(jù)規(guī)模遠(yuǎn)大于孤立系統(tǒng)的數(shù)據(jù)規(guī)模。在線計(jì)算、分析、控制需要實(shí)時(shí)庫能夠快速讀寫，以適應(yīng)不斷涌現(xiàn)、不斷完善的各類應(yīng)用。要求支持多態(tài)、多應(yīng)用、多模式，應(yīng)用可選擇不同粒度的容器進(jìn)行反演、仿真、分析計(jì)算。實(shí)時(shí)庫還可以和多源信息結(jié)合，進(jìn)行信息的按需管理[29]。

　　2）D5000系統(tǒng)對(duì)商用庫的要求在D5000平臺(tái)對(duì)應(yīng)用廣泛支撐、備用調(diào)度建設(shè)、省地協(xié)作、地縣一體化的背景下，商用庫管理的數(shù)據(jù)規(guī)模成倍增加，尤其是包括數(shù)據(jù)采樣在內(nèi)的歷史數(shù)據(jù)管理將面臨極大壓力，商用數(shù)據(jù)庫及其上的服務(wù)需具備足夠的吞吐量應(yīng)對(duì)這樣的數(shù)據(jù)壓力。所選商用庫還需遵循通用數(shù)據(jù)庫訪問接口標(biāo)準(zhǔn)（DCI）以屏蔽不同廠家數(shù)據(jù)庫產(chǎn)品的差異。

　　3）D5000系統(tǒng)對(duì)時(shí)序內(nèi)存庫的要求作為時(shí)序文件庫的高速緩存，時(shí)序內(nèi)存庫需具備高速批量數(shù)據(jù)讀寫能力，能按照時(shí)間范圍快速讀寫單點(diǎn)、多點(diǎn)數(shù)據(jù)。

　　4）D5000系統(tǒng)對(duì)時(shí)序文件庫的要求電網(wǎng)運(yùn)行動(dòng)態(tài)監(jiān)視與分析功能對(duì)同步采集數(shù)據(jù)的時(shí)間分辨率有非常高的要求。以網(wǎng)級(jí)調(diào)度中心為例，主站系統(tǒng)按照200個(gè)廠站每秒采集50幀PMU數(shù)據(jù)的規(guī)模，測(cè)點(diǎn)數(shù)量超過50 000個(gè)，主子站間實(shí)時(shí)數(shù)據(jù)通信流量超過40Mbit/s，每小時(shí)的原始數(shù)據(jù)量超過36G字節(jié)，海量數(shù)據(jù)存儲(chǔ)和查詢對(duì)數(shù)據(jù)存儲(chǔ)系統(tǒng)帶來巨大壓力。采用高效數(shù)據(jù)壓縮算法存儲(chǔ)電網(wǎng)運(yùn)行動(dòng)態(tài)數(shù)據(jù)，在保留電網(wǎng)動(dòng)態(tài)過程原貌的同時(shí)，減小數(shù)據(jù)對(duì)存儲(chǔ)空間的占用，是動(dòng)態(tài)監(jiān)視與分析應(yīng)用建設(shè)的關(guān)鍵技術(shù)要求。

　　3 數(shù)據(jù)庫管理的體系架構(gòu)

　　數(shù)據(jù)庫 管 理 體 系 架 構(gòu) 可 分 為4個(gè) 層 次 （見圖1）�；�礎(chǔ) 設(shè) 施 層 包 括 計(jì) 算 機(jī) 硬 件、安 全 操 作系統(tǒng)�！�1】

　　在基礎(chǔ)設(shè)施之上的是總線層。數(shù)據(jù)庫管理的設(shè)計(jì)體 現(xiàn) 了 面 向 服 務(wù) 的 思 想，基 于 面 向 服 務(wù) 架 構(gòu)（SOA）的總線是數(shù)據(jù)對(duì)外共享和應(yīng)用集成的基礎(chǔ)，D5000系統(tǒng)的數(shù)據(jù)服務(wù)在橫向SOA支撐下，貫穿Ⅰ/Ⅱ/Ⅲ區(qū)�？v向SOA總線提供上下級(jí)系統(tǒng)間數(shù)據(jù)訪問能力。它是數(shù)據(jù)遠(yuǎn)程訪問技術(shù)的基礎(chǔ)。安全防護(hù)提供總線、數(shù)據(jù)、應(yīng)用的整體安全保障機(jī)制，具體實(shí)現(xiàn)見4。2節(jié)。

　　實(shí)時(shí)庫、商用庫、時(shí)序內(nèi)存庫、時(shí)序文件庫在基于SOA的總線基礎(chǔ)上，被封裝成服務(wù)，通過標(biāo)準(zhǔn)數(shù)據(jù)庫訪問接口[30]對(duì)外提供數(shù)據(jù)庫服務(wù)，數(shù)據(jù)庫服務(wù)和標(biāo)準(zhǔn)數(shù)據(jù)庫訪問接口共同組成數(shù)據(jù)服務(wù)層。

　　4。3至4。6節(jié)介紹了D5000系統(tǒng)中各類數(shù)據(jù)庫的部分關(guān)鍵技術(shù)。數(shù)據(jù)訪問層的具體內(nèi)容詳見第5節(jié)。

　　數(shù)據(jù)服務(wù)層之上是使用各類數(shù)據(jù)的各類應(yīng)用。

　　4 數(shù)據(jù)庫管理關(guān)鍵技術(shù)

　　數(shù)據(jù)庫管理相關(guān)技術(shù)很多，限于篇幅，本文僅介紹部分關(guān)鍵技術(shù)。

　　4。1 數(shù)據(jù)遠(yuǎn)程訪問技術(shù)為了實(shí)現(xiàn)上下級(jí)調(diào)度控制系統(tǒng)的縱向貫通，D5000系統(tǒng)實(shí)現(xiàn)了系統(tǒng)間數(shù)據(jù)遠(yuǎn)程訪問的機(jī)制（見圖2）。圖2中有A和B兩個(gè)系統(tǒng)，系統(tǒng)A需要訪問系統(tǒng)B的數(shù)據(jù)。具體步驟如下。

　　步驟1：系統(tǒng)A需將系統(tǒng)B中能提供哪些類型的數(shù)據(jù)注冊(cè)到資源表中。

　　步驟2：系統(tǒng)A中的應(yīng)用程序調(diào)用數(shù)據(jù)訪問接口。

　　步驟3：數(shù)據(jù)訪問接口會(huì)先通過遠(yuǎn)程資源定位服務(wù)。

　　步驟4：查詢資源定位表。

　　步驟5：通過遠(yuǎn)程資源定位服務(wù)返回的地址信息，通過SOA總線代理。

　　步驟6：找到系統(tǒng)B的資源代理。

　　步驟7：將請(qǐng)求帶到系統(tǒng)B的數(shù)據(jù)服務(wù)。

　　步驟8：系統(tǒng)B的數(shù)據(jù)服務(wù)取到數(shù)據(jù)后，逐級(jí)將結(jié)果返回給系統(tǒng)A的數(shù)據(jù)訪問接口，最后返回給調(diào)用程序。【2】

　　4。2數(shù)據(jù)訪問安全技術(shù)數(shù)據(jù)訪問安全含通信加密與安全標(biāo)簽兩項(xiàng)技術(shù)。

　　通信加密通過數(shù)字證書、隧道配置，及數(shù)據(jù)預(yù)置的方式完成相互間的身份驗(yàn)證及隧道協(xié)商。建立臨時(shí)隧道時(shí)，通過自定義的證書交換協(xié)議完成證書的交換，并完成雙向認(rèn)證及密鑰協(xié)商，對(duì)數(shù)據(jù)通信進(jìn)行加密保護(hù)。這種加密方式對(duì)上層通信完全透明，不涉及上層通信程序的改動(dòng)。

　　D5000系統(tǒng)建立了安全訪問控制策略，對(duì)系統(tǒng)中的所有訪問者（用戶、程序等）和所有服務(wù)都分配一個(gè)安全標(biāo)識(shí)，稱為標(biāo)簽。然后通過電力調(diào)度證書認(rèn)證（CA）系統(tǒng)，在標(biāo)簽基礎(chǔ)上進(jìn)行簽名，擴(kuò)展出一種安全標(biāo)簽。

　　D5000系統(tǒng)上下級(jí)數(shù)據(jù)調(diào)用中，使用了安全標(biāo)簽，并按照標(biāo)簽中的安全策略進(jìn)行數(shù)據(jù)訪問控制。

　　4。3實(shí)時(shí)庫直接定位技術(shù)實(shí)時(shí)庫直接定位技術(shù)適宜于關(guān)鍵字包含邏輯記錄號(hào)的情況，這種技術(shù)用關(guān)鍵字的邏輯記錄號(hào)也是物理記錄號(hào)（見圖3），記錄按照關(guān)鍵字中包含的記錄號(hào)放置，根據(jù)關(guān)鍵字查找記錄直接定位，沒有中間環(huán)節(jié);刪除記錄、插入記錄沒有記錄移動(dòng)，不會(huì)產(chǎn)生內(nèi)存拷貝。通過關(guān)鍵字索引，獲取全表記錄效率可接近緊湊表的效率。設(shè)備表和大量定義表均配置成直接定位方式，工程現(xiàn)場(chǎng)使用效率較高�！�3】

　　4。4商用庫歷史數(shù)據(jù)管理技術(shù)以天為單位查詢歷史數(shù)據(jù)是最為常用的歷史數(shù)據(jù)訪問方式，譬如日曲線、日?qǐng)?bào)表等，在這樣的使用場(chǎng)景下，歷史數(shù)據(jù)按行存儲(chǔ)比按列存儲(chǔ)具備更高的訪問效率。歷史采樣采用了行式存儲(chǔ)方式，在該方式下，列表示采樣時(shí)間，行表示測(cè)點(diǎn)（見圖4）�！�4】

　　以1min遙測(cè)采樣為例，1min采樣表每天會(huì)產(chǎn)生三張表名帶日期的表：遙測(cè)值表、遙測(cè)狀態(tài)表和遙信值表。該表的第一個(gè)列為DATA_ID，是某個(gè)遙測(cè)量的關(guān)鍵字;DATA_0_0，DATA_0_1，…，DATA_23_59分別表示每天第0時(shí)0分，0時(shí)1分，…，23時(shí)59分的值，該表每一行記錄可以表示一個(gè)遙測(cè)量一天中每一分鐘的值，遙測(cè)量個(gè)數(shù)與該表記錄行數(shù)相同。遙測(cè)狀態(tài)表、遙信值表與遙測(cè)值表的結(jié)構(gòu)相同，只是表中保存的分別是遙測(cè)值的狀態(tài)、遙信值。

　　歷史數(shù)據(jù)的行式管理具有如下優(yōu)點(diǎn)：

　　1）查詢效率高。查詢某測(cè)點(diǎn)日曲線時(shí)，只需訪問1張表的1條記錄即可;查詢某一歷史時(shí)刻斷面，也只需訪問1張表的2列（含關(guān)鍵字列）。

　　2）便于管理。這種表結(jié)構(gòu)設(shè)計(jì)對(duì)于采樣數(shù)據(jù)的存儲(chǔ)、歸檔、備份、恢復(fù)非常方便。

　　4。5時(shí)序內(nèi)存庫批量快速訪問技術(shù)時(shí)序內(nèi)存庫采用SOA，提供服務(wù)端和客戶端。

　　如圖5所示，服務(wù)端接收基于PMU的前置應(yīng)用報(bào)文，將數(shù)據(jù)存儲(chǔ)在本地共享內(nèi)存中，應(yīng)用程序通過調(diào)用客戶端接口訪問服務(wù)端數(shù)據(jù)。在存儲(chǔ)方面，時(shí)序內(nèi)存庫采用固定時(shí)間長度、數(shù)據(jù)值等間隔、下標(biāo)直接定位的設(shè)計(jì)滿足動(dòng)態(tài)信息數(shù)據(jù)高速、海量、帶時(shí)標(biāo)特點(diǎn)的高效存儲(chǔ)、檢索要求;同時(shí)，時(shí)序內(nèi)存庫還提供支持多線程的數(shù)據(jù)訪問及管理接口，充分利用CPU多路多核技術(shù)。這些方法有效地提升了時(shí)序內(nèi)存庫的快速批量訪問效率。【5】

　　4。6時(shí)序文件庫壓縮存儲(chǔ)技術(shù)電網(wǎng)運(yùn)行動(dòng)態(tài)數(shù)據(jù)的在線無損壓縮有2個(gè)關(guān)鍵技術(shù)難題：

　　①壓縮算法須提供較高數(shù)據(jù)壓縮率支持海量數(shù)據(jù)存儲(chǔ)要求;②數(shù)據(jù)在線存儲(chǔ)和查詢要求壓縮算法在壓縮和解壓過程中都具有較短的響應(yīng)時(shí)間。時(shí)序文件庫采用獨(dú)特的數(shù)據(jù)無損壓縮算法，根據(jù)電網(wǎng)動(dòng)態(tài)數(shù)據(jù)連續(xù)變化的特性，結(jié)合數(shù)據(jù)類型與數(shù)據(jù)測(cè)量值的變化趨勢(shì)進(jìn)行針對(duì)性優(yōu)化，在獲得更大的數(shù)據(jù)壓縮比的同時(shí)保持較高的計(jì)算效率。

　　時(shí)序文件庫采用高速索引與內(nèi)存映射技術(shù)對(duì)壓縮數(shù)據(jù)段進(jìn)行文件讀寫，獲得了較高的數(shù)據(jù)訪問速度，能夠很好地滿足省級(jí)以上調(diào)度中心的動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)要求。

　　5 數(shù)據(jù)庫訪問接口與數(shù)據(jù)庫維護(hù)管理

　　數(shù)據(jù)庫訪問提供3類接口。

　　1）數(shù)據(jù)庫本地訪問接口：以實(shí)時(shí)庫本地接口為代表，通過本地訪問接口，可將實(shí)時(shí)庫映射到進(jìn)程地址空間，訪問實(shí)時(shí)庫就如同訪問本地?cái)?shù)據(jù)一樣高效，沒有其他方面的開銷。各類在線應(yīng)用的處理、分析較多使用了數(shù)據(jù)庫本地訪問接口。

　　2）數(shù)據(jù)庫網(wǎng)絡(luò)訪問接口：在將數(shù)據(jù)庫封裝成服務(wù)的基礎(chǔ)上，提供網(wǎng)絡(luò)接口，供D5000系統(tǒng)內(nèi)部節(jié)點(diǎn)訪問分布在系統(tǒng)內(nèi)其他機(jī)器上的數(shù)據(jù)庫。這類接口存在網(wǎng)絡(luò)通信、序列化和反序列化的開銷，較數(shù)據(jù)庫本地訪問接口效率低，自動(dòng)發(fā)電控制（AGC）等需要多機(jī)數(shù)據(jù)庫的應(yīng)用和本地沒有數(shù)據(jù)庫的工作站使用到了這類接口。

　　3）數(shù)據(jù)庫遠(yuǎn)程訪問接口：如4。1節(jié)所述，在數(shù)據(jù)庫封裝成服務(wù)基礎(chǔ)上，通過通信代理，使用安全防護(hù)手段，可實(shí)現(xiàn)系統(tǒng)間的數(shù)據(jù)庫遠(yuǎn)程訪問。

　　在數(shù)據(jù)庫維護(hù)上，隨著各級(jí)調(diào)控機(jī)構(gòu)協(xié)作加強(qiáng)[29，31—32]，原有簡(jiǎn)單數(shù)據(jù)庫維護(hù)方式無法保證模型共享基礎(chǔ)上的獨(dú)立維護(hù)和互不干擾，需采用分區(qū)域/分用戶的維護(hù)管理方式（見圖6）�！�6】

　　該維護(hù)方式通過區(qū)域、廠站、節(jié)點(diǎn)/用戶、設(shè)備之間的多重關(guān)聯(lián)和級(jí)聯(lián)組合關(guān)系，結(jié)合廣域權(quán)限管理，保證數(shù)據(jù)庫協(xié)作維護(hù)管理的安全性和一致性。

　　6 數(shù)據(jù)庫容量和性能

　　在設(shè)計(jì)上，實(shí)時(shí)庫每張表的最大記錄個(gè)數(shù)可以達(dá)到1 600萬條。商用庫的歷史采樣點(diǎn)個(gè)數(shù)設(shè)計(jì)上沒有 限 制。時(shí) 序 內(nèi) 存 庫 和 時(shí) 序 文 件 庫 均 可 支 持10萬點(diǎn)的采樣，并可根據(jù)需要進(jìn)行擴(kuò)展。

　　經(jīng)過測(cè)試，實(shí)時(shí)數(shù)據(jù)庫直接定位的訪問速度不低于200萬次/s讀（寫）。商用庫能在1~2s之內(nèi)完成20萬個(gè)采樣點(diǎn)的保存，單個(gè)采樣點(diǎn)一天歷史數(shù)據(jù)的查詢?cè)?6ms以內(nèi)。時(shí)序文件庫讀寫速度不低于100萬條/s數(shù)據(jù)記錄，時(shí)序內(nèi)存庫讀寫速度不低于300萬條/s數(shù)據(jù)記錄。

　　無論D5000系統(tǒng)在容量還是性能上，這幾種數(shù)據(jù)庫都能很好地滿足系統(tǒng)未來長期運(yùn)行的需要。

　　7 結(jié)語

　　以數(shù)據(jù)庫管理為核心的D5000系統(tǒng)數(shù)據(jù)管理技術(shù)，橫向上支持應(yīng)用在Ⅰ/Ⅱ/Ⅲ區(qū)集成、擴(kuò)展，縱向上支持各級(jí)調(diào)度貫通、協(xié)作，支持各種數(shù)據(jù)訪問方式，滿足各級(jí)調(diào)度高效協(xié)同運(yùn)行效率要求。數(shù)據(jù)管理技術(shù)已成功應(yīng)用于各級(jí)D5000系統(tǒng)。數(shù)據(jù)管理技術(shù)作為D5000系統(tǒng)核心技術(shù)，有效保障了各級(jí)電網(wǎng)調(diào)度控制系統(tǒng)安全、穩(wěn)定、高效運(yùn)行，為智能電網(wǎng)建設(shè)提供了有力的技術(shù)支撐。

　　隨著以集群為方向的D5000系統(tǒng)深化研究的開展[33]，為集群服務(wù)的分布式數(shù)據(jù)管理將成為未來重要的研究方向，研究?jī)?nèi)容包括以下幾個(gè)方面。

　　1）靈活分布的數(shù)據(jù)集群化存儲(chǔ)方法需要研究滿足電網(wǎng)業(yè)務(wù)需求、可靈活分布的數(shù)據(jù)集群化存儲(chǔ)方法，其難點(diǎn)在于如何實(shí)現(xiàn)數(shù)據(jù)按電網(wǎng)業(yè)務(wù)需求進(jìn)行分片，將數(shù)據(jù)合理分布存儲(chǔ)在集群的多個(gè)節(jié)點(diǎn)中，為提高集群處理的效率提供數(shù)據(jù)存儲(chǔ)支撐。

　　2）數(shù)據(jù)遷移和冗余互備技術(shù)集群化系統(tǒng)中，節(jié)點(diǎn)數(shù)量眾多，硬件故障概率較大，需要研究分布式數(shù)據(jù)的冗余備份技術(shù)，實(shí)現(xiàn)所有分片數(shù)據(jù)的備份存儲(chǔ)，保證各冗余備份的數(shù)據(jù)一致性，在節(jié)點(diǎn)故障時(shí)仍可提供實(shí)時(shí)數(shù)據(jù)訪問，提高分布式數(shù)據(jù)的可靠性。

　　3）高效分布式數(shù)據(jù)訪問技術(shù)需要研究滿足應(yīng)用性能需求的分布式數(shù)據(jù)訪問技術(shù)，滿足大規(guī)模電網(wǎng)數(shù)據(jù)計(jì)算的實(shí)時(shí)性要求，其難點(diǎn)在于如何提供高效的算法，實(shí)現(xiàn)高效的透明分布式數(shù)據(jù)訪問。

　　隨著D5000系統(tǒng)監(jiān)控范圍的擴(kuò)大，歷史數(shù)據(jù)的不斷豐富，已有業(yè)務(wù)的融合與新業(yè)務(wù)的產(chǎn)生，借鑒云計(jì)算[3]與大數(shù)據(jù)處理[4]的思想，參考其他數(shù)據(jù)平臺(tái)[25—28]，進(jìn)行歷史數(shù)據(jù)挖掘與分析也將是D5000系統(tǒng)數(shù)據(jù)管理技術(shù)極具潛力的研究方向。

　　參 考 文 獻(xiàn)

　　[1]艾琳，王超，陳為化。三華特高壓同步聯(lián)網(wǎng)及其對(duì)調(diào)度方式的影響[J]。能源技術(shù)經(jīng)濟(jì)，2011，23（5）：38—41。