10月18日,國網(wǎng)冀北電力有限公司海量平臺分布式實(shí)時計算組件正式上線。
海量平臺分布式實(shí)時計算組件是國網(wǎng)一體化平臺年度重點(diǎn)建設(shè)內(nèi)容,國網(wǎng)冀北電力作為唯一試點(diǎn)單位,結(jié)合海量平臺V3.0和海量平臺深化應(yīng)用建設(shè)的試點(diǎn)經(jīng)驗(yàn),積極推進(jìn)海量平臺分布式實(shí)時計算組件研發(fā)應(yīng)用工作。
隨著海量平臺的持續(xù)深化應(yīng)用,特別是“電網(wǎng)規(guī)劃深化應(yīng)用”“量價費(fèi)損”數(shù)據(jù)分析挖掘類應(yīng)用的集成,催生了對海量平臺高級二次加工計算及適應(yīng)不同業(yè)務(wù)應(yīng)用海量數(shù)據(jù)分析的需求。海量平臺分布式實(shí)時計算采用API、分布式緩存、分布式計算(分布式流計算、分布式內(nèi)存計算)、分布式協(xié)調(diào)服務(wù)等核心組件,既支持實(shí)時計算場景,也支持歷史計算場景;計算框架可根據(jù)業(yè)務(wù)計算需求橫向平滑擴(kuò)展,計算結(jié)果同時滿足數(shù)據(jù)庫存儲和實(shí)時消息推送,以及可增加質(zhì)量碼字段,用于標(biāo)識計算結(jié)果的精確性。
自試用以來,海量平臺分布式實(shí)時計算組件極大地滿足了電網(wǎng)規(guī)劃深化應(yīng)用、量價費(fèi)損等高級二次加工計算及數(shù)據(jù)分析挖掘類應(yīng)用計算需求。以支撐量價費(fèi)損為例,海量平臺每天為量價費(fèi)損定時提供1400萬條18項(xiàng)基礎(chǔ)數(shù)據(jù),用時2小時左右,較之前線下數(shù)據(jù)處理方式效率提升了3倍;海量平臺分布式計算組件每天為量價費(fèi)損提供1.3億級基礎(chǔ)數(shù)據(jù)條目計算四項(xiàng)復(fù)雜業(yè)務(wù)分析結(jié)果,用時15分鐘左右,解決了前期采用oracle存儲過程方式因負(fù)載過高而無法獲取計算結(jié)果的問題。