10月18日,國網(wǎng)冀北電力有限公司海量平臺(tái)分布式實(shí)時(shí)計(jì)算組件正式上線。
海量平臺(tái)分布式實(shí)時(shí)計(jì)算組件是國網(wǎng)一體化平臺(tái)年度重點(diǎn)建設(shè)內(nèi)容,國網(wǎng)冀北電力作為唯一試點(diǎn)單位,結(jié)合海量平臺(tái)V3.0和海量平臺(tái)深化應(yīng)用建設(shè)的試點(diǎn)經(jīng)驗(yàn),積極推進(jìn)海量平臺(tái)分布式實(shí)時(shí)計(jì)算組件研發(fā)應(yīng)用工作。
隨著海量平臺(tái)的持續(xù)深化應(yīng)用,特別是“電網(wǎng)規(guī)劃深化應(yīng)用”“量?jī)r(jià)費(fèi)損”數(shù)據(jù)分析挖掘類應(yīng)用的集成,催生了對(duì)海量平臺(tái)高級(jí)二次加工計(jì)算及適應(yīng)不同業(yè)務(wù)應(yīng)用海量數(shù)據(jù)分析的需求。海量平臺(tái)分布式實(shí)時(shí)計(jì)算采用API、分布式緩存、分布式計(jì)算(分布式流計(jì)算、分布式內(nèi)存計(jì)算)、分布式協(xié)調(diào)服務(wù)等核心組件,既支持實(shí)時(shí)計(jì)算場(chǎng)景,也支持歷史計(jì)算場(chǎng)景;計(jì)算框架可根據(jù)業(yè)務(wù)計(jì)算需求橫向平滑擴(kuò)展,計(jì)算結(jié)果同時(shí)滿足數(shù)據(jù)庫存儲(chǔ)和實(shí)時(shí)消息推送,以及可增加質(zhì)量碼字段,用于標(biāo)識(shí)計(jì)算結(jié)果的精確性。
自試用以來,海量平臺(tái)分布式實(shí)時(shí)計(jì)算組件極大地滿足了電網(wǎng)規(guī)劃深化應(yīng)用、量?jī)r(jià)費(fèi)損等高級(jí)二次加工計(jì)算及數(shù)據(jù)分析挖掘類應(yīng)用計(jì)算需求。以支撐量?jī)r(jià)費(fèi)損為例,海量平臺(tái)每天為量?jī)r(jià)費(fèi)損定時(shí)提供1400萬條18項(xiàng)基礎(chǔ)數(shù)據(jù),用時(shí)2小時(shí)左右,較之前線下數(shù)據(jù)處理方式效率提升了3倍;海量平臺(tái)分布式計(jì)算組件每天為量?jī)r(jià)費(fèi)損提供1.3億級(jí)基礎(chǔ)數(shù)據(jù)條目計(jì)算四項(xiàng)復(fù)雜業(yè)務(wù)分析結(jié)果,用時(shí)15分鐘左右,解決了前期采用oracle存儲(chǔ)過程方式因負(fù)載過高而無法獲取計(jì)算結(jié)果的問題。