引言：福州水務(wù)集團有限公司（以下簡稱“福州水務(wù)”）成立于2008年，注冊資本21.2億元?，F(xiàn)有各級參控股子公司60多家，包括1家A股上市企業(yè)及2家國家級高新技術(shù)企業(yè)。福州水務(wù)是一家集供水、排水、環(huán)保、溫泉、綜合服務(wù)五大板塊為一體的綜合環(huán)境服務(wù)商，市場拓展至省內(nèi)外，輻射江西、廣東、江蘇、浙江等16個省、市、自治區(qū)。運營17座水廠，總規(guī)模195萬噸/日，其中福州主城區(qū)供水服務(wù)范圍覆蓋福州市四城區(qū)約250平方公里，服務(wù)人口超280萬人；運營污水廠24座，污水處理規(guī)模176萬噸/日，原水供應(yīng)規(guī)模336萬噸/日（含在建），總規(guī)模707萬噸/日（含在建）。

福州水務(wù)于2018年成立信息化指揮部并組建數(shù)字水務(wù)研究中心，正式啟動數(shù)字水務(wù)建設(shè)。在數(shù)字水務(wù)建設(shè)的初級階段，福州水務(wù)規(guī)劃了“一個大數(shù)據(jù)中心、三大板塊、六大體系、八大重點項目”的“1368”數(shù)字水務(wù)戰(zhàn)略。在該戰(zhàn)略指引下，福州水務(wù)通過大數(shù)據(jù)中心建設(shè)，向上支撐集團生產(chǎn)運營、營銷客服、管理管控三大板塊的不同應(yīng)用，以推進(jìn)集團的數(shù)字化、智慧化轉(zhuǎn)型。

項目概況

福州水務(wù)大數(shù)據(jù)中心項目結(jié)合公司發(fā)展戰(zhàn)略的需要，建立適應(yīng)智慧水務(wù)的，具備行業(yè)影響力的大數(shù)據(jù)中心，統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，提升數(shù)據(jù)質(zhì)量，為各類智慧應(yīng)用提供堅實的數(shù)據(jù)基礎(chǔ)，最終為管理運營提供有效的決策支持，提升數(shù)據(jù)的價值。

項目背景

福州水務(wù)高度重視營商環(huán)境以及客戶服務(wù)工作，持續(xù)不斷推出便民舉措，并引入先進(jìn)的服務(wù)理念以及工具和手段輔助客戶服務(wù)工作效率和質(zhì)量的提升，公司相繼建設(shè)了營銷系統(tǒng)、報裝系統(tǒng)、呼叫中心等多個系統(tǒng)，這些系統(tǒng)對于客戶服務(wù)工作開展起到了良好的支撐作用。

在福州水務(wù)集團有限公司“FS1368”數(shù)字水務(wù)戰(zhàn)略指引下，為進(jìn)一步升級和優(yōu)化客戶服務(wù)水平，對客戶服務(wù)相關(guān)的數(shù)據(jù)資源進(jìn)一步集成和整合，充分發(fā)掘利用數(shù)據(jù)資產(chǎn)價值，為福州水務(wù)的客戶服務(wù)工作人員提供更便捷的工具用于支撐服務(wù)工作，在進(jìn)一步提升服務(wù)于響應(yīng)速度和質(zhì)量的同時，實現(xiàn)更進(jìn)一步的精準(zhǔn)服務(wù)和主動服務(wù)，為福州市民提供更好的用水服務(wù)體驗。

2. 項目簡介

福州水務(wù)數(shù)據(jù)資源規(guī)劃建立了數(shù)據(jù)資源的統(tǒng)一標(biāo)準(zhǔn)體系，描繪了數(shù)字化企業(yè)的數(shù)據(jù)流的基礎(chǔ)來源，保證數(shù)據(jù)的來源唯一性；對所涉及的數(shù)據(jù)進(jìn)行準(zhǔn)確的定義，包括該數(shù)據(jù)的各種屬性的描述。通過對業(yè)務(wù)管理層、決策分析層和基礎(chǔ)工作層等信息數(shù)據(jù)需求的分析，確定出數(shù)據(jù)在各層次的具體表現(xiàn)、交換方式、數(shù)據(jù)部署狀況，從而在此基礎(chǔ)上制定出企業(yè)數(shù)據(jù)規(guī)劃框架設(shè)計和實施策略。福州水務(wù)大數(shù)據(jù)中心即以此為標(biāo)準(zhǔn)進(jìn)行建設(shè)。

大數(shù)據(jù)中心平臺覆蓋全鏈路的數(shù)據(jù)集成、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)、數(shù)據(jù)運維、數(shù)據(jù)共享服務(wù)等不同階段的數(shù)據(jù)開發(fā)場景。并將原來通過人工經(jīng)驗+人工約定的數(shù)據(jù)模型搭建改為系統(tǒng)化的規(guī)范方式，實現(xiàn)從模型的基礎(chǔ)配置到在線設(shè)計的規(guī)范化過程，使得無論從數(shù)據(jù)庫、表和字段層面上，形成系統(tǒng)化的命名規(guī)范。定時監(jiān)控規(guī)則運行、即時生成校驗報告，輔助定位數(shù)據(jù)質(zhì)量的問題根源，實現(xiàn)數(shù)據(jù)高可信、高可用的目標(biāo)。

項目目標(biāo)

通過的統(tǒng)一數(shù)據(jù)匯聚和標(biāo)準(zhǔn)管理的能力、統(tǒng)一維護并對外提供服務(wù)的模式，盤活融通數(shù)據(jù)資產(chǎn)、激活數(shù)據(jù)服務(wù)能力，促進(jìn)“產(chǎn)業(yè)數(shù)據(jù)化、數(shù)據(jù)產(chǎn)業(yè)化”的正循環(huán)效應(yīng)，從而實現(xiàn)“統(tǒng)一標(biāo)準(zhǔn)規(guī)范、統(tǒng)一數(shù)據(jù)存儲、統(tǒng)一數(shù)據(jù)資產(chǎn)、統(tǒng)一技術(shù)平臺、統(tǒng)一數(shù)據(jù)服務(wù)、百花齊放應(yīng)用”的效果。

（1）實現(xiàn)公司海量數(shù)據(jù)的集約化管理

建立基于Hadoop大數(shù)據(jù)中心，實現(xiàn)為各個應(yīng)用提供包括離線計算、實時計算、多維分析、統(tǒng)一資源管理及分布式文件系統(tǒng)服務(wù)。實現(xiàn)對“原、制、供、排、污”全業(yè)務(wù)鏈的生產(chǎn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，進(jìn)行集成和整合，構(gòu)建“人”,“水”,“廠”全方位的水務(wù)行業(yè)數(shù)據(jù)資產(chǎn)，并提供多維度數(shù)據(jù)資產(chǎn)的感知、分析、監(jiān)控的能力；可構(gòu)建面向水務(wù)基礎(chǔ)設(shè)施數(shù)字化管理、管養(yǎng)精細(xì)化、調(diào)度智能化、服務(wù)扁平化等應(yīng)用場景的水務(wù)數(shù)據(jù)服務(wù)總線，實現(xiàn)企業(yè)級的數(shù)據(jù)服務(wù)發(fā)布和共享，支撐技術(shù)中心管理人員，長期高效的運營數(shù)據(jù)服務(wù)能力，提高企業(yè)整體數(shù)據(jù)運營能力和工作效率。

（2）實現(xiàn)公司運營管理的全面降本增效

實現(xiàn)企業(yè)全面大數(shù)據(jù)治理，實現(xiàn)跨系統(tǒng)、跨部門自動化數(shù)據(jù)流轉(zhuǎn)，實現(xiàn)生產(chǎn)、管網(wǎng)輸配、營銷客服等業(yè)務(wù)統(tǒng)一全面數(shù)據(jù)共享和業(yè)務(wù)整合，全面提升系統(tǒng)自動化協(xié)同和閉環(huán)能力，建立公司統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)體系，依托數(shù)據(jù)全面整合，整體分析公司運營管理各個節(jié)點和問題環(huán)節(jié)，實現(xiàn)制度、流程的優(yōu)化和簡化，全面提升公司工作效率，降低人耗、物耗和流程內(nèi)耗；實現(xiàn)應(yīng)用系統(tǒng)數(shù)據(jù)和其他業(yè)務(wù)領(lǐng)域數(shù)據(jù)全面打通和共享，全面提升數(shù)據(jù)實時性、精準(zhǔn)性、共享能力。例如：1、營收客服數(shù)據(jù)能夠為水廠生產(chǎn)、精細(xì)化調(diào)度提供精準(zhǔn)水量預(yù)測；2、為全面漏損分析、水質(zhì)分析提供數(shù)據(jù)支撐；3、為產(chǎn)銷差分析提供優(yōu)化分析模型的數(shù)據(jù)服務(wù)；4、可以通過熱線電話分布區(qū)域信息和管網(wǎng)GIS信息，實現(xiàn)水質(zhì)等問題精準(zhǔn)定位等業(yè)務(wù)。從而實現(xiàn)生產(chǎn)體系、管網(wǎng)輸配、二次供水與營銷客服系統(tǒng)全面的數(shù)據(jù)打通、業(yè)務(wù)協(xié)同，提升整體運營效率，提升整體運營管理水平。

（3）提升公司大數(shù)據(jù)管理和大數(shù)據(jù)應(yīng)用能力

建設(shè)全面覆蓋公司生產(chǎn)、管網(wǎng)輸配、二次供水、營銷客服體系的大數(shù)據(jù)中心和大數(shù)據(jù)應(yīng)用平臺，實現(xiàn)大數(shù)據(jù)標(biāo)準(zhǔn)體系建設(shè)，實現(xiàn)水務(wù)多領(lǐng)域數(shù)據(jù)融合，單一來源數(shù)據(jù)價值挖掘空間狹窄，更多數(shù)據(jù)價值創(chuàng)造將依賴多源數(shù)據(jù)融合，建設(shè)大數(shù)據(jù)中心為基礎(chǔ)的統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系，從而實現(xiàn)數(shù)據(jù)全面共享，標(biāo)準(zhǔn)化交換和價值挖掘，提升公司綜合運營管理能力。通過大數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)模型，實現(xiàn)各個業(yè)務(wù)系統(tǒng)數(shù)據(jù)全面共享，沉淀數(shù)據(jù)資產(chǎn)和共性能力，以平臺+應(yīng)用的建設(shè)模式，最終實現(xiàn)數(shù)據(jù)資源集約化利用，提升公司數(shù)據(jù)管理能力。

（4）提升公司全面對外數(shù)據(jù)服務(wù)能力

隨著智慧城市、數(shù)字化城市的發(fā)展，政府機構(gòu)、社會公眾、工商企業(yè)對水務(wù)公共事業(yè)基礎(chǔ)設(shè)施、生產(chǎn)運營、營銷客服的數(shù)據(jù)共享、服務(wù)能力共享的訴求日益增強，公司需要建立基于數(shù)據(jù)中臺的標(biāo)準(zhǔn)大數(shù)據(jù)服務(wù)，對外提供規(guī)范統(tǒng)一、安全穩(wěn)定、高效靈活的數(shù)據(jù)服務(wù)；構(gòu)建數(shù)據(jù)服務(wù)能力平臺，為政府、社會機構(gòu)提供高效率、智能化大數(shù)據(jù)應(yīng)用服務(wù)；通過平臺數(shù)據(jù)集成和計算查詢優(yōu)勢、對外提供高效和標(biāo)準(zhǔn)化的數(shù)據(jù)服務(wù)，而不是通過傳統(tǒng)的應(yīng)用系統(tǒng)開發(fā)提供定制化接口，從而全面降低對業(yè)務(wù)系統(tǒng)的依賴和局限性，全面降低公司對外服務(wù)運維成本。通過標(biāo)準(zhǔn)化、高效率、易維護的數(shù)據(jù)服務(wù)平臺的統(tǒng)一服務(wù)接口，為智慧市政、智慧社區(qū)等領(lǐng)域的應(yīng)用建設(shè)提供全面的大數(shù)據(jù)技術(shù)支撐。

二、項目實施概況

1. 項目總體架構(gòu)和主要內(nèi)容

本項目提出了一種基于Hadoop分布式并行計算技術(shù)的總體架構(gòu)。該架構(gòu)涵蓋了離線數(shù)倉和實時數(shù)倉，提供了數(shù)據(jù)批處理與流處理的計算能力，為不同業(yè)務(wù)場景提供了一個數(shù)據(jù)計算支撐平臺。圖1給出了大數(shù)據(jù)中心的總體技術(shù)架構(gòu)圖。

圖1  大數(shù)據(jù)中心總體技術(shù)架構(gòu)

Hadoop作為大數(shù)據(jù)管理平臺一個核心應(yīng)用，大數(shù)據(jù)管理平臺建設(shè)為了更好的滿足應(yīng)用需求和結(jié)合Hadoop的性能、功能，采用Hadoop的HDFS作為分布式大數(shù)據(jù)量存儲的核心。大數(shù)據(jù)中心平臺通過對Hadoop的定制來滿足實際應(yīng)用的需求，通過開發(fā)分布式計算程序來提供和支持云計算和大數(shù)據(jù)的分析挖掘。

在該系統(tǒng)中，整體分為數(shù)據(jù)采集層、模型計算層、數(shù)據(jù)服務(wù)層和管理運維層等四個層次。覆蓋了水務(wù)行業(yè)水廠、管網(wǎng)、二供、營收、客服等全業(yè)務(wù)數(shù)據(jù)采集、計算與共享等方面。

3. 具體應(yīng)用場景和應(yīng)用模式

應(yīng)用場景

（1）建立統(tǒng)一數(shù)據(jù)匯聚中心。將主題數(shù)據(jù)進(jìn)行梳理，通過采集、清洗、轉(zhuǎn)換工作，匯聚至大數(shù)據(jù)中心進(jìn)行存儲，打破了數(shù)據(jù)孤島現(xiàn)狀，并建立數(shù)據(jù)存儲標(biāo)準(zhǔn)，為后續(xù)數(shù)據(jù)開發(fā)、數(shù)據(jù)共享、數(shù)據(jù)應(yīng)用提供數(shù)據(jù)支撐。

（2）建立服務(wù)總線。大數(shù)據(jù)中心建立數(shù)據(jù)服務(wù)總線，打通并建立統(tǒng)一的業(yè)務(wù)系統(tǒng)與異構(gòu)系統(tǒng)數(shù)據(jù)共享通道，將大數(shù)據(jù)中心自身數(shù)據(jù)以服務(wù)形式進(jìn)行封裝輸出外，也將業(yè)務(wù)系統(tǒng)自有接口進(jìn)行注冊轉(zhuǎn)發(fā)，以此建立數(shù)據(jù)服務(wù)市場，將企業(yè)內(nèi)所有數(shù)據(jù)服務(wù)統(tǒng)一發(fā)布，各類異構(gòu)系統(tǒng)可瀏覽市場，并按需申請服務(wù)。解決對接通道太多、數(shù)據(jù)服務(wù)無法監(jiān)控、重復(fù)接出、對業(yè)務(wù)系統(tǒng)造成壓力、無法管理等多種問題。

（3）綜合業(yè)務(wù)平臺。該平臺主要面向坐席客服人員，將營收、報裝、表務(wù)、工單、熱線、短信等日常坐席人員所使用的系統(tǒng)進(jìn)行數(shù)據(jù)整合，提供匯聚上述系統(tǒng)關(guān)鍵用戶信息的綜合查詢頁面。通過綜合業(yè)務(wù)平臺，可直觀的展示用戶畫像，通過簡易搜索條件，如用戶手機號、客戶編號等快捷查詢相關(guān)用戶的基礎(chǔ)信息、繳費記錄、欠繳信息、抄表信息、短信發(fā)送記錄、報裝記錄、熱線服務(wù)工單、熱線錄音等所有關(guān)聯(lián)數(shù)據(jù)。同時該平臺也可作為企業(yè)客戶信息關(guān)系查詢渠道，為營管、客服等相關(guān)部門提供業(yè)務(wù)輔助。

（4）提供報表工具。大數(shù)據(jù)中心提供了自定義報表工具，該工具不受限于報表的格式、統(tǒng)計維度，且能隨時變更報表樣式，快速制作報表。業(yè)務(wù)部門只需要提供報表內(nèi)容的統(tǒng)計邏輯，由信息管理部門利用大數(shù)據(jù)中心開發(fā)平臺制作出相關(guān)數(shù)據(jù)指標(biāo)，業(yè)務(wù)部門即可自己將數(shù)據(jù)指標(biāo)拖拽至表格區(qū)，自由定義所需要的報表樣式，極大的縮短了報表制作時長，降低報表制作門檻。

應(yīng)用情況

外部業(yè)務(wù)應(yīng)用概況

目前大數(shù)據(jù)中心支撐了網(wǎng)上營業(yè)廳、微信公眾號、產(chǎn)銷差系統(tǒng)、財務(wù)系統(tǒng)的數(shù)據(jù)服務(wù)。這種模式，相比傳統(tǒng)數(shù)據(jù)服務(wù)開發(fā)效率提高50%以上，徹底解放即時開發(fā)所帶來的人力消耗，數(shù)據(jù)靈活復(fù)用有助于提高數(shù)據(jù)開放共享能力，推動數(shù)據(jù)資產(chǎn)服務(wù)化，讓開發(fā)者集中精力關(guān)注創(chuàng)新應(yīng)用的業(yè)務(wù)需求。

以網(wǎng)上營業(yè)廳為例，在對接大數(shù)據(jù)中心之前，是需要分別與原營業(yè)收費系統(tǒng)對接賬單查詢接口，與工單系統(tǒng)對接工單申報接口，與微信公眾號對接公共信息發(fā)布接口等等，這些接口只能單獨服務(wù)于網(wǎng)上營業(yè)廳，其它第三方平臺無法直接復(fù)用。

而大數(shù)據(jù)中心作為網(wǎng)上營業(yè)廳與營收、報裝、工單、表務(wù)、短信平臺等業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換的唯一通道，幾乎支撐了網(wǎng)上營業(yè)廳所有功能的運行，極大的提升了接口復(fù)用性，能夠通過接口訪問權(quán)限，為任意第三方平臺提供必要的接口服務(wù)。同時，也極大的簡化了數(shù)據(jù)流結(jié)構(gòu)，通過大數(shù)據(jù)中心的監(jiān)控能迅速定位出故障發(fā)生位置，便于后期數(shù)據(jù)管理與監(jiān)控。

內(nèi)部可視化應(yīng)用情況

包括1個綜合業(yè)務(wù)平臺、2個駕駛艙、2個大屏、3個數(shù)據(jù)挖掘主題（改善每月抄表情況、優(yōu)化水表管理、改善工單處理狀況），共計88項指標(biāo)和19張報表，覆蓋了水表、用戶檔案、抄表、計費、工單、報裝、話務(wù)和收費等業(yè)務(wù)，極大提升了營銷數(shù)據(jù)的使用價值，為基層業(yè)務(wù)人員日常工作提供了切切實實的便利。

例如：營管部每月要統(tǒng)計連續(xù)0噸用戶清單，以便篩選出異常用戶，安排人員現(xiàn)場核實處理，減少企業(yè)水量、水費損失。此項工作，據(jù)工作人員反饋，每次需要花費將近1周的時間，從原營收系統(tǒng)中各個位置統(tǒng)計、導(dǎo)出，然后再作篩選，工作量大，并且容易出錯。而大數(shù)據(jù)中心提供的“連續(xù)0噸用戶清單”報表，可以自定義查詢固定時間段內(nèi)連續(xù)XX月0噸用戶清單，經(jīng)業(yè)務(wù)人員核對，數(shù)據(jù)準(zhǔn)確、使用便利，從根本上協(xié)助業(yè)務(wù)人員釋放了工作壓力，極大的提高了工作效率。

圖例1：業(yè)務(wù)報表工具

綜合業(yè)務(wù)查詢平臺匯聚了營收系統(tǒng)、報裝系統(tǒng)、工單系統(tǒng)、表務(wù)系統(tǒng)、熱線系統(tǒng)和短信平臺的相關(guān)數(shù)據(jù)，平臺會根據(jù)每個用水戶的用水行為，自動建立用戶畫像，同時也支持通過一個平臺，一次操作，查詢出6個系統(tǒng)的業(yè)務(wù)數(shù)據(jù)。綜合業(yè)務(wù)查詢平臺為客戶服務(wù)中心業(yè)務(wù)人員提供了統(tǒng)一、便捷、快速的服務(wù)平臺，當(dāng)坐席接到用戶來電時，即可通過來電號碼定位用戶，為坐席人員提供用戶基本信息、用水信息、繳費信息、工單信息、歷史短信、歷史來電情況、停水情況等等全方位的數(shù)據(jù)，極大的縮短了服務(wù)時長，提高了便民服務(wù)體驗。目前該平臺已在“客服熱線中心”進(jìn)行試運行，該平臺的數(shù)據(jù)呈現(xiàn)方式得到了業(yè)務(wù)人員和相關(guān)領(lǐng)導(dǎo)的認(rèn)可。

系統(tǒng)相關(guān)截圖如下：

圖例2：綜合業(yè)務(wù)查詢平臺

圖例3：營銷駕駛艙

圖例4：客服駕駛艙

圖例5：營銷報表

圖例6：客服報表

5. 其他亮點

1.全鏈路基礎(chǔ)營銷體系數(shù)據(jù)工廠，支撐大數(shù)據(jù)中心多樣性需求。數(shù)據(jù)平臺覆蓋全鏈路數(shù)據(jù)集成、數(shù)據(jù)模型、數(shù)據(jù)資產(chǎn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)開發(fā)、數(shù)據(jù)運維、數(shù)據(jù)共享服務(wù)等不同階段的數(shù)據(jù)開發(fā)場景，全面支持大數(shù)據(jù)中心建設(shè)過程中的多樣性需求，開發(fā)過程無需切換多個工具

2.規(guī)范化數(shù)據(jù)模型開發(fā)，實現(xiàn)數(shù)據(jù)資產(chǎn)可視化。將原來通過人工經(jīng)驗+人工約定的數(shù)據(jù)模型搭建改為系統(tǒng)化的規(guī)范方式，實現(xiàn)從模型的基礎(chǔ)配置、到在線設(shè)計的規(guī)范化過程，使得無論從數(shù)據(jù)庫、表和字段層面上，形成系統(tǒng)化的命名規(guī)范?？蓪崿F(xiàn)數(shù)據(jù)資產(chǎn)元數(shù)據(jù)可更新、可維護，支持多級類目管理，確保數(shù)據(jù)資產(chǎn)分門別類，便于后續(xù)的查找和維護。

3.通過全流程監(jiān)控打造數(shù)據(jù)治理閉環(huán)機制?；诟餍袠I(yè)實戰(zhàn)經(jīng)驗，平臺內(nèi)置多種校驗規(guī)則，滿足大多數(shù)場景下的數(shù)據(jù)質(zhì)量檢驗需求，定時監(jiān)控規(guī)則運行、即時查看校驗報告，輔助定位數(shù)據(jù)質(zhì)量的問題根源，為數(shù)據(jù)高可用性保駕護航。最終實現(xiàn)對數(shù)據(jù)質(zhì)量問題實時監(jiān)測，事前準(zhǔn)備、事中監(jiān)測、事后報告，讓數(shù)據(jù)達(dá)到高可信、高可用的目標(biāo)。

4.零代碼生成API，數(shù)據(jù)服務(wù)調(diào)用全流程監(jiān)控。數(shù)據(jù)獲取無需編碼，通過在線配置簡易、快速創(chuàng)建API，并通過在API市場上架，實現(xiàn)對于數(shù)據(jù)服務(wù)的統(tǒng)一化管理，提高數(shù)據(jù)應(yīng)用效率，挖掘數(shù)據(jù)共享價值。根據(jù)數(shù)據(jù)服務(wù)調(diào)用情況進(jìn)行實時監(jiān)管，后臺安全可控。

三、下一步實施計劃

雖然大數(shù)據(jù)中心（一期）重點是營銷客服專題，但這并不意味著大數(shù)據(jù)中心只支持營銷客服板塊數(shù)據(jù)的匯聚、開發(fā)與服務(wù)，根據(jù)數(shù)字水務(wù)規(guī)劃，在大數(shù)據(jù)中心的目標(biāo)就要做成一個支持多元接入的能力平臺。所以，后續(xù)水務(wù)集團中排水、溫泉、污水、工程等等不同業(yè)務(wù)類型，不同數(shù)據(jù)存儲方式，均能通過大數(shù)據(jù)中心進(jìn)行數(shù)據(jù)的二次開發(fā)和共享。

四、項目創(chuàng)新點和實施效果

1. 項目先進(jìn)性及創(chuàng)新點

（1）先進(jìn)性

1）異構(gòu)數(shù)據(jù)存儲、冗余存儲和PB級別的計算能力

支持多數(shù)據(jù)，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化（JSON/BSON，XML形式存儲）、非結(jié)構(gòu)化數(shù)據(jù)，例如純文本、圖片或者圖層數(shù)據(jù)的高效存儲以及讀取。

數(shù)據(jù)分片冗余存儲多份以上。

通過使用MPP技術(shù)，在高負(fù)載下可保持高性能，每機架每小時可處理高達(dá)10T的數(shù)據(jù)。

2）基于SQL的快速批處理

支持通過SQL語言對數(shù)據(jù)進(jìn)行高效批量統(tǒng)計的能力。同時利用全局/輔助索引進(jìn)行SQL執(zhí)行加速，可以滿足高速的OLAP數(shù)據(jù)分析應(yīng)用需求和高速的SQL離線批處理。

3）低延時高并發(fā)查詢

支持多種索引，包括全局索引（GlobalIndex）、局部索引（LocalIndex）、高維索引（High-DimensionalIndex）以及全文索引（Full-TextIndex）等；

支持通過SQL進(jìn)行復(fù)雜條件毫秒級高并發(fā)查詢，滿足在線存儲和在線業(yè)務(wù)分析系統(tǒng)(OLAP)的低延時需求。

4）高級機器學(xué)習(xí)功能

內(nèi)嵌Apache MADLib 機器學(xué)習(xí)庫，提供大量機器學(xué)習(xí)算法，支持R、線性代數(shù)和機器學(xué)習(xí)功能。

5）數(shù)據(jù)高度壓縮

采用了業(yè)內(nèi)領(lǐng)先的壓縮技術(shù)，提高性能的同時，顯著地減少存儲數(shù)據(jù)所需的空間?？蛻艨梢詫⑺每臻g減少3-10倍，并提高有效的I/O性能。

6）動態(tài)擴容

便捷的小規(guī)?；虼笠?guī)模擴展，同時避免高成本的設(shè)備或SMP服務(wù)器升級。

7）本次技術(shù)選型相對Hadoop、Hive、Spark等常規(guī)大數(shù)據(jù)平臺技術(shù)的優(yōu)勢

  性能：在6臺8核16G的服務(wù)器上對30億條記錄做統(tǒng)計分析查詢，Hadoop+Spark花費的時間接近120秒，GP用時1秒；

 索引支持：GP支持持二叉搜索樹、哈希、位圖、GiST和GIN，從而能夠?qū)崿F(xiàn)多種索引功能，提供給數(shù)據(jù)架構(gòu)師實施優(yōu)化設(shè)計所必需的工具。

 事務(wù)支持：同時支持OLAP和OLTP，Hadoop等不支持?jǐn)?shù)據(jù)庫事務(wù)；

 數(shù)據(jù)加載速度：高性能的并行數(shù)據(jù)裝載器可以在所有節(jié)點上同步執(zhí)行操作，裝載速度超過4.5TB/小時；

易用性：完全支持ANSI SQL 2008標(biāo)準(zhǔn)和SQL OLAP 2003 擴展；從應(yīng)用編程接口上講，它支持ODBC和JDBC。完善的標(biāo)準(zhǔn)支持使得系統(tǒng)開發(fā)、維護和管理都大為方便。而現(xiàn)在的 NoSQL，NewSQL和Hadoop 對 SQL 的支持都不完善，不同的系統(tǒng)需要單獨開發(fā)和管理，且移植性不好；

 數(shù)據(jù)壓縮：GP可以對冷數(shù)據(jù)進(jìn)行壓縮，壓縮后減少的磁盤空間10倍以上，并提高有效的I/O性能。

8）報表引擎優(yōu)勢

提供報表設(shè)計器，支持多維度報表結(jié)構(gòu)設(shè)計，支持多層嵌套的表頭信息，支持多數(shù)據(jù)源

（2）創(chuàng)新點

1）集成kettle到大數(shù)據(jù)中心

集成kettle到大數(shù)據(jù)中心，統(tǒng)一由大數(shù)據(jù)中心進(jìn)行etl邏輯編撰和作業(yè)調(diào)度，使用kettle剝離數(shù)據(jù)存儲到ODS層，降低近半數(shù)據(jù)量存儲。

2）實現(xiàn)了API統(tǒng)一管理

研發(fā)了水務(wù)數(shù)據(jù)底座技術(shù)，建立了API（數(shù)據(jù)服務(wù)接口）庫，很方便的實現(xiàn)了與第三方軟件產(chǎn)品及數(shù)據(jù)對接。

3）整合空間數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)

通過分析、抽取、整合GIS系統(tǒng)與其它業(yè)務(wù)系統(tǒng)的基礎(chǔ)數(shù)據(jù)，從而提升了業(yè)務(wù)數(shù)據(jù)可視化的能力。

4）提供了數(shù)據(jù)倉庫建設(shè)標(biāo)準(zhǔn)

借助多年的水行業(yè)業(yè)務(wù)經(jīng)驗，課題建設(shè)了標(biāo)準(zhǔn)的DW層和DM數(shù)據(jù)數(shù)據(jù)結(jié)構(gòu)，便于以“USB口”的形式，直接接入任何同類型產(chǎn)品的ODS層數(shù)據(jù)，減少了對接難度和時間。

5）提供了常用指標(biāo)的標(biāo)準(zhǔn)算法邏輯

基于“營銷”和“生產(chǎn)”體系，形成了標(biāo)準(zhǔn)的指標(biāo)算法邏輯，由于該算法從標(biāo)準(zhǔn)的DW層和DM層獲取數(shù)據(jù)，所以可提升各類指標(biāo)算法的復(fù)用性。

6）大數(shù)據(jù)中心建設(shè)及挖掘數(shù)據(jù)價值

基于數(shù)據(jù)分析挖掘，實現(xiàn)水務(wù)業(yè)務(wù)從被動服務(wù)到主動服務(wù)的轉(zhuǎn)變。

2. 實施效果

（1）大數(shù)據(jù)中心在網(wǎng)上營業(yè)廳的應(yīng)用

大數(shù)據(jù)中心共為網(wǎng)上營業(yè)廳提供98個接口，其中13個接口直接從大數(shù)據(jù)中心的數(shù)據(jù)倉庫中獲取用戶、賬單等數(shù)據(jù)， 85個接口為各關(guān)聯(lián)業(yè)務(wù)系統(tǒng)接口，在大數(shù)據(jù)中心注冊、轉(zhuǎn)發(fā)和管理。接口日均訪問量超萬次，接口調(diào)用成功率99.98%，接口平均調(diào)用時長約0.6秒，其中賬單類的接口調(diào)用時長在1.2秒左右，其它接口大多數(shù)在1秒以內(nèi)。

通過接口服務(wù)支撐模式，極大的減少了網(wǎng)上營業(yè)廳在系統(tǒng)后端的開發(fā)投入，大數(shù)據(jù)中心直接承載了多個業(yè)務(wù)后端邏輯的調(diào)研、梳理、開發(fā)及服務(wù)，包括：應(yīng)收列表、營收明細(xì)、繳費信息、水表信息、用戶代扣信息、系統(tǒng)收費方式、年度賬單用水總量、年度賬單用戶信用等級、年度賬單年繳費類型、年度賬單加價費用、查詢客戶編號、查詢用戶畫像等。

（2）大數(shù)據(jù)中心在水務(wù)智慧大腦的應(yīng)用

大數(shù)據(jù)中心為福州水務(wù)智慧大腦提供5個接口，其中4個接口直接從大數(shù)據(jù)中心的數(shù)據(jù)倉庫中獲取用戶、工單、停水等數(shù)據(jù)，為集團總覽板塊、供水總覽板塊和營銷客服板塊提供數(shù)據(jù)支撐。1個接口在大數(shù)據(jù)中心注冊、轉(zhuǎn)發(fā)和管理。接口每日訪問量合計20次以上，接口調(diào)用成功率100%，接口平均調(diào)用時長約0.5秒。

福州智慧大腦綜合大屏的數(shù)據(jù)不僅僅來源于大數(shù)據(jù)中心，如果將其接入數(shù)據(jù)來源分為大數(shù)據(jù)中心與非大數(shù)據(jù)中心，非大數(shù)據(jù)中心的數(shù)據(jù)接入比較繁瑣，信息工程師需要開展數(shù)據(jù)情況調(diào)研與業(yè)務(wù)計算邏輯、指標(biāo)數(shù)據(jù)開發(fā)、結(jié)果校驗、服務(wù)封裝等整個過程，信息工程師往往對接一個指標(biāo)數(shù)據(jù)需要花費兩周，甚至更久，而來源大數(shù)據(jù)中心的數(shù)據(jù)則可直接進(jìn)行服務(wù)調(diào)用，前期的所有工作由大數(shù)據(jù)中心直接接管，甚至后期數(shù)據(jù)維護、監(jiān)控管理都不需要參與，水務(wù)智慧大腦平臺只管使用即可，大大縮短了水務(wù)智慧大腦的建設(shè)周期，減輕了后端管理的壓力。

（3）大數(shù)據(jù)中心在產(chǎn)銷差分析系統(tǒng)的應(yīng)用

大數(shù)據(jù)中心為產(chǎn)銷差分析系統(tǒng)提供了8個接口，系統(tǒng)每日從大數(shù)據(jù)中心接口中獲取抄表數(shù)據(jù)與用戶表信息數(shù)據(jù)，主要用于計算三級分區(qū)的供水量、一二三級分區(qū)的售水量、監(jiān)控表與戶表對應(yīng)關(guān)系，得到產(chǎn)銷差的計算結(jié)果。接口每日調(diào)用頻率700次以上，接口調(diào)用成功率100%，接口平均調(diào)用時長約0.7秒。

在大數(shù)據(jù)中心提供支撐之前，產(chǎn)銷差系統(tǒng)為獲取用戶信息與水量開賬信息則需要每日多次請求營業(yè)收費數(shù)據(jù)庫，這將增加營業(yè)收費數(shù)據(jù)庫的負(fù)擔(dān)，影響營業(yè)收費系統(tǒng)的日常運行效率。此外獲取到的水量信息還需要進(jìn)行合并同一戶水表的每月多次開賬記錄等特殊化處理，才能接入產(chǎn)銷差系統(tǒng)正常使用，不僅繁瑣，且時效性極低，通過大數(shù)據(jù)中心接口即可避免這一操作，實現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化規(guī)范化輸出至其他應(yīng)用系統(tǒng)。

（4）大數(shù)據(jù)中心在水力模型業(yè)務(wù)的應(yīng)用

大數(shù)據(jù)中心為供水水力模型系統(tǒng)提供了7個服務(wù)接口，涉及用戶信息更新、抄表、用戶狀態(tài)、區(qū)域水量等方面，以往水力模型需要直接對接營收系統(tǒng)匯總的“表卡信息表”、“客戶信息表”與“營業(yè)賬子表”，但由于該表按月份分表、分庫存儲的，如果涉及跨月查詢統(tǒng)計時，非常繁瑣，需要對歷史表進(jìn)行組合、篩選和計算，將會降低查詢效率、增加接口維護難度，水力模型很難做到精準(zhǔn)的在線計算。

在與大數(shù)據(jù)中心對接后，通過大數(shù)據(jù)中心對分歷史數(shù)據(jù)的處理計算機制，提供API服務(wù)為水力模型高頻輸出和更新用戶、抄表和分區(qū)等營收數(shù)據(jù)，支撐模型的爆管處置和方案模擬的計算結(jié)果，提高水力模型系統(tǒng)在在線計算時的精準(zhǔn)度。接口累計訪問量已近萬次，接口調(diào)用成功率100%，接口平均調(diào)用時長約0.4秒。

（5）大數(shù)據(jù)中心在停水區(qū)域劃定及消息推送業(yè)務(wù)的應(yīng)用

傳統(tǒng)的停水發(fā)布在操作上較為繁瑣，需要大量線下協(xié)調(diào)對接，容易出錯和遺漏，特別在營管部做好停水計劃時，需要通過郵件發(fā)送給客服部，客服部再打開短信發(fā)送平臺，將郵件內(nèi)容復(fù)制進(jìn)去修改發(fā)送。在信息精準(zhǔn)度上也沒有辦法把控，如發(fā)送微信停水信息，不論是否受計劃停水影響的用戶全員普發(fā)，導(dǎo)致關(guān)注“福州水務(wù)”公眾號的群眾每天收到無關(guān)停水信息，久而久之造成用戶對停水消息麻木對待，真當(dāng)自己小區(qū)停水時可能也不會關(guān)注到，偏離了微信停水推送的初衷。

針對上述情況，大數(shù)據(jù)中心團隊聯(lián)合營管與客服部，將大數(shù)據(jù)中心能力與GIS平臺能力相結(jié)合，通過GIS圈定停水區(qū)域，將停水信息精準(zhǔn)的推送到受影響用戶的手機和微信上，整個過程流暢、便捷、精準(zhǔn)。如：營管部打開“停水區(qū)域劃定”應(yīng)用，在GIS上圈定停水區(qū)域，系統(tǒng)將自動分析出受影響的小區(qū)名稱、受影響小區(qū)數(shù)量、受影響用戶數(shù)量等關(guān)鍵信息，并與大數(shù)據(jù)中心建立數(shù)據(jù)通訊，得到受影響的重點用戶、小區(qū)用戶、散戶等詳細(xì)信息?？头靠杉磿r收到營管部提交的計劃停水方案，并可進(jìn)行二次修正，并結(jié)合從大數(shù)據(jù)中心自動獲取到的用戶手機號、微信ID，一鍵將停水信息精準(zhǔn)發(fā)送到用戶的手機和微信上，真正做到誰受影響就發(fā)送給誰。除計劃性停水外，大數(shù)據(jù)中心還提供了爆管影響分析等搶修性停水主題的發(fā)布。

（6）大數(shù)據(jù)中心在數(shù)據(jù)挖掘與分析中的應(yīng)用

傳統(tǒng)大數(shù)據(jù)中心建設(shè)的目標(biāo)較多的都只放在出大屏與報表上，關(guān)注點不夠深入，沒有充分發(fā)揮大數(shù)據(jù)中心應(yīng)有的價值。本次項目建設(shè)就突破了大數(shù)據(jù)中心傳統(tǒng)定位，探索性的開展數(shù)據(jù)挖掘分析工作。通過分析原始的業(yè)務(wù)數(shù)據(jù)，關(guān)聯(lián)各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)邏輯，從中提煉出有價值的數(shù)據(jù)，直觀暴露出已存在的各類管理問題、數(shù)據(jù)問題、業(yè)務(wù)操作規(guī)范問題及系統(tǒng)功能設(shè)計問題，將有助于管理層針對性制定相應(yīng)的管理措施，對癥下藥，及時堵漏、補缺，從而提高工作效率、改善工作環(huán)境、提升工作質(zhì)量和客戶滿意度。本次嘗試性的對工單、水表、抄表情況開展了探索分析，樣例時間為2020年12月數(shù)據(jù)。

如在水表分析方面：25*****339，該用戶為施工用水，2020年7月水表就已上線，但是當(dāng)年均無水量記錄，原因是沒去抄表，直到2021年2月才第一次抄表，第一次抄表水量就達(dá)3091噸（據(jù)觀察，實際后續(xù)每月用水為400噸左右）；21*****223，該用戶已于2012年12月就已拆遷，但是水表狀態(tài)一直為正常，經(jīng)核查，有大量此類未更新水表狀態(tài)的記錄存在；10*****776，該用戶為某物業(yè)公司，水表狀態(tài)正常，但是已連續(xù)12個月以上抄表水量為0噸；10*****055，該用戶為DN40大口徑用戶，2014年水表就已失蹤了，但是水表狀態(tài)正常，2019年還有繳費記錄（轉(zhuǎn)賬繳費），應(yīng)核核查該用戶具體用水情況。

（7）大數(shù)據(jù)中心在服務(wù)能力支撐的應(yīng)用

大數(shù)據(jù)中心目前已不斷的發(fā)揮著自己的作用，在提供大數(shù)據(jù)業(yè)務(wù)支撐能力之外，也間接的對與大數(shù)據(jù)中心無關(guān)的業(yè)務(wù)提供了支撐。如水司建立的庫管系統(tǒng)，根據(jù)開發(fā)要求，需要與水務(wù)財務(wù)系統(tǒng)進(jìn)行對接，達(dá)到資產(chǎn)數(shù)量與金額賬務(wù)同步的目的。但在對接過程中心，庫管系統(tǒng)的開發(fā)模式不支持財務(wù)系統(tǒng)提供的服務(wù)接口類型，導(dǎo)致對接工作無法進(jìn)行。大數(shù)據(jù)中心了解情況后主動充當(dāng)“中介”角色，將財務(wù)系統(tǒng)服務(wù)接口注冊至大數(shù)據(jù)中心，并將其轉(zhuǎn)換成庫管系統(tǒng)所能支持的接口類型，使得對賬功能得以順利進(jìn)行。截至目前，做為通道功能已支撐了上述系統(tǒng)38403次的交互工作。