敦煌，是一個傳承的夢

博大而精深，浩瀚而深廣

2018?東軟解決方案論壇（NSF）走進敦煌

作為本次解決方案論壇最受關注的平行論壇之一 ——“數據 智能 驅動新時代”平行論壇座無虛席。

東軟平臺產品事業本部基礎軟件事業部咨詢總監毛軍老師誠摯分享了題為《激活數據資產 融合場景賦能》的數據智能應用實踐案例及平臺產品在大數據方面的解決方案。

下面，就將本次演講干貨第一時間分享給大家。

01

如果說人類的進步在于不斷突破創新，那么下一個創新的推動引擎就是數據。數據已經成為重要資源和戰略資產，大數據不僅帶來思維上的變更，同時也給人們帶來生活上變革。有了大數據支持，政府管理工作會高效、精準、科學，金融行業大數據正在創新經濟模式，促進資源有效配置，激活市場活力，企業基于大數據可以改善經營性決策、個性化營銷，甚至可以改變企業的商業模式。

這一切看起來很美好，但是數據作為一種資源，在“沉睡”的時候很難創造價值。打個比方，沉眠的數據如同深藏地下的礦藏，沒有被發掘時毫無價值，只有被發現，被開采，被提煉，被加工成為成品融入于各生活場景才能真正發揮價值。因而我們可以得出一個結論，大數據的本質并不在于“大”而在于“用”，數據價值的挖掘在于融合具體業務場景，通過場景驅動大數據落地。

無論是來自于 IDC 的大數據調查報告，還是《中國大數據白皮書》及 Gartner 分析，都將重點指向了數據應用。

02

數據應用的場景多種多樣，不同的行業有不同的應用場景。這樣看來，要想推動落地、發揮價值還有不小的難度。而東軟對各行業的業務有多年的積累，我們能歸納出通用的應用范式和應用場景，這樣就極大的簡化了這個問題域。

這些范式主要包括數據集成共享、敏捷 BI 分析、數據超級檢索、多維動態分析。

1.數據集成共享：信息流動和分享的范圍越大，創造的價值就越高，數據集成共享解決的即是數據開放共享的問題，加速數據流轉。

2.敏捷BI分析：可視化是對于大數據應用效果直觀展示，它降低了數據分析門檻，不懂復雜的數學公式也可以快速發現問題。

3.數據超級檢索：搜索已經成為人們獲取新知，探索未知的重要手段，同樣在大數據海洋中，提供靈活、即席的查詢檢索是必然。

4.多維動態分析：在大數據應用中，多維分析是大數據體現智能、展現魅力所在，挖掘數據，提煉真知，形成決策。

03

數據的應用離不開技術的支撐，通過對以上的通用范式提供技術保障，我們可以把這些范式應用在不同的數據場景中，帶來源源不斷的不可窮盡的價值。

所以我們可以歸納為，要應用好數據，就需要“數據+技術+場景”，怎么理解？數據是原材料，是基礎，技術是加工工具，負責提煉、加工，最終融合到各類應用場景賦予數據生命和智慧。

下面來看看幾個行業的大數據應用場景。

04

對于 金融行業 來說，一個典型的業務場景是用戶通過移動端進行支付，其背后數據流轉的過程需要經過銀行的前置系統，渠道系統，與第三方系統結算，最后與銀行記賬核心交互。可以看出一個交易過程在背后涉及多個系統，一旦中間有差錯需要通過日志排查多個系統。然而對某金融機構來說，原有的日志處理系統不能勝任自動化基于日志定位排錯，原因在于每個系統日志單獨存儲，格式不統一，無法關聯，造成出錯時人工排查為主，并附以額外的監控手段，成本及人工均耗費較大。

因此，建立全新統一的日志數據分析平臺提上日程，新系統定位目標是實現一分鐘發現問題、五分鐘定位問題、十分鐘解決問題。一分鐘發現問題，主要涉及交易監控，應用監控，任務監控，健康檢查；五分鐘定位問題，主要涉及交易查找，報錯定位，業務流排錯；十分鐘解決問題，主要涉及構建專家知識庫，做到故障自愈，智能回答。

針對上述提到問題癥狀，我們詳細論證，提供對癥方案：

1.改—針對現有日志格式不統一，風格各異的現象，制定統一日志規范。

2.替—采用大數據存儲，提供集中、海量存儲能力。

3.聚—通過23個采集節點高速采集日志，實現每天日增量1TB日志數據的采集，每秒吞吐量最高可達17萬條。

4.智—基于大數據智能分析日志數據，自動關聯排查故障。

政府大數據 也是當前建設熱點，政府由于職能需求，保有大量的各行業數據。國家對于如何利用這些數據，發揮政府主體數據價值，從2015年相繼提出“大數據發展行動綱要”，“政府數據開放”，“互聯網+政務”等政策文件，大力推動政府大數據發展。

不僅是政策在驅動，一股內部自我改進的驅動力也呼喚大數據技術。各類問題困擾著政府大數據的實施，主要有:

1.首先是當前在各級政府機構內及機構間，存在著“部門墻”問題，數據由于“安全”，“只能遠觀”等理由，不能有效共享與交換；

2.其次有些機構有一定的數據共享基礎，但共享開放多為靜態文本，更新不及時

3.最后數據質量堪憂，缺少統一管理，以政務服務為例，同樣的服務在不同的機構中，名稱、內容格式都不盡相同，導致在協同服務，辦件數據交換困難。

對此，按照“互聯網+政務”建設的要求，在 2018 年底各省級要建成省級政務資源共享交換平臺，同時構建政務信息資源目錄。以某省為例，構建升級數據共享交換平臺連接各政府機構，提供數據交換通道；同時基于政務信息資源目錄系統梳理信息資源目錄，開放政府數據，對外共享。目前接入系統部門數量 90 余個，梳理數據資源目錄 2.2 萬個，開放提供目錄信息項達 30 萬余個，日均服務調用 500 余次，惠及 7000余萬群眾與企業。

公安行業 中，由于信息化、互聯網化不斷發展，新的犯罪形式如網絡犯罪、電信詐騙等，對于治安防控提出了嚴重的挑戰。如何根據舉報線索，快速的在十億級數據中查出嫌疑人的身份、住址、從業、背景、軌跡、違法犯罪等信息？如何從交通視頻信息、通話等碎片化無序的信息中抓住蛛絲馬跡，分析出嫌疑人的行為軌跡？

大數據平臺可解答上述疑問，平臺全面采集和整合海量數據，對數據進行處理、分析、深度挖掘，發現數據的內在規律，為預防、打擊犯罪提供強有力的支撐。

以某地市的智慧公安項目為例，既有的基礎信息不能適應新的治安防控需要；黨政機關、重點部位、主要路口、公共復雜場所等視頻監控資源，與各部門、各警種業務資源數據無法結合；警員不能實時、直觀地了解和掌握監控區域的治安動態，難以及時發現、處理各類突發事件、群體事件，無法有效支撐公安“大情報”戰略。對此大數據平臺建設重點圍繞信息集成整合，信息實戰運用。數據整合層面采集2區5縣18個委辦局數據，范圍包括視頻數據、社會面數據、互聯網數據、警務系統數據，統一標準，嚴控質量，形成專項主題庫，如類案庫、輿情庫等等，為進一步數據運用提供唯一標準數據來源。上層應用數據分析平臺提供超級檔案，超級檢索能力，可秒級在億條數據中自動聚合人員、案件相關數據，形成案情、嫌疑人全面畫像；可根據人員視頻、運營商手機信令等，抽取位置信息，根據時間先后，勾勒重點人員軌跡。

在 教育行業，教育部推動“三通兩平臺”建設多年，各級教育機構、教育行政部門已有相關教育資源平臺和教育管理平臺，但當前系統數據無法有效互通互融，造成一定的信息孤島的現象，很多統計信息需要人工采集、逐級上報，如統計留守兒童信息、統計人才流失和人才引進效果、可以支持的貧困補助等。

除了解決數據連通共享問題，某省教育廳進一步提出了整合教育教學資源和公共服務，面向全省提供統一服務能力平臺。通過構建教育能力開放平臺，整合 7 個國家系統和 16 個省級自建系統數據和能力，連通省市兩級教育能力，打造集能力抽取、能力整合、能力拓展、能力開放、能力調用、能力運營為一體的開放性平臺，進行能力全生命周期管理，實現省廳和各地市教育機構能力聚合，全方位提供能力支撐與運營。平臺以“數據”為核心，把數據封裝成能力，實現數據共享、資源整合和資源的最大化利用，把大量繁瑣耗時的人工查詢轉向實時自助的查詢方式，提高工作人員工作效率。

智能制造 是落實“中國制造2025”規劃綱要的一個重要抓手，而工業大數據是實現智能制造的基礎與必要條件；沒有工業大數據，智能化就只能是紙上談兵。在制造領域有大量的設備，現代化工業制造生產線安裝有數以千計的小型傳感器，來探測溫度、壓力、熱能、振動和噪聲，每隔幾秒就收集一次數據，利用這些數據可以實現很多形式的分析，包括設備診斷、用電量分析、能耗分析、質量事故分析（包括違反生產規定、零部件故障）等。

以某設備制造廠商為例，生產的關鍵設備廣泛用于軍事、民用設施。當前面臨的問題是在設備銷售維保期間，如果設備發生較難處理故障，由于引進國外技術因而需要協調海外專家，成本較高，而且此成本在維保期內由企業承擔，每年此項花費近百萬。為改變現狀，計劃構建物聯網大數據平臺，采集設備的運行狀態，包括電壓、電流、油壓、水溫、轉速等參數，實時監控狀態，感知波動異常，提前預警；除了監控，對于設備健康、設備壽命預測是減少維保期費用重要手段，根據使用負載度、投產時間、故障頻次綜合評估其可靠性；根據能耗和做功比評估性能，進而提前識別做功不足，故障空轉等現象，做到大病早防，小病早治。通過大數據平臺，企業產出的設備維保期大故障率降低40%，維修費用節省過半。

對于 醫療行業 來說，精細化運營，全局工作評估基于大數據分析方式來做。

一個大中型醫院擔負著繁重的醫療、科研任務，以及繁雜的事務性工作，院長必須時刻與各科室保持密切的聯系。隨著醫院信息化建設逐步深化醫院積累了大量數據，挖掘這些數據并通過可視化技術展現，有助于醫院決策層及時發現并解決問題。

作為醫院的決策中心，其工作效率、工作質量關系到醫院的社會效益和經濟效益。在以往多部門系統分立的情況下，難免有因數據量大，界面雜亂分化，以至于出現不能全面及時理解全院情況，不能高效指導醫院各部門協調工作的情況。

通過醫院院長查詢系統，對各部門的資料信息統一管理、統計。分析查詢各個科室病人數、醫生工作量、護士工作量及特種科室人員工作量等情況，以及在院、出院或住院未結病人情況，醫院的財務收支狀況，藥品價格、報銷、報缺等情況。提高院長掌握信息的及時度和準確度，幫助院長對醫療、財務、人事各部門的信息提供動態的查詢并提供輔助決策支持。

房地產 正從黃金時期進入到白銀時期，房地產商從過去的粗放經營轉向精細化經營，大數據分析正在幫助地產行業在土地開發、小區規劃、商鋪規劃發揮巨大作用。

另一方面，國家對于房產調控、規范愈加嚴格，大量房產市場消費者由于高房價轉而選擇租賃房屋。但是當前的房屋租賃市場缺乏行業統一規范，房源信息數據缺乏管理，信息不準確，租金不透明，住房租賃企業良莠不齊，亟需統一管理平臺整合資源，加強管理，統一服務。對此某省規劃構建住房租賃服務平臺，圍繞住房租賃數據打造“一網一中心一平臺”的格局：

一張數據交換網覆蓋各住房租賃企業，實現房源信息的匯集；

一個基礎數據中心，編訂全省房地產業務基礎數據標準，省、市、縣三級按職責分別采集、存儲和管理房地產數據；

一個服務平臺，實現房屋租賃備案監管，統計分析及輔助決策；同時也為公安、房產提供入住人口信息及房產信息，便于社會治安防控及房產管理。

05

以上各行的大數據智能應用案例，能夠快速落地，就需要成型的產品作為支撐。這些案例均是基于SaCa Data Integration,SaCa DataInsight,SaCa DataViz，SaCa API Management 大數據平臺套件有機配合完成。

從數據到應用，從懵懂到智能，大數據平臺套件針對性的提供了端到端的能力支撐。

在萬物互聯的時代，數據來源多種多樣，數據格式各異，數據平臺可采集來自于數據庫的、文本的、存在于頁面的、應用 API 的等多種來源數據。

采集到數據的還不能立刻用于分析，還有很多的噪聲數據，錯誤數據，數據平臺提供清洗、過濾、轉換、治理，保障數據標準和高質量，奠定大數據分析準確的基石。

面向海量數據提供數據湖存儲方案能力，根據實際業務綜合搭配關系型存儲、列式存儲、鍵值存儲，可應對日增量 TB 級數據。

基于全集合分布式檢索技術，提供海量數據秒級檢索，并可基于函數命令靈活組合檢索條件；可實時監控數據，實現歷史數據關聯分析和數據挖掘。

最終數據應用分析的結果，通過可視化手段展現，業務人員可以實現與數據直接對話，既可以宏觀鳥瞰，也可查看剖面某一維度數據，繁簡由人。

東軟大數據產品在經過多年在領域的深耕，積累了大量的實戰經驗、技術能力，取得了國家、省級多個重要賽會的獎項，同時沉淀大量的專利資產，成為客戶的放心選擇。

總結來看我們認為大數據最重要的是應用，數據智能是數據結合技術在具體場景的運用，而東軟在二十多年服務于各行業客戶過程，積累大量的業務場景，可以幫助企業準確找到大數據落地點，并提供配套解決方案，幫助大數據真正落地揚塵。