業務背景:
客戶是國內某大型ICT服務提供商和終端設備制造商,基于自身業務需求,需要開發一款大數據計算平臺。
產品介紹:
該大數據平臺旨在解決大規模數據計算的性能問題,提供數據高性能計算的相關服務,包括流計算服務、HANA服務、API服務等,涵蓋了從業務系統采集數據、同步數據到實時計算平臺、計算加速邏輯開發、結果發布整個流程。該平臺主要提供以下三個功能:
產品架構:
客戶收益:
在該產品開發過程中,佰鈞成實現了零代碼接口開發和配置式服務項開發。該平臺配置完成即可部署調測,減少接口開發、部署和調試的時間??焖賹崿F實時計算應用的部署運行,減少業務側開發測試及生產環境資源申請和維護的成本。滿足了客戶公司各領域、產品線實時數據統計和處理的各類需求,使其服務更加及時高效,為數據分析和有效決策提供了技術支撐。
業務背景:
對于我國家電企業來說,大數據應用是支撐企業智能化轉型的堅實基礎,只有通過用戶數據的獲取,對消費者消費習慣和需求的解讀,才能夠特定的滿足不同消費者的特殊需求。而我國家電市場在售的產品還是以傳統家電為主,具備搜集用戶數據功能的智能家電普及率還較低;其次,我國家電企業現在大數據研究的方向大多關注的是用戶的基本信息,而沒有關注到用戶的使用習慣和使用需求等信息,并沒有起到指導產品研發和市場方向的關鍵作用。
解決方案:
在這個背景下,佰鈞成基于hadoop/ spark/ kettle等開源軟件部署,利用創新的自然語言處理算法,開發了一款具有高效數據采集能力、豐富行業詞典庫,穩健易擴展的大數據營銷輔助系統。系統主要包括三大部分:
? 數據基礎平臺:數據基礎平臺分為ODS/ EDW/ DM三個數據層,數據均存為HDFS文件,通過hive/ impala/ hbase進行調用。數據存儲和處理的核心模塊,實現數據全生命周期管理,保障整個分布式系統的穩定高效,可對分布式集群中的服務器基礎資源實時監控,對數據處理應用程序的執行情況進行實時監控。
? 報表平臺:報表平臺采用永洪報表工具,可以進行可視化報表定制,可支持在PC端和移動終端展現,并支持大屏展示,移動前端經由移動互聯網訪問基于基礎平臺的后臺服務。
? 數據調度平臺是基于java開發的hadoop平臺數據的調度工具,平臺支持分主題,分任務,作業監控,作業日志查詢,操作簡便,能批量導入、導出作業。
覆蓋數據:我們將產品提供商內部涉及到產品供應、營銷及相關職能部門數據,消費者使用數據,以及公共平臺上的產品評論、競品表現及人口統計等數據集成到一起,為企業營銷與產品設計提供全面的數據支撐。
平臺架構:
產品收益:
該產品全方位洞察消費者,構建用戶360度畫像信息,通過對消費者的多維度分析,實現企業對特征用戶群需求的深度挖掘,促進企業在產品設計、個性化服務、風險控制、新客戶獲取等各方面業務的優化創新,貼合受眾需求,增加受眾黏性,最大化釋放用戶價值,切實有效落實以用戶為核心的策略。
業務背景:
客戶是國內某電信運營商分公司,在經過多年的市場推廣和運營,該運營商積累的大量數據一直沒有得到有效的利用。而當地政府機關出于社會安保、城市規劃和交通疏導等方面的考慮,需要運用該運營商掌握的用戶位置信息提供數據支持。
解決方案:
佰鈞成面對此需求,依托運營商B/ O域數據和大數據分析方法,基于實時流處理和離線處理的融合架構,利用Flume/ Spark/ Kafka/ Hadoop/ Oracle等數據存儲和處理技術,建立高精度的用戶行為模型,形成了圍繞位置信息的流量熱力、人口分布、人群遷徙、職住全景四大功能產品,成功的滿足了該地政府公共安全、智慧旅游、城市規劃、區域價值評估等需求,并為開展相關決策和營銷等工作提供了數據支撐。
根據項目操作需求,佰鈞成成功的將數據處理延遲速度降低到5分鐘,在運營商信令位置數據中屬領先地位;并采用了基于MR位置信令的人工智能軌跡擬合算法,可以將基站提供的MR信息進行過濾、整理,并與地圖上的道路信息進行軌跡擬合,準確還原用戶軌跡。
覆蓋數據:
佰鈞成將用戶位置及畫像信息封裝成原子特征,形成兩橫一縱的系統架構,結合具體應用場景可將各原子組裝為應用產品滿足特定需要。
平臺架構:
客戶收益:
該平臺幫助運營商將長期運營的業務數據再次投入到商業領域,通過這些看似無關的數據,經過處理、分析、過濾后重新進行組織,發現隱藏于數據背后的巨大意義,使沉睡的數據再次煥發生機。這些數據已應用于多個業務領域,未來還會根據市場需求進一步拓展。為政企實體帶來巨大經濟價值的同時,還創造了客觀的社會效益。