導語：當前，愛普新媒廣告數據規模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進“冰箱真正使用起來?UCloud數據湖分析方案幫助愛普新媒解決了眼下的難題。

　　“平均業務數據需求完成周期提升21倍， 從43.2小時縮短到2小時。”

　　“大數據工程師每月減少20個人日的⼯作量。”

　　“大數據基礎設施投入減少92.85%。”

　　張先生是一位大數據負責人，供職于北京愛普新媒體公司。這是一家專業從事廣告DSP(Demand-Side Platform，需求方平臺)業務的公司，成立于2010年。隨著DSP廣告模式傳入中國成為熱潮，公司發展不錯。

　　但張先生很快發現，廣告數據增長的速度遠遠超乎預期，公司內大數據工程師招聘目標才完成一半，但數據量一下沖到數百T。手下幾個數據工程師不得不疲于奔命，幫助業務分析師運行SQL任務，排除故障，但仍然收效甚微。隨著廣告項目的增長，業務部門的數據分析師對大數據部門的抱怨也在不斷積累。

　　作為廣告服務商，數據統計就是公司的命脈，如果因廣告主自身數據管理而造成的廣告投放數據統計不準，和第三方檢測機構的數據對不上，后果不堪設想，廣告主甚至會拒絕結款。

　　正當張先生焦頭爛額之際，UCloud向他推薦了數據湖分析方案。經過初步的試用和數據驗證之后，張先生決定把一小部分業務放在數據湖分析方案上處理，這才有了本文開頭的一幕。

　　廣告一半是科學，一半是藝術。這其中，以效果為主的DSP要看性價比和投資回報率，得算經濟賬，可以說是相當科學了。在張先生的心中就有這么一筆賬：

　　張先生的工作場景也是目前數量眾多的中小企業在面對大數據時遇到的困難。中小企業數據形成規模后，由于收入尚未跟上，所以面對動輒每年數百萬的大數據投入，往往只能望而卻步。

　　愛普新媒面臨的數據挑戰：

　　業務分析師說：

　　1. 數據規模太大， 自己不能獨立完成分析

　　2. 數據任務完成周期長

　　3. 數據結果感覺不準， 但又不能查看原始明細數據

　　數據部門說：

　　1. 業務臨時性數據需求多，占用部門有限的技術人力資源

　　2. 數據需求經常需要返工

　　3. 數據規模增長太快，數據倉庫成本不斷增長

　　愛普新媒擁有“云魔方”互聯網精準營銷平臺、“云速”企業移動信息服務平臺和“云匯”互動廣告平臺，廣告數據規模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進“冰箱真正使用起來這是愛普新媒迫切需要解決的問題。

　　Step1

　　打開冰箱門(傳輸數據)

　　Ukafka(Kafka消息隊列)是一款專門用于處理流式數據的分布式消息產品。通過以創建集群的方式創建UKafka，能夠快速實現Kafka以及所依賴的服務的部署，為用戶提供快速部署、易于管理、彈性伸縮的流式數據處理系統，實現對大象的瘦身。

　　Step2

　　把大象裝進冰箱(存儲數據)

　　對象存儲(UFile)是為互聯網應用提供非結構化文件云存儲的服務，將瘦身后的大象(Ukafka)導入到對象存儲(UFile)。相對于傳統硬盤存儲，UFile云存儲具有存儲無上限、支持高并發訪問、成本更低等優勢;解決業務架構的文件存儲問題，有效降低海量文件的存儲成本，支持熱點數據的高并發訪問，提升終端用戶訪問體驗。

　　Step3

　　關上冰箱門(數據可視化)

　　數據湖分析(USQL)是一種可擴展性強、成本低廉的無服務器SQL分析計算引擎，可輕松完成面向海量數據的數據建模工作，SQL即可完成數據查詢和分析，極大降低使用大數據的門檻，且無需數據庫管理員和運維人員，大幅度減少對大數據工程師的依賴。對大象溯本求源，讓數據真正使用起來。

　　完整的數據湖分析方案遠不止能將大象裝進冰箱，還能讓大象跳起舞來。