從一幅幅“像素風”的NFT虛擬圖畫，拍賣出了千萬美元天價，到“元宇宙”大熱，竟能引發虛擬世界“搶房買地”熱潮，這是否預示著一個巨大的范式轉變？

　　登頂財富500強

　　一個標志性時刻即將來臨

　　近日，IT媒體《eWEEK》發表一篇文章認為，在2020年，財富500強上的前十大公司中，有八家與石油或能源相關。這一事實清楚地表明了石油在當今世界的主導地位，即在過去100年來，石油是推動全球經濟增長的核心驅動力。

　　然而這一情況即將發生轉變。預計在2022年，按收入計算，亞馬遜將登頂全球財富500強。這也許是一個標志性事件，意味著世界從以能源和石油為基礎的經濟轉向數據驅動型經濟。

　　文章表示，到2030年，包括蘋果、特斯拉、谷歌在內，全球財富十大公司中，有8家可能是數據驅動型公司。正如中東和蘇伊士運河在石油時代具有重要戰略地位，數據也將數字時代重要的“戰略資源”。

　　這也是如此之多的企業在數字化道路上狂飆突進的原因，掌握數據即是預見未來，才能在競爭中占領“制高點”。

　　數據價值如何挖掘

　　當然，光有數據還不夠，正如石油本身并沒有什么作用，而是需要提煉、加工，才能把石油變作燃料、化纖、塑料等等。數據本身也沒有價值，只有經過收集、整理和分析，將數據轉化為見解，才能真正驅動商業價值。

　　在這里，“數據湖”三個字你一定不會陌生，這個最早在2010年由Pentaho創始人James Dixon提出，并這樣解釋這個概念“

　　如果你將數據集市視為瓶裝水的存儲——經過清洗、包裝和組織以方便消費，數據湖是一個處于更自然狀態的大水體。來自源頭的內容流補充到湖中，各類客戶可以來湖中檢測、探索以及獲取樣本。

　　”

　　不幸的是，數據湖的發展并非一帆風順，因為早期的概念里， 數據湖更多地是關于當企業在處理海量異構的數據時，如何在數據產生實際的應用價值之前，為海量數據構建一個易訪問且成本低的存儲方式。

　　用戶把數據扔進湖中，然后任其自生自滅，已經有多次公開的失敗證明這種方法是錯誤的，一些早期采用者看到他們的數據湖迅速演變為管理不善或無人管理的數據沼澤。

　　隨著時間的推移，今天用于實施數據湖的技術和方法已經趨于成熟。數據湖作為大數據和人工智能技術基礎架構發展的趨勢，不僅提供了海量數據的存儲能力，同時也為上層的數據處理提供了高效統一的數據管理引擎。

　　數據湖的主要特點：

　　▶ 第一：存儲原始數據，這些原始數據來源非常豐富;

　　▶ 第二：支持多種計算模型;

　　▶ 第三：有完善的數據管理能力，要能做到多種數據源接入，實現不同數據之間的連接，支持Schema管理和權限管理等;

　　▶ 第四：靈活的底層存儲，一般用s3、hdfs這種分布式文件系統，采用特定的文件格式和緩存，滿足對應場景的數據分析需求。

　　技術上，數據湖不僅包括Hadoop，還包括其他傳統和新興大數據技術。下圖所示的是典型數據湖結構：在一個數據湖解決方案中，用戶通過諸如Apache Flink等平臺，通過自帶的數據定義或者第三方框架的數據定義，對存儲在存儲層的數據進行管理，包括查詢和修改等。

　　其中，Apache Iceberg則是一個新興的數據定義框架，它適配了多個計算引擎，并具備了極強的擴展性，使得存儲層可以對其進行適配。

　　與Apache Iceberg結合

　　戴爾推出對象數據湖解決方案

　　Iceberg與Delta、Apache Hudi并稱為當前主流的三大開源數據湖方案。其特點是表元數據非常簡單，僅僅包括當前表的名稱和版本信息。所有的Schema和Properties都由Iceberg自身進行管理。

　　并且，Iceberg支持多種表的操作，包括從表中查詢數據、向表中插入數據、更新表中的數據、刪除指定行的數據和刪除指定條件的數據等。

　　Iceberg架構

　　而為了全面擁抱數據湖，戴爾易安信對象存儲ECS與Apache Iceberg結合，推出對象數據湖解決方案。該方案實現了table-format的數據訪問接口，在數據加速、小文件、多地部署以及存儲效率上具備優越的特性。

　　關于ECS

　　戴爾易安信ECS是完全軟件定義的云存儲平臺，專為滿足移動、云、大數據和社交網絡應用程序需求而設計，支持在商用硬件上大規模存儲、操作和分析非結構化數據。

　　數據湖在本質上，是一種企業數據架構方法，物理實現上則是一個數據存儲平臺。ECS對象存儲作為數據湖底層存儲方案，用此方案可以將數據湖的元數據和數據都直接對接對象存儲，充分利用對象存儲提供的原生優勢，并且無需部署額外的元數據管理服務，提供了更大的部署便利性。同時利用Iceberg良好的Table Format語義，用于幫助用戶組織數據。

　　根據測試驗證，單節點S3寫性能10KB大小的數據能達到1萬以上TPS，100MB大小的數據能達到1GB以上帶寬。單節點 S3讀性能10KB大小的數據能達到3萬以上TPS，100MB大小的數據能達到5GB以上帶寬。成為企業構建統一數據湖存儲，并在其上構建多種形式分析的理想方案。

　　為了更好支持該解決方案的執行，還發布了相關白皮書，讀者可復制下方鏈接至瀏覽器打開，下載白皮書，了解更多內容：

　　https://www.delltechnologies.com/asset/zh-cn/products/storage/industry-market/apache-iceberg-dell-emc-ecs.pdf