您所在的位置:紅商網·新零售陣線 >> 好公司頻道 >> 正文
    華為云存算分離助力應對618,電商上云“潛規則”知多少?

      一年一度的年中電商大促——618購物節已經開啟,由于2020年以來的疫情影響,導致近半年的國內消費需求被抑制,可以預見,此次電商購物節將迎來一輪消費市場的集中爆發,尤其在當前全行業都在努力拉動消費回升、促進經濟恢復的時間節點下。

      對于電商行業而言,爆發性的消費需求無疑將產生巨大的流量,雖說流量的背后意味著收益,但同時電商平臺也為此付出著巨大的IT成本。舉例來說,平時滿足100個人的在線購物需求,購物節則至少要準備保障1000人正常購物的IT資源。

      擴容帶寬、CDN,增加計算資源、存儲資源……這一切都是附著在高流量背后的高成本。其中,傳統的存算一體架構就是較高的成本來源之一,計算和存儲一體造成了資源的大量冗余,利用率偏低,尤其對于電商業來說更為明顯。

      領先的電商企業正在利用云計算優勢,采用存算分離,使得存儲和計算可以靈活配置,單獨按需擴縮容,進而達到提升計算資源利用率、降低成本的目的。

      存算分離:降本增效利器

      一直以來,Hadoop架構以及大部分商用大數據軟件均采用存算一體,即存儲與計算是一體融合的,那么,為什么說“約定成俗”的存算一體帶給了電商行業尤為高企的成本?

      眾所周知,電商具備流量波峰波谷的行業特點,在擴容時,就必須按照波峰去進行計算、存儲的一體擴容,這顯然對于資源的平均利用率造成浪費;另外數據會持續增長,但是計算能力不需要同步等比例增長。而傳統存算一體上計算和存儲資源的配比相對固定,也就意味著每提升多少存儲容量,同時也要提升多少算力。

      這種緊密綁定的模式,注定有一種資源是浪費的。根據數據統計,在計算存儲合一的情況下,計算資源的平均利用率不到50%,本地HDFS一般采用三副本冗余機制使得存儲的利用率不到33%。此外,這種封閉的架構難以向數據湖和大數據云化的方向演進,也就無法發揮數據的最大價值。

      存算分離則打破了這一瓶頸,實質就是Hadoop計算組件部署與HDFS存儲池解耦部署,計算組件的擴容和存儲池的擴容無需耦合,從而極大的提升了大數據擴容的靈活性。數據湖存儲采用先進的存儲冗余機制,最大程度的提升了存儲磁盤的利用率。

      降本增效,存算分離后帶來的好處十分明顯:

      計算和存儲按需擴展,計算不足擴計算,存儲不足擴存儲,可以很大程度上避免資源浪費;存算分離后,計算和存儲還可以分別云化,實現資源的動態分配;一些專業存儲更是可以借助多租戶能力,以統一的存儲資源池支持多個大數據平臺,實現多平臺數據的高效共享。

      華為云助推資源利用率最優化

      由于存算分離架構帶來的獨特優勢,它也正成為包括電商行業在內的眾多行業企業建設大數據平臺的新趨勢。為此,華為云推出了基于云服務存算分離架構的大數據解決方案,讓存儲和計算資源可以靈活配置,綜合分析成本最高可降低50%,目前已獲得眾多大型企業的青睞,并得到部署。

      為什么華為云存算分離大數據解決方案能帶來如此大幅的成本節省,又有哪些優勢?從兩個方面來說明。

      首先,在存儲層,華為云存算分離大數據解決方案以高性能、高可靠的OBS對象存儲服務作為統一的數據湖存儲底座。其創新性的提供了Data Multi-Protocol功能,支持HDFS、POSIX、S3等多種協議,實現用一份數據直接對接多種類型的計算引擎、AI平臺,數據0搬移0拷貝,大幅節約存儲空間,降低成本。同時OBS數據湖還具備EB級容量支持、單桶千億對象數據管理能力和10TB級IO帶寬能力、以及智能全局緩存加速能力,為大數據、AI訓練等海量數據、批量計算場景提供高性能存儲保證。

      其次,在計算層,華為云存算分離大數據解決方案以鯤鵬高效算力作為計算底座,具備強大的多核處理優勢,結合華為云在任務調度上的算法優化,使得CPU具有更高的并發能力,可為大數據和分布式應用場景帶來20%的性能提升,實現相比業界通用架構平臺更優的性價比。基于鯤鵬處理器,華為云提供了包括裸金屬服務器、云服務器、容器和Serverless在內的多種粒度的算力支持,應對客戶不同的場景需求。同時結合前述OBS數據湖存儲方案,大數據平臺的計算資源也變得“無狀態”,從而帶來了更加極致的按需使用、彈性擴縮容體驗,進一步降本增效。

      最后,在服務層面,華為云基于上述存儲和計算基礎架構的之上,進行了深度整合和優化,提供了基于存算分離架構的一系列大數據服務,包括MRS、DLI、CSS等一眾服務都支持存算分離架構,這些大數據服務可以提供比自建更加靈活的彈性擴縮容、極簡運維等優勢。

      以某Top社區電商為例,原本客戶采用ES+Clickhouse+Hive分別滿足用戶行為日志詳單查詢、交互式分析、ETL等業務,多份數據產生“數據孤島”,而且存算一體可擴展性差,成本居高不下。后來該社區電商采用了華為云存算分離+MRS CarbonData構建全場景數據湖解決方案,一份數據同時滿足快速詳單查詢+交互式分析+ETL,PB級別數據詳單查詢秒級響應,交互式分析30秒內響應,ETL加速2倍。同時由于計算存儲解耦,計算節點可隨時按需快速擴縮容,最終整體成本下降超過50%。

      從存算分離到智能數據湖,釋放數據價值

      數據越來越成為企業的核心資產,需要強調的是,華為云在存算分離架構之上形成的大數據解決方案為企業帶來的不僅是性價比的提升,更為提升企業數據價值發揮作用。

      傳統來說,企業在挖掘數據價值上除了面臨存算一體造成資源大量冗余的挑戰外,還包括缺乏一個統一系統支撐所有數據分析導致的數據孤島,以及隨著數據規模的越來越大導致的數據運維和管理困難等挑戰。

      為此,華為云通過整合所有數據層面的能力,打造了智能數據湖解決方案,幫助企業釋放數據價值。在統一數據存儲層,華為云利用存算分離,實現存儲和計算單獨按需擴縮容,使資源利用率達到最大化;在多元計算層,全棧支持包括一站式大數據平臺MRS服務,批流計算+交互式分析的多模計算DLI服務,以及增強的企業級數據倉庫DWS服務等;在數據運營層,圍繞數據處理過程提供端到端一站式數據運營能力,從數據集成、規范設計、開發、質量管理,到形成數據資產,以及對外開放服務支撐業務應用。

      統一多數據源、消除數據孤島、統一數據規范、提升數據質量,華為云智能數據湖真正幫助企業輕松實現“數據一盤棋”。圍繞數據全生命周期的采、存、算、管、用的全面云化,在華為云企業智能EI的助力下,最終讓數據成功創造價值。

    搜索更多:






    A片毛片免费观看 - 视频 - 在线观看 - 影视资讯 - 徳物网