Hadoop為一種基于開放源代碼的軟件框架，能夠跨分布式集群以高吞吐量處理海量的大數據。
幾年前主攻小衆市場的Hadoop如今正進軍主流市場。随着數字化運動的快速發展，Hadoop提供了充足的應用案例，允許使用普通的商品硬件進行大數據處理。
Hadoop還具有很高的可擴展性，可從單一服務器擴展到多個服務器農場，同時每個集群都能夠運行自己的計算和存儲。Hadoop為應用層提供了高可用性，由于集群硬件可以是現成的，所以它們能夠實現節點輕松互換，從而提高成本收益。
“雲端化”發展趨勢
雖然早期使用者通常使用的是通過Apache發行版搭建的本地部署，但是目前企業開始逐步加大對雲計算的使用。相比之下，自己動手DIY的方法無疑是繁瑣和耗時的。
随着産品上市時間在數字時代的重要性逐漸突顯，越來越多的公司開始使用迅速崛起并被大量采用的Hadoop即服務（HaaS）産品。
從用戶的角度來看，将雲作為首選具有重大意義。規模化經濟使得單位成本更加低廉，企業可以提高效率，減少資本支出，同時獲得更大的靈活性。
除了商業利益之外，雲還開辟了一系列全新的數字用例，特别是在物聯網環境下和需要實時數據處理的其他場景中。亞馬遜網絡服務的ElasticMapReduce（EMR）即為該領域的開拓性産品之一。
基本上所有的大型服務提供商都不約而同地在其産品組合中添加了基于雲的Hadoop托管服務，而且Hadoop發行版廠商自己也在努力“雲端化”他們的框架，其中Cloudera的Altus就是最新的例子之一。Altus允許用戶利用MapReduce上的Hive或按需的Spark運行數據處理作業。
市場發展前景
在強大的雲需求下，越來越多的公司選擇了Hadoop即服務。HaaS本質上是一個平台即服務（PaaS）的子類别，它包括虛拟存儲和計算資源以及基于Hadoop的處理與分析框架。服務提供商通常運維一個多租戶HaaS環境，允許在共享基礎設施上托管多個客戶。
據市場研究機構AlliedMarket稱，随着越來越多的公司接受了“雲優先”思維模式，預計到2020年，HaaS市場的收入将達到161億美元；從2014年到2020年，複合年增長率（CAGR）将達到70.8%。從收入角度來看，北美地區仍然是領先的地區，其次分别是歐洲和亞太地區。
預計到2020年，HaaS的爆發将讓本地部署的Hadoop的增長相形見绌。據市場研究機構IDC的研究顯示，公有雲部署已占全球業務分析軟件市場的12%，預計其複合年增長率将達到25%。除了大型企業外，中小企業也在越來越多地選擇HaaS以獲得有可操作性的洞察力和創建以數據為中心的商業模式。
考慮HaaS時需要關注的事項
目前已經有了許多HaaS用例，同時也暴露出了一些缺點。将大量數據移動到雲端可能會産生延遲問題并且需要額外的帶寬。雖然隻需點擊幾下即可方便地部署高度标準化的HaaS環境，但設計權限完全是由服務提供商自行決定。此外，雲端上的數據會出現“引力場”并導緻用戶被廠商鎖定。以下是評估HaaS提供商時還需要關注的事項：
1.彈性
Hadoop支持适用于各種工作負載的彈性集群，這在考慮基于雲的部署時尤為重要。有哪些可用的計算和存儲選項能夠支持不同的用例？例如，哪些額外的“計算刀片”可用于高I/O工作負載？環境的可擴展性如何，以及調用額外資源（計算和存儲）的難易程度如何？
2.HDFS的持續使用
盡管不需要将HDFS作為持久性數據存儲，但在使用它們具有明顯的好處。HDFS使用的是商用直接附加存儲（DAS）并且分擔了底層基礎設施的成本。此外，HDFS可以無縫支持YARN和MapReduce，這使得其能夠本地處理查詢并充當數據倉庫。
3.計費
服務提供商的基本價格指标是什麼（按訂單還是按消費進行計費）？如果能力未得到充分使用，退訂服務的靈活性如何？最重要的是，要記住“數據湖”是在快速擴張的，那麼價格水平将如何随着時間的推移而變化？
4.高可用性
實現“零中斷”是一個微妙但卻非常重要的問題。提供商的服務級協議和故障切換理念是什麼？冗餘是如何實現的？例如，提供商是否能夠在不中斷整個作業的情況下隔離并重新啟動單台機器（又稱“不間斷運行”）？
5.互操作性
用例往往會随着時間的推移變得越來越複雜，那麼将正在使用或計劃使用的服務集成在一起的難易程度如何？它們支持哪些數據流和API，以及它們的文檔文件完備程度如何？
6.人才需求
雖然與DIY相比，設置HaaS環境所需的人力明顯減少，但是Hadoop并沒有完全實現“開箱即用”。雖然節點的運行隻需點擊幾下鼠标，但是這隻是在實際工作剛開始時如此。定制仍然需要花費時間和精力。
本文作者MarcWilczek為數字戰略家和首席信息官顧問，在信息和通信技術領域擁有20多年的領導經驗。
原文網址
https://www.cio/article/3239528/big-data/lifting-big-data-to-thesky-hadoop-as-a-serviceis-gaining-rapid-traction.html?nsdr=true