在Quantivo，Joe及其同事已經(jīng)“探索了許多方法來(lái)部署Hadoop用于回答分析型查詢”，直到最后，“它變得好像是用一個(gè)錘子來(lái)建造一個(gè)房屋的運(yùn)動(dòng)”，這并不是不可能，但是帶來(lái)了“不必要的痛苦和可笑的低效成本”。
Joe 從五個(gè)方面分析了為什么數(shù)據(jù)分析不使用Hadoop的理由：
1：“Hadoop是一個(gè)框架，不是一個(gè)解決方案”
他認(rèn)為在解決大數(shù)據(jù)分析的問(wèn)題上人們誤認(rèn)為Hadoop可以立即有效工作，而實(shí)際上“對(duì)于簡(jiǎn)單的查詢，它是可以的。但對(duì)于難一些的分析問(wèn)題，Hadoop會(huì)迅速敗下陣來(lái)，因?yàn)樾枰阒苯娱_發(fā)Map/Reduce代碼。出于這個(gè)原因，Hadoop更像是J2EE編程環(huán)境而不是商業(yè)分析解決方案。” 所謂框架意味著你一定要在之上做個(gè)性化和業(yè)務(wù)相關(guān)的開發(fā)和實(shí)現(xiàn)，而這些都需要成本。
2：“Hadoop的子項(xiàng)目Hive和Pig 都不錯(cuò)，但不能逾越其架構(gòu)的限制。”
Joe提出“Hive 和Pig 都是幫助非專業(yè)工程師快速有效使用Hadoop的完善工具，用于把分析查詢轉(zhuǎn)換為常用的SQL或Java Map/Reduce 任務(wù)，這些任務(wù)可以部署在Hadoop環(huán)境中。”其中Hive是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，它可以幫助實(shí)現(xiàn)數(shù)據(jù)匯總、即時(shí)查詢以及分析存儲(chǔ)在Hadoop兼容的文件系統(tǒng)的大型數(shù)據(jù)集等。而Pig是并行計(jì)算的高級(jí)數(shù)據(jù)流語(yǔ)言和執(zhí)行框架。但作者認(rèn)為“Hadoop的Map/Reduce框架的一些限制，會(huì)導(dǎo)致效率低下，尤其是在節(jié)點(diǎn)間通信的情況(這種場(chǎng)合需要排序和連接)。”
3：“部署是很方便，快捷而且免費(fèi)，但在后期維護(hù)和開發(fā)方面成本很高 ”
Joe不否認(rèn)“工程師可以在一個(gè)小時(shí)內(nèi)下載、安裝并發(fā)布一個(gè)簡(jiǎn)單的查詢，因此Hadoop是非常受歡迎的。而且作為沒有軟件成本的開源項(xiàng)目使得它是替代甲骨文和Teradata的一個(gè)非常有吸引力的選擇。但是就像很多通用開源框架一樣，它并不會(huì)完全適配你的業(yè)務(wù)，因此，要想把開源框架業(yè)務(wù)化，你就不得不投入開發(fā)和維護(hù)。”Joe 也認(rèn)為“一旦當(dāng)你進(jìn)入維護(hù)和開發(fā)階段，Hadoop的真正成本就會(huì)變得很明顯。”
4：“對(duì)于大數(shù)據(jù)流水線和匯總非常有效，但對(duì)應(yīng)用于特定的分析來(lái)說(shuō)是非?？膳碌摹?rdquo;
“Hadoop擅長(zhǎng)于大量數(shù)據(jù)的分析和匯總，或把原始數(shù)據(jù)轉(zhuǎn)化成對(duì)另一個(gè)應(yīng)用程序(如搜索或文本挖掘)更有效的東西‘流水線’- 這是它存在的意義。不過(guò)，如果你不知道要分析的問(wèn)題，或如果你想探索數(shù)據(jù)的模式，Hadoop的很快變得不可收拾。“這再次回到了業(yè)務(wù)本身，框架是為業(yè)務(wù)服務(wù)的，即便是大數(shù)據(jù)的分析和匯總，也難以脫離其數(shù)據(jù)的業(yè)務(wù)特性。所以對(duì)于特定的分析，仍然不得不在編程和執(zhí)行MapReduce代碼上花很多時(shí)間才能達(dá)到目的。
5：“性能除了‘不好’的時(shí)候都很好。”
“當(dāng)你需要分析大量的數(shù)據(jù)時(shí)，Hadoop允許你通過(guò)數(shù)千個(gè)節(jié)點(diǎn)并行計(jì)算，這一點(diǎn)上其潛力很大。但是，并非所有的分析工作可以很容易地進(jìn)行并行處理，尤其是需要當(dāng)用戶交互驅(qū)動(dòng)的分析。” 所以要想性能很好，你仍然需要專門為自己要解決的問(wèn)題而設(shè)計(jì)和優(yōu)化相應(yīng)的Hadoop程序，否則會(huì)很慢。“因?yàn)槊總€(gè)Map/Reduce 任務(wù)都要等到之前的工作完成。”所以就像關(guān)鍵路徑一樣，Hadoop執(zhí)行性能的快慢會(huì)取決于其最慢的MapReduce任務(wù)。
Joe最后認(rèn)為：“Hadoop是一個(gè)用來(lái)做一些非常復(fù)雜的數(shù)據(jù)分析的杰出工具。但是具有諷刺意味的??是，它也是需要大量的編程工作才能得到這些問(wèn)題的答案。” 這一點(diǎn)不止在數(shù)據(jù)分析應(yīng)用方面，它其實(shí)反映了目前使用開源框架時(shí)候不得不面對(duì)的選型平衡問(wèn)題。當(dāng)你在選型開源框架或代碼的時(shí)候，既要考慮清楚它能夠幫到你多少，節(jié)省多少時(shí)間和成本，提高多少效率。也要知道由此而產(chǎn)生多少新增的成本，比如工程師的學(xué)習(xí)成本、開發(fā)和維護(hù)成本，以及未來(lái)的擴(kuò)展性，包括如果使用的框架升級(jí)了，你和你的團(tuán)隊(duì)是否要做相應(yīng)的升級(jí);甚至還要有安全性方面的考慮，畢竟開源框架的漏洞也是眾所周知的。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺(tái)，自1994年品牌成立以來(lái)，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國(guó)際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營(yíng)銷服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
