流大數(shù)據(jù)分析
· Storm: Apache Storm是一種開源的分布式實時計算系統(tǒng)。Storm加速了流數(shù)據(jù)處理的過程，為Hadoop批處理提供實時數(shù)據(jù)處理。
· Spark: Spark是一個兼容Hadoop數(shù)據(jù)源的內存數(shù)據(jù)處理平臺，運行速度相比于Hadoop MapReduce更快。Spark適合機器學習以及交互式數(shù)據(jù)查詢工作，包含Scala、Python和Java API，這更有利于開發(fā)人員使用。
· Twitter流處理工具Summingbird: 與Storm和Scalding相似，開發(fā)者可以使用非常接近原生的Scala或者Java 在Summingbird上執(zhí)行MapReduce作業(yè)。
· AWS Kinesis: Amazon Kinesis是一種實時數(shù)據(jù)流處理管理服務。它可以收集和處理來自不同數(shù)據(jù)源的數(shù)據(jù)，允許開發(fā)者編寫可處理實時信息的應用程序，來源網(wǎng)站click-streams、營銷和財務信息、制造工具和社交媒體，和操作日志和計量數(shù)據(jù)。
· Data Torrent：Data Torrent是實時流媒體平臺，可使企業(yè)執(zhí)行數(shù)據(jù)處理或轉換結構化與非結構化數(shù)據(jù)、實時數(shù)據(jù)流到數(shù)據(jù)中心。該產品主要利用Hadoop 2.0和YARN技術。
· Spring XD：通過任意數(shù)量的處理器，Spring XD架構支持事件驅動的數(shù)據(jù)流攝入。流是由Spring集成適配器支持。
· SQL Stream: SQL Stream為流媒體分析、可視化和機器數(shù)據(jù)持續(xù)集成提供了一個分布式流處理平臺。
大數(shù)據(jù)(Hadoop)即服務
· Elastic MapReduce: Amazon Elastic MapReduce(亞馬遜EMR)是一個web服務，提供大量數(shù)據(jù)處理。通過一個大小可調整的Amazon EC2實例集群，EMR使用Hadoop來分配并處理數(shù)據(jù)。
· Qubole: Qubote的大數(shù)據(jù)服務提供Hadoop集群內置數(shù)據(jù)連接器和大數(shù)據(jù)項目圖形編輯器。
· Mortar：Mortar 是一個通用的大規(guī)?？茖W數(shù)據(jù)平臺。它建立在Amazon Web服務云，使用彈性MapReduce(EMR)啟動Hadoop集群并處理大型數(shù)據(jù)集。Mortar可運行Apache Pig，這是一個構建在Hadoop上的數(shù)據(jù)流語言。此外，Mortar還可運行Hadoop]、Pig、Java、Python和Luigi等，讓用戶專注于研究科學數(shù)據(jù)，無需擔心IT基礎設施。
· Rackspace: Rackspace Hadoop集群可運行Hadoop Rackspace托管專用服務器，自旋向上Hadoop公共云，或配置自己的私有云。
· Joyent : Joyent Hadoop是一個基于Apache Hadoop項目大數(shù)據(jù)托管環(huán)境云的解決方案。提供數(shù)據(jù)存儲服務獲取、分析和訪問任何數(shù)據(jù)格式、數(shù)據(jù)管理服務以處理、監(jiān)控和運行Hadoop及數(shù)據(jù)平臺服務安全、存檔和規(guī)模一致的可用性。
· Google: Hadoop在谷歌的云平臺上使用開源的Apache Hadoop谷歌計算引擎的虛擬機。
SQL-in-Hadoop解決方案
· Apache Hive: Apache Hive優(yōu)化了大型數(shù)據(jù)集分布式存儲的查詢和管理過程。Mapreduce開發(fā)者也可以插入自定義映射器和還原劑。
· Impala: Cloudera的Impala是一個開源的大規(guī)模并行處理(MPP)SQL查詢引擎，運行在Apache Hadoop。用戶可直接查詢存儲在HDFS和Apache HBase的數(shù)據(jù)，無需進行數(shù)據(jù)遷移或轉換。
· Shark: Shark是一種與Apache Hive兼容的Spark數(shù)據(jù)倉庫系統(tǒng)。Shark支持Hive查詢語言、metastore、序列化格式和用戶自定義函數(shù)。
· Spark SQL: Spark SQL的前身是shark。在hadoop發(fā)展過程中，為了給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具，hive應運而生，是當時唯一運行在hadoop上的SQL-on-Hadoop工具。但是，MapReduce計算過程中大量的中間磁盤落地過程消耗了大量的I/O，降低的運行效率，為了提高SQL-on-Hadoop的效率，大量的SQL-on-Hadoop工具開始產生。
· Apache Drill: Apache Drill目前是Apache的一個孵化項目。提供了不同數(shù)據(jù)源特別的查詢，包括嵌套數(shù)據(jù)。受Google Dremel的啟發(fā)，Drill是專為大型數(shù)據(jù)集提供可擴展性和查詢的能力。該項目是由MapR寫成。
· Apache Tajo: Apache Tajo是Apache Hadoop大數(shù)據(jù)相關的分布式數(shù)據(jù)倉庫系統(tǒng)。Tajo專為低延遲、可擴展的即時查詢、在線聚合及ETL(提取-轉換-裝載過程)在大型數(shù)據(jù)集存儲在HDFS(Hadoop分布式文件系統(tǒng))和其他數(shù)據(jù)源。
· Presto: Presto框架轉眼間從Facebook框架是一個Presto是Facebook開發(fā)的開源分布式SQL查詢引擎，支持對任意級大小的數(shù)據(jù)源進行快速地交互分析。
· Phoenix: Phoenix是一款開源的Apache HBase SQL查詢引擎，由JDBC驅動程序，可使用SQL查詢和管理HBase表。此項目已提交成為Apache孵化器項目。
· Pivotal’s HAWQ: 作為Pivotal大數(shù)據(jù)集的一部分，HAWQ是一個MPP SQL處理引擎。HAWQ實際上就是一個大規(guī)模并行處理工程或MPP，數(shù)據(jù)庫運行在Hadoop中，位于HDFS的頂部。作為一個單一的系統(tǒng)，它將一整套聚合基礎設施嵌入系統(tǒng)，那套聚合基礎設施可以運行和提供Hadoop和HDFS必須提供的所有功能以及你能從MPP數(shù)據(jù)庫中獲得的規(guī)模、性能和可查詢功能。
大數(shù)據(jù)Lambda架構
Lambda系統(tǒng)架構(LA)提供了一個結合實時數(shù)據(jù)和Hadoop預先計算的數(shù)據(jù)環(huán)境的混合平臺，以提供一個實時的數(shù)據(jù)視圖。Lambda架構框架主要包括：
· Twitter’s Summingbird：Twitter的開源Summingbird大數(shù)據(jù)分析工具，通過整合批處理與流處理來減少它們之間的轉換開銷。區(qū)別于以往的更快、更準確節(jié)奏，Summingbird更注重于流處理與批處理的無縫整合，以及編程語言的原生化。Summingbird是一個大規(guī)模數(shù)據(jù)處理系統(tǒng)，支持開發(fā)者以批處理模式(基于Hadoop/MapReduce)或流處理模式(基于Storm)或混合模式(即組合前兩種模式)以統(tǒng)一的方式執(zhí)行代碼。
· Lambdoop: Lambdoop是一個Java框架，用于以與Lambda架構一致的方式開發(fā)大數(shù)據(jù)應用。Lambda架構的特色是有一個不可修改、只能追加數(shù)據(jù)的主數(shù)據(jù)庫，并組合了批處理、服務和加速等不同的層。
· Value Proposition: 這些數(shù)據(jù)庫的價值在于其可能帶來的商機。
延伸閱讀：安防大數(shù)據(jù)發(fā)展之路——聰明的數(shù)據(jù)
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產業(yè)前沿產品、技術及市場趨勢的專業(yè)媒體傳播和品牌服務。從安全管理到產業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經驗，提供媒體、活動、展會等整合營銷服務。
粵公網(wǎng)安備 44030402000264號
