在當今的數(shù)字革命浪潮中，大數(shù)據(jù)成為公司企業(yè)分析客戶行為和提供個性化定制服務(wù)的有力工具。下面由學(xué)習(xí)啦小編為大家整理的數(shù)據(jù)工具，希望大家喜歡!

　　數(shù)據(jù)工具

　　1、 Talend Open Studio

　　是第一家針對的數(shù)據(jù)集成工具市場的ETL(數(shù)據(jù)的提取Extract、傳輸Transform、載入Load)開源軟件供應(yīng)商。Talend的下載量已超過200萬人次，其開源軟件提供了數(shù)據(jù)整合功能。其用戶包括美國國際集團(AIG)、康卡斯特、電子港灣、通用電氣、三星、Ticketmaster和韋里遜等企業(yè)組織。

　　2、DYSON

　　探碼科技自主研發(fā)的DYSON智能分析系統(tǒng)，可以完整的實現(xiàn)大數(shù)據(jù)的采集、分析、處理。DYSON智能分析系統(tǒng)專業(yè)針對互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘。可以靈活迅速地抓取網(wǎng)頁上散亂分布的信息，并通過強大的處理功能，準確挖掘出所需數(shù)據(jù)，是目前使用人數(shù)最多的網(wǎng)頁采集工具.

　　3、Chukwa

　　監(jiān)測大型分布式系統(tǒng)的一個開源數(shù)據(jù)采集系統(tǒng)，建立在HDFS/MapReduce框架之上并繼承了Hadoop的可伸縮性和可靠性，可以收集來自大型分布式系統(tǒng)的數(shù)據(jù)，用于監(jiān)控。它還包括靈活而強大的顯示工具用于監(jiān)控、分析結(jié)果。

　　數(shù)據(jù)管理工具

　　1、YARN

　　一種新的Hadoop資源管理器，它是一個通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，解決了舊MapReduce框架的性能瓶頸。它的基本思想是把資源管理和作業(yè)調(diào)度/監(jiān)控的功能分割到單獨的守護進程。

　　2、Mesos

　　由加州大學(xué)伯克利分校的AMPLab首先開發(fā)的一款開源群集管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架構(gòu)。對數(shù)據(jù)中心而言它就像一個單一的資源池，從物理或虛擬機器中抽離了CPU，內(nèi)存，存儲以及其它計算資源， 很容易建立和有效運行具備容錯性和彈性的分布式系統(tǒng)。

　　3、 Logstash

　　一個應(yīng)用程序日志、事件的傳輸、處理、管理和搜索的平臺?？梢杂盟鼇斫y(tǒng)一對應(yīng)用程序日志進行收集管理，提供了Web接口用于查詢和統(tǒng)計。

　　數(shù)據(jù)集成工具

　　1、Flume

　　Cloudera提供的一個高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。同時，F(xiàn)lume支持對數(shù)據(jù)進行簡單處理，并寫入各種數(shù)據(jù)接受方(可定制)。

　　2、RabbitMQ

　　一個受歡迎的消息代理系統(tǒng)，通常用于應(yīng)用程序之間或者程序的不同組件之間通過消息來進行集成。RabbitMQ提供可靠的應(yīng)用消息發(fā)送、易于使用、支持所有主流操作系統(tǒng)、支持大量開發(fā)者平臺。

　　3、ActiveMQ

　　Apache出品，號稱“最流行的，最強大”的開源消息集成模式服務(wù)器。ActiveMQ特點是速度快，支持多種跨語言的客戶端和協(xié)議，其企業(yè)集成模式和許多先進的功能易于使用，是一個完全支持JMS1.1和J2EE 1.4規(guī)范的JMS Provider實現(xiàn)。