今天為大家推薦一些翻譯整理的大數據相關的非常棒的學習資源,希望能給大家一些幫助。
服務編程Akka Toolkit:JVM中分佈性、容錯事件驅動應用程序的運行時間;
Apache Avro:數據序列化系統;
Apache Curator:Apache ZooKeeper的Java庫;
Apache Karaf:在任何OSGi框架之上運行的OSGi運行時間;
Apache Thrift:構建二進制協議的框架;
Apache Zookeeper:流程管理集中式服務;
Google Chubby:一種松耦合分佈式系統鎖服務;
Linkedin Norbert:集群管理器;
OpenMPI:消息傳遞框架;
Serf:服務發現和協調的分散化解決方案;
Spotify Luigi:一種構建批處理作業的複雜管道的Python包,它能夠處理依賴性解析、工作流管理、可視化、故障處理、命令行一體化等等問題;
Spring XD:數據攝取、實時分析、批量處理和數據導出的分佈式、可擴展系統;
Twitter Elephant Bird:LZO壓縮數據的工作庫;
Twitter Finagle:JVM的異步網絡堆棧。
調度
Apache Aurora:在Apache Mesos之上運行的服務調度程序;
Apache Falcon:數據管理框架;
Apache Oozie:工作流作業調度程序;
Chronos:分佈式容錯調度;
Linkedin Azkaban:批處理工作流作業調度;
Schedoscope:Hadoop作業敏捷調度的Scala DSL;
Sparrow:調度平臺;
Airflow:一個以編程方式編寫、調度和監控工作流的平臺。
機器學習
Apache Mahout:Hadoop的機器學習庫;
brain:JavaScript中的神經網絡;
Cloudera Oryx:實時大規模機器學習;
Concurrent Pattern:Cascading的機器學習庫;
convnetjs:Javascript中的機器學習,在瀏覽器中訓練卷積神經網絡(或普通網絡);
Decider:Ruby中靈活、可擴展的機器學習;
ENCOG:支持多種先進算法的機器學習框架,同時支持類的標準化和處理數據;
etcML:機器學習文本分類;
Etsy Conjecture:Scalding中可擴展的機器學習;
Google Sibyl:Google中的大規模機器學習系統;
GraphLab Create:Python的機器學習平臺,包括ML工具包、數據工程和部署工具的廣泛集合;
H2O:Hadoop統計性的機器學習和數學運行時間;
MLbase:用於BDAS堆棧的分佈式機器學習庫;
MLPNeuralNet:針對iOS和Mac OS X的快速多層感知神經網絡庫;
MonkeyLearn:使文本挖掘更為容易,從文本中提取分類數據;
nupic:智能計算的Numenta平臺,它是一個啟發大腦的機器智力平臺,基於皮質學習算法的精準的生物神經網絡;
PredictionIO:建於Hadoop、Mahout和Cascading上的機器學習服務器;
SAMOA:分佈式流媒體機器學習框架;
scikit-learn:scikit-learn為Python中的機器學習;
Spark MLlib:Spark中一些常用的機器學習(ML)功能的實現;
Vowpal Wabbit:微軟和雅虎發起的學習系統;
WEKA:機器學習軟件套件;
BidMach:CPU和加速GPU的機器學習庫。
基準測試
Apache Hadoop Benchmarking:測試Hadoop性能的微基準;
Berkeley SWIM Benchmark:現實大數據工作負載基準測試;
Intel HiBench:Hadoop基準測試套件;
PUMA Benchmarking:MapReduce應用的基準測試套件;
Yahoo Gridmix3:雅虎工程師團隊的Hadoop集群基準測試。
安全性
Apache Knox Gateway:Hadoop集群安全訪問的單點;
Apache Sentry:存儲在Hadoop的數據安全模塊。
系統部署
Apache Ambari:Hadoop管理的運作框架;
Apache Bigtop:Hadoop生態系統的部署框架;
Apache Helix:集群管理框架;
Apache Mesos:集群管理器;
Apache Slider:一種YARN應用,用來部署YARN中現有的分佈式應用程序;
Apache Whirr:運行雲服務的庫集;
Apache YARN:集群管理器;
Brooklyn:用於簡化應用程序部署和管理的庫;
Buildoop:基於Groovy語言,和Apache BigTop類似;
Cloudera HUE:和Hadoop進行交互的Web應用程序;
Facebook Prism:多數據中心複製系統;
Google Borg:作業調度和監控系統;
Google Omega:作業調度和監控系統;
Hortonworks HOYA:可在YARN上部署HBase集群的應用;
Marathon:用於長期運行服務的Mesos框架。
應用程序
Adobe spindle:使用Scala、Spark和Parquet處理的下一代web分析;
Apache Kiji:基於HBase,實時採集和分析數據的框架;
Apache Nutch:開源網絡爬蟲;
Apache OODT:用於NASA科學檔案中數據的捕獲、處理和共享;
Apache Tika:內容分析工具包;
Argus:時間序列監測和報警平臺;
Countly:基於Node.js和MongoDB,開源的手機和網絡分析平臺;
Domino:運行、規劃、共享和部署模型——沒有任何基礎設施;
Eclipse BIRT:基於Eclipse的報告系統;
Eventhub:開源的事件分析平臺;
Hermes:建於Kafka上的異步消息代理;
HIPI Library:在Hadoop’s MapReduce上執行圖像處理任務的API;
Hunk:Hadoop的Splunk分析;
Imhotep:大規模分析平臺;
MADlib:RDBMS的用於數據分析的數據處理庫;
Kylin:來自eBay的開源分佈式分析工具;
PivotalR:Pivotal HD / HAWQ和PostgreSQL中的R;
Qubole:為自動縮放Hadoop集群,內置的數據連接器;
Sense:用於數據科學和大數據分析的雲平臺;
SnappyData:用於實時運營分析的分佈式內存數據存儲,提供建立在Spark單一集成集群中的數據流分析、OLTP(聯機事務處理)和OLAP(聯機分析處理);
Snowplow:企業級網絡和事件分析,由Hadoop、Kinesis、Redshift 和Postgres提供技術支持;
SparkR:Spark的R前端;
Splunk:用於機器生成的數據的分析;
Sumo Logic:基於雲的分析儀,用於分析機器生成的數據;
Talend:用於YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統一開源環境;
Warp:利用大數據(OS X app)的實例查詢工具。
搜索引擎與框架
Apache Lucene:搜索引擎庫;
Apache Solr:用於Apache Lucene的搜索平臺;
ElasticSearch:基於Apache Lucene的搜索和分析引擎;
Enigma.io:為免費增值的健壯性web應用,用於探索、篩選、分析、搜索和導出來自網絡的大規模數據集;
Facebook Unicorn:社交圖形搜索平臺;
Google Caffeine:連續索引系統;
Google Percolator:連續索引系統;
TeraGoogle:大型搜索索引;
HBase Coprocessor:為Percolator的實現,HBase的一部分;
Lily HBase Indexer:快速、輕鬆地搜索存儲在HBase的任何內容;
LinkedIn Bobo:完全由Java編寫的分面搜索的實現,為Apache Lucene的延伸;
LinkedIn Cleo:為一個一個靈活的軟件庫,使得局部、無序、實時預輸入的搜索實現了快速發展;
LinkedIn Galene:LinkedIn搜索架構;
LinkedIn Zoie:是用Java編寫的實時搜索/索引系統;
Sphinx Search Server:全文搜索引擎
MySQL的分支和演化
Amazon RDS:亞馬遜雲的MySQL數據庫;
Drizzle:MySQL的6.0的演化;
Google Cloud SQL:谷歌雲的MySQL數據庫;
MariaDB:MySQL的增強版嵌入式替代品;
MySQL Cluster:使用NDB集群存儲引擎的MySQL實現;
Percona Server:MySQL的增強版嵌入式替代品;
ProxySQL:MySQL的高性能代理;
TokuDB:用於MySQL和 MariaDB的存儲引擎;
WebScaleSQL:運行MySQL時面臨類似挑戰的幾家公司,它們的工程師之間的合作。
PostgreSQL的分支和演化
Yahoo Everest – multi-peta-byte database / MPP derived by PostgreSQL.
HadoopDB:MapReduce和DBMS的混合體;
IBM Netezza:高性能數據倉庫設備;
Postgres-XL:基於PostgreSQL,可擴展的開源數據庫集群;
RecDB:完全建立在PostgreSQL內部的開源推薦引擎;
Stado:開源MPP數據庫系統,只針對數據倉庫和數據集市的應用程序;
Yahoo Everest:PostgreSQL可以推導多字節P比特數據庫/MPP。
Memcached的分支和演化
Facebook McDipper:閃存的鍵/值緩存;
Facebook Memcached:Memcache的分支;
Twemproxy:Memcached和Redis的快速、輕型代理;
Twitter Fatcache:閃存的鍵/值緩存;
Twitter Twemcache:Memcache的分支。
嵌入式數據庫
Actian PSQL:Pervasive Software公司開發的ACID兼容的DBMS,在應用程序中嵌入了優化;
BerkeleyDB:為鍵/值數據提供一個高性能的嵌入式數據庫的一個軟件庫;
HanoiDB:Erlang LSM BTree存儲;
LevelDB:谷歌寫的一個快速鍵-值存儲庫,它提供了從字符串鍵到字符串值的有序映射;
LMDB:Symas開發的超快、超緊湊的鍵-值嵌入的式數據存儲;
RocksDB:基於性LevelDB,用於快速存儲的嵌入式持續性鍵-值存儲。
商業智能
BIME Analytics:商業智能雲平臺;
Chartio:精益業務智能平臺,用於可視化和探索數據;
datapine:基於雲的自助服務商業智能工具;
Jaspersoft:功能強大的商業智能套件;
Jedox Palo:定製的商業智能平臺;
Microsoft:商業智能軟件和平臺;
Microstrategy:商業智能、移動智能和網絡應用軟件平臺;
Pentaho:商業智能平臺;
Qlik:商業智能和分析平臺;
Saiku:開源的分析平臺;
SpagoBI:開源商業智能平臺;
Tableau:商業智能平臺;
Zoomdata:大數據分析;
Jethrodata:交互式大數據分析。
數據可視化
Airpal:用於PrestoDB的網頁UI;
Arbor:利用網絡工作者和jQuery的圖形可視化庫;
Banana:對存儲在Kibana中Solr. Port的日誌和時戳數據進行可視化;
Bokeh:一個功能強大的Python交互式可視化庫,它針對要展示的現代web瀏覽器,旨在為D3.js風格的新奇的圖形提供優雅簡潔的設計,同時在大規模數據或流數據集中,通過高性能交互性來表達這種能力;
C3:基於D3可重複使用的圖表庫;
CartoDB:開源或免費增值的虛擬主機,用於帶有強大的前端編輯功能和API的地理空間數據庫;
chartd:只帶Img標籤的反應靈敏、兼容Retina的圖表;
Chart.js:開源的HTML5圖表可視化效果;
Chartist.js:另一個開源HTML5圖表可視化效果;
Crossfilter:JavaScript庫,用於在瀏覽器中探索多元大數據集,用Dc.js和D3.js.效果很好;
Cubism:用於時間序列可視化的JavaScript庫;
Cytoscape:用於可視化複雜網絡的JavaScript庫;
DC.js:維度圖表,和Crossfilter一起使用,通過D3.js呈現出來,它比較擅長連接圖表/附加的元數據,從而徘徊在D3的事件附近;
D3:操作文件的JavaScript庫;
D3.compose:從可重複使用的圖表和組件構成複雜的、數據驅動的可視化;
D3Plus:一組相當強大的可重用的圖表,還有D3.js的樣式;
Envisionjs:動態HTML5可視化;
FnordMetric:寫SQL查詢,返回SVG圖表,而不是表;
Freeboard:針對IOT和其他Web混搭的開源實時儀表盤構建;
Gephi:屢獲殊榮的開源平臺,可視化和操縱大型圖形和網絡連接,有點像Photoshop,但是針對於圖表,適用於Windows和Mac OS X;
Google Charts:簡單的圖表API;
Grafana:石墨儀表板前端、編輯器和圖形組合器;
Graphite:可擴展的實時圖表;
Highcharts:簡單而靈活的圖表API;
IPython:為交互式計算提供豐富的架構;
Kibana:可視化日誌和時間標記數據;
Matplotlib:Python繪圖;
Metricsgraphic.js:建立在D3之上的庫,針對時間序列數據進行最優化;
NVD3:d3.js的圖表組件;
Peity:漸進式SVG條形圖,折線和餅圖;
Plot.ly:易於使用的Web服務,它允許快速創建從熱圖到直方圖等複雜的圖表,使用圖表Plotly的在線電子表格上傳數據進行創建和設計;
Plotly.js:支持plotly的開源JavaScript圖形庫;
Recline:簡單但功能強大的庫,純粹利用JavaScript和HTML構建數據應用;
Redash:查詢和可視化數據的開源平臺;
Shiny:針對R的Web應用程序框架;
Sigma.js:JavaScript庫,專門用於圖形繪製;
Vega:一個可視化語法;
Zeppelin:一個筆記本式的協作數據分析;
Zing Charts:用於大數據的JavaScript圖表庫。
物聯網和傳感器
TempoIQ:基於雲的傳感器分析;
2lemetry:物聯網平臺;
Pubnub:數據流網絡;
ThingWorx:ThingWorx 是讓企業快速創建和運行互聯應用程序平臺;
IFTTT:IFTTT 是一個被稱為 “網絡自動化神器” 的創新型互聯網服務,它的全稱是 If this then that,意思是“如果這樣,那麼就那樣”;
Evrythng:Evrythng則是一款真正意義上的大眾物聯網平臺,使得身邊的很多產品變得智能化。
最後說一下,想要學習大數據的限時領取免費資料及課程
領取方法:
還是那個萬年不變的老規矩
1.評論文章,沒字數限制,一個字都行!
3.私信小編:“大數據開發教程”即可!
謝謝大家,祝大家學習愉快!(拿到教程後一定要好好學習,多練習哦!)
閱讀更多 微笑數據工程師 的文章