用戶8391434687387
可以用採集軟件，或者用python，目前最常用的數據採集和數據挖掘應用，最偉大的一款軟件，如果你自己不會編程，那麼你可以嘗試一下八爪魚和火車頭這樣的一些比較簡單的採集軟件，但是他們只能採取一些簡單的數據，很多大型的數據仍然通過有相關的編程去實現。用採集軟件基本就可以實現數據上傳。
Part 1：數據採集工具
1 .八爪魚
八爪魚 是一款免費的、簡單直觀的網頁爬蟲工具，無需編碼即可從許多網站抓取數據。無論你是初學者還是經驗豐富的技術人員或企業高管，它都可以滿足你的需求。為了減少使用上的難度，八爪魚為初學者準備了“網站簡易模板”，涵蓋市面上多數主流網站。使用簡易模板，用戶無需進行任務配置即可採集數據。簡易模板為採集小白建立了自信，接下來還可以開始用“高級模式”，它可以幫助你在幾分鐘內抓取到海量數據。此外，你還可以設置定時雲採集，實時獲取動態數據並定時導出數據到數據庫或任意第三方平臺。
2. Content Grabber
Content Grabber是一個支持智能抓取的網頁爬蟲軟件。它的程序運行環境可用在開發、測試和產品服務器上。你可以使用c#或VB.NET來調試或編寫腳本來控制爬蟲程序。它還支持在爬蟲工具上添加第三方擴展插件。憑藉其全面綜合的功能，Content Grabber對於具有技術基礎的用戶而言功能極其強大。
3.Import.io
Import.io是一款基於網頁的數據抓取工具。它於2012年首次在倫敦上線。現在,Import.io將其商業模式從B2C轉向了B2B。2019年，Import.io收購了Connotate併成為網頁數據集成平臺。憑藉廣泛的網頁數據服務，Import.io成為了業務分析的絕佳選擇。
4. Parsehub
Parsehub是一款基於網頁的爬蟲程序。它支持採集使用了AJax， JavaScripts技術的網頁數據，也支持採集需要登錄的網頁數據。它有一個為期一週的免費試用窗口，供用戶體驗其功能。
5. Mozenda
Mozenda是一款網頁抓取軟件，它還為商業級數據抓取提供定製服務。它可以從雲上和本地軟件中抓取數據並進行數據託管。
Part 2.開源數據工具
1. Knime
Knime是一款分析平臺。它可以幫助你發掘商業洞察力和市場潛力。它提供了Eclipse平臺以及其他用於數據挖掘和機器學習的外部擴展。它為分析專業人員提供了超過2k個部署模塊。
2. OpenRefine
OpenRefine(以前稱為Google Refine)是處理雜亂數據的強大工具：它支持數據清洗，支持將數據從一種格式轉換為另一種格式，還可以通過網絡服務和外部數據進行擴展。使用它的分組功能，你可以輕鬆地使網頁上的雜亂數據標準化、規範化。
3. R-Programming
它是一種用於統計計算和圖形的免費軟件編程語言和軟件環境。R語言在開發統計軟件和數據分析的數據挖掘工作者中非常流行。近年來，由於其易用性和廣泛的功能性，它得到了大量的讚譽和歡迎。
除了數據挖掘，它還提供統計和圖形技術、線性和非線性建模、經典統計測試、時間序列分析、分類、聚類等功能。
4. RapidMiner
和KNIME一樣，RapidMiner通過可視化程序進行操作，能夠手動運作、分析和建模。它通過開源平臺、機器學習和模型部署來提高數據工作效率。統一的數據科學平臺可加速從數據準備到實現的分析工作流程，極大地提高了技術人員的效率，是最易於使用的預測分析軟件之一。
5. Pentaho
它是一款出色的商業BI軟件，可以幫助企業制定數據驅動型決策。該平臺集成了本地數據庫、Hadoop和NoSQL等數據源，因此，你可以輕鬆地用它來分析和管理數據，進而從數據中獲取價值。
6. Talend
它是一個開源的集成軟件，旨在將數據轉化為真知灼見。它提供各種服務和軟件，包括雲存儲、企業應用程序集成、數據管理等等。在龐大的社區支持下，它允許所有的Talend用戶和成員從任何位置共享信息，經驗和疑慮。
7. Weka
Weka是用於數據挖掘任務的機器學習算法的集合工具。這些算法既可以直接應用於數據集，也可以從你自己的JAVA代碼中調用，它也很適合開發新的機器學習方案。它還具有GUI，可以將數據科學的世界轉化給缺乏編程能力的專業人員。
8.NodeXL
它是用於微軟Excel的一個開源軟件包。作為一個附加擴展，它沒有數據集成服務和功能，它專注於社交網絡分析。直觀的網絡和描述性關係使社交媒體分析變得輕鬆自如。它是用於數據分析的最佳統計工具之一，包括高級網絡指標、對社交媒體網絡數據導入器的訪問以及自動化。
9. Gephi
Gephi也是一個在NetBeans平臺上用Java編寫的開源網絡分析和可視化軟件包。想一想你看到的巨大的人與人之間連接的地圖網絡，它們代表了LinkedIn或Facebook上面的社交聯繫。Gephi通過提供精確的計算使這一步驟有更加精確的指標展現。
Part 3.數據可視化工具
1. PowerBI
Microsoft PowerBI同時提供本地和雲服務。它最初是作為Excel插件引入的，不久PowerBI憑藉其強大的功能開始普及。目前，它被視為商業分析領域的軟件領導者。它提供了數據可視化和bi功能，使用戶可以輕鬆地以更低的成本實現快速，明智的決策，用戶可協作並共享自定義的儀表板和交互式報告。
