JoJo撒哇滴卡
從幾百條數據裡篩選出不重複的數據，有很多軟件，不如微軟的excel，或者MYSQL都可以。
Excel中從大數據中篩選出不同數據的方法如下：
如圖
我們用到的是Excel的篩選工具。選擇不是數據是重複的，將將不重複的數據提出來，框中所有數據，然後點擊上方工具欄-高級篩選，然後彈出高級篩選項，將全部數據放在其他位置，同時勾選不重複的數據，接下來點擊複製到的按鈕，選擇要放的數據位置，點擊複製到一欄後返回高級篩選窗口，然後點擊確定，返回到Excel你就看到了從這些數據中已經篩選把篩選的數據放在了指定的位置了。
MYsql中篩選不重複的數據
使用數據庫語句查詢，進入sql的表，查詢字段名，接著查詢from表名，設置where查詢條件，輸入代碼除去重複內容。統計出a表中name不重複的所有記錄，代碼如下：
select b.* from table b where b.id in(select a.id from table a group by
a.name having count(a.id) <2
用其中distinct是去除重複內容的即可。
網上一隻蟲
經常涉及大批量數據處理、分析、篩選等工作，可以瞭解下通用Excel，表間取數公式能瞬間查詢上百萬條數據。
通用Excel
安裝Oracle、MySQL或其它數據庫軟件，將數據導入數據庫，使用數據庫語句查詢即可。
IT項目負責人張飛飛
百萬級別還用不到大數據處理 直接用數據庫或者Excel就行了
分享到:
