學習大數據、雲技術,我們首先應該掌握的是部署,通過部署,我們認識hadoop、openstack等大數據、雲技術。
所以部署是我們入門的第一步。
在我們學習的過程中,部署異常是經常遇到的問題,當然如果比較喜歡專研或則非要找出哪裡出錯了,此文不要適合,本人適合人群,對於錯誤,無法找到,或則部署混亂,不得不重新部署。這裡交給大家,如何最大限度的提高效率。
1.虛擬機快照
使用虛擬機搭建hadoop、openstack集群必備基礎知識:虛擬機快照
我們剛從零基礎知識學會搭建集群,學會了Linux知識,學會了Java基礎。然後我們開始搭建集群。
搭建hadoop集群
搭建hbase集群
搭建storm
搭建spark集群
在搭建集群的過程中,遇到了各種問題,然後不斷的重複開始,不斷重複搭建,廢了很長時間搭建快要成功的時候,前面都正確安裝,但是因為某一個操作,卻把環境搞壞了。比如hadoop搭建成功,hbase卻失敗了。但是又找不出原因。Java環境配置正確了,卻因為ssh不成功,然後不斷的修改。壞境壞了,該如何辦?
如果我們剛開始學習,會不斷的重複搭建環境,然後花費大量的時間,在搭建集群上,那麼有沒有更好的辦法。答案是有的,就是----創建虛擬機快照。
那麼該具體如何操作:
首先我們看到1處虛擬機,右鍵彈出右側菜單,然後看到快照。
3.拍攝快照
點擊拍攝快照後,彈出下圖,輸入名稱,快照就做好了。如果後面配置遇到問題,恢復快照即可。
4.恢復到快照
上面做好了快照,這裡就可以恢復到某個快照了。
5.快照管理器
單擊快照管理,就看到了備份的快照,如果備份了多個就能看到多個。可以恢復到任意一個備份的快照
以上有的朋友可能也知道的,但是合理的使用快照,可以提高搭建集群的效率
2.搭建緩存服務器
這裡以ubuntu14.04為例:
源服務器名稱可能不太準確,意思是創建內網自己的私服,這樣只要有Ubuntu通過該私服下載安裝過軟件,私服都會緩存,下一個Ubuntu的請求就直接從緩存中獲取。
首先安裝apt-cacher
- apt-get install apt-cacher
複製代碼
裝的過程中選擇Daemon方式。
裝完後,/etc/default/apt-cacher 文件內容應該如下:
- AUTOSTART=1
複製代碼
所以服務應該已經啟動了。
到/etc/apt-cacher/apt-cacher.conf文件中修改一行配置,允許任何客戶端訪問:
- allowed_hosts = *
複製代碼
重啟服務
- service apt-cacher restart
複製代碼
然後打開網頁:http://your_ip:3142/apt-cacher
看到頁面就說明服務器正常啟動了。
在/etc/hosts文件中添加一行,可以幫助找到chrome依賴的dl.google.com
- 203.208.45.206 dl.google.com
複製代碼
在客戶端的ubuntu機器上,創建文件 /etc/apt/apt.conf文件或者/etc/apt/apt.conf.d/01proxy文件
內容如下:
- Acquire::http::Proxy "http://your_server:3142";
複製代碼
然後運行apt-get update, 為了確認真的起作用。可以查看apt-cacher的日誌,到服務器上查看目錄下的日誌文件
/var/log/apt-cacher
這裡以openstack為例:
服務器ip地址為10.0.0.100:
然後運行apt-get update, 為了確認真的起作用。可以查看apt-cacher的日誌,到服務器上查看目錄下的日誌文件
/var/log/apt-cacher
監控:
【1】想了解大數據知識,可以關注我下方評論轉發後,私信“資料”。
【2】部分資料有時間限制,抓緊時間吧!
感謝大家支持!
閱讀更多 大數據時代吧 的文章