學習大數據、雲技術如何提高部署學習效率?

學習大數據、雲技術,我們首先應該掌握的是部署,通過部署,我們認識hadoop、openstack等大數據、雲技術。

所以部署是我們入門的第一步。

在我們學習的過程中,部署異常是經常遇到的問題,當然如果比較喜歡專研或則非要找出哪裡出錯了,此文不要適合,本人適合人群,對於錯誤,無法找到,或則部署混亂,不得不重新部署。這裡交給大家,如何最大限度的提高效率。

1.虛擬機快照

使用虛擬機搭建hadoop、openstack集群必備基礎知識:虛擬機快照

我們剛從零基礎知識學會搭建集群,學會了Linux知識,學會了Java基礎。然後我們開始搭建集群。

搭建hadoop集群

搭建hbase集群

搭建storm

搭建spark集群

在搭建集群的過程中,遇到了各種問題,然後不斷的重複開始,不斷重複搭建,廢了很長時間搭建快要成功的時候,前面都正確安裝,但是因為某一個操作,卻把環境搞壞了。比如hadoop搭建成功,hbase卻失敗了。但是又找不出原因。Java環境配置正確了,卻因為ssh不成功,然後不斷的修改。壞境壞了,該如何辦?

如果我們剛開始學習,會不斷的重複搭建環境,然後花費大量的時間,在搭建集群上,那麼有沒有更好的辦法。答案是有的,就是----創建虛擬機快照。

那麼該具體如何操作:

學習大數據、雲技術如何提高部署學習效率?

首先我們看到1處虛擬機,右鍵彈出右側菜單,然後看到快照。

3.拍攝快照

點擊拍攝快照後,彈出下圖,輸入名稱,快照就做好了。如果後面配置遇到問題,恢復快照即可。

學習大數據、雲技術如何提高部署學習效率?

4.恢復到快照

上面做好了快照,這裡就可以恢復到某個快照了。

5.快照管理器

單擊快照管理,就看到了備份的快照,如果備份了多個就能看到多個。可以恢復到任意一個備份的快照

學習大數據、雲技術如何提高部署學習效率?

以上有的朋友可能也知道的,但是合理的使用快照,可以提高搭建集群的效率

2.搭建緩存服務器

這裡以ubuntu14.04為例:

源服務器名稱可能不太準確,意思是創建內網自己的私服,這樣只要有Ubuntu通過該私服下載安裝過軟件,私服都會緩存,下一個Ubuntu的請求就直接從緩存中獲取。

首先安裝apt-cacher

  1. apt-get install apt-cacher

複製代碼

裝的過程中選擇Daemon方式。

裝完後,/etc/default/apt-cacher 文件內容應該如下:

  1. AUTOSTART=1

複製代碼

所以服務應該已經啟動了。

到/etc/apt-cacher/apt-cacher.conf文件中修改一行配置,允許任何客戶端訪問:

  1. allowed_hosts = *

複製代碼

重啟服務

  1. service apt-cacher restart

複製代碼

然後打開網頁:http://your_ip:3142/apt-cacher

看到頁面就說明服務器正常啟動了。

在/etc/hosts文件中添加一行,可以幫助找到chrome依賴的dl.google.com

  1. 203.208.45.206 dl.google.com

複製代碼

在客戶端的ubuntu機器上,創建文件 /etc/apt/apt.conf文件或者/etc/apt/apt.conf.d/01proxy文件

內容如下:

  1. Acquire::http::Proxy "http://your_server:3142";

複製代碼

然後運行apt-get update, 為了確認真的起作用。可以查看apt-cacher的日誌,到服務器上查看目錄下的日誌文件

/var/log/apt-cacher

這裡以openstack為例:

服務器ip地址為10.0.0.100:

學習大數據、雲技術如何提高部署學習效率?

然後運行apt-get update, 為了確認真的起作用。可以查看apt-cacher的日誌,到服務器上查看目錄下的日誌文件

/var/log/apt-cacher

監控:

學習大數據、雲技術如何提高部署學習效率?

【1】想了解大數據知識,可以關注我下方評論轉發後,私信“資料”。

【2】部分資料有時間限制,抓緊時間吧!

感謝大家支持!


分享到:


相關文章: