成為"黑客"前，必須學習的"計算機網絡通信原理"
"黑客"的目的是尋找目標漏洞，然後去發起攻擊或者提出解決方案修補漏洞，而尋找漏洞的過程，你就需要掌握很多知識，例如計算機原理、計算機網絡、操作系統、計算機軟件、編程語言、數據結構、數據庫技術、前沿技術等等，在這麼多要學習的內容裡，首先需要先學習"網絡通信原理"，為什麼？因為網絡通信原理十分重要，根據他的原理可以判斷出許多貌似正確的理論其實是有很多漏洞的通信過程，而很多黑客攻擊就是利用了這些漏洞，很多網絡安全解決方案也是用來解決這些漏洞問題的。
一、網絡的由來？
互聯網的本質就是一系列的網絡協議。
一臺硬設有了操作系統，然後裝上軟件你就可以正常使用了，每個人都擁有一臺自己的機器，然而彼此孤立。
如何能讓大家一起玩耍，就有了初步的網絡，其實兩臺計算機之間通信與兩個人打電話之間通信的原理是一樣的，普通話屬於中國國內人與人之間通信的標準，那如果是兩個國家的人交流呢？問題是，你不可能要求一個人／計算機掌握全世界的語言／標準，於是有了世界統一的通信標準：英語
結論：英語成為世界上所有人通信的統一標準，如果把計算機看成分佈於世界各地的人，那麼連接兩臺計算機之間的internet實際上就是一系列統一的標準，這些標準稱之為互聯網協議，互聯網的本質就是一系列的協議，總稱為'互聯網協議'（Internet Protocol Suite).
互聯網協議的功能：定義計算機如何接入internet，以及接入internet的計算機通信的標準。
二、網絡協議介紹
互聯網協議按照功能不同分為osi七層或tcp/ip五層
每層運行常見物理設備
五層模型講解
我們將應用層，表示層，會話層並作應用層，從tcp／ip五層協議的角度來闡述每層的由來與功能，搞清楚了每層的主要協議，就理解了整個互聯網通信的原理。
首先，用戶感知到的只是最上面一層應用層，自上而下每層都依賴於下一層，所以我們從最下一層開始切入，比較好理解每層都運行特定的協議，越往上越靠近用戶，越往下越靠近硬件
1、物理層：上面提到，孤立的計算機之間要想一起玩，就必須接入internet，言外之意就是計算機之間必須完成組網
物理層功能：主要是基於電器特性發送高低電壓(電信號)，高電壓對應數字1，低電壓對應數字0
2、數據鏈路層：單純的電信號0和1沒有任何意義，必須規定電信號多少位一組，每組什麼意思
數據鏈路層的功能：定義了電信號的分組方式
以太網協議：
早期的時候各個公司都有自己的分組方式，後來形成了統一的標準，即以太網協議ethernet
ethernet規定
一組電信號構成一個數據包，叫做'幀'
每一數據幀分成：報頭head和數據data兩部分
head包含：(固定18個字節)
發送者／源地址，6個字節
接收者／目標地址，6個字節
數據類型，6個字節
data包含：(最短46字節，最長1500字節)
數據包的具體內容
head長度＋data長度＝最短64字節，最長1518字節，超過最大限制就分片發送
mac地址：
head中包含的源和目標地址由來：ethernet規定接入internet的設備都必須具備網卡，發送端和接收端的地址便是指網卡的地址，即mac地址。
mac地址：每塊網卡出廠時都被燒製上一個世界唯一的mac地址，長度為48位2進制，通常由12位16進制數表示（前六位是廠商編號，後六位是流水線號）
廣播：
有了mac地址，同一網絡內的兩臺主機就可以通信了（一臺主機通過arp協議獲取另外一臺主機的mac地址）ethernet採用最原始的方式，廣播的方式進行通信，即計算機通信基本靠吼
3、網絡層：有了ethernet、mac地址、廣播的發送方式，世界上的計算機就可以彼此通信了，問題是世界範圍的互聯網是由一個個彼此隔離的小的局域網組成的，那麼如果所有的通信都採用以太網的廣播方式，那麼一臺機器發送的包全世界都會收到，這就不僅僅是效率低的問題了，這會是一種災難
上圖結論：必須找出一種方法來區分哪些計算機屬於同一廣播域，哪些不是，如果是就採用廣播的方式發送，如果不是，就採用路由的方式（向不同廣播域／子網分發數據包），mac地址是無法區分的，它只跟廠商有關。
網絡層功能：引入一套新的地址用來區分不同的廣播域／子網，這套地址即網絡地址
IP協議：
規定網絡地址的協議叫ip協議，它定義的地址稱之為ip地址，廣泛採用的v4版本即ipv4，它規定網絡地址由32位2進製表示
範圍0.0.0.0-255.255.255.255
一個ip地址通常寫成四段十進制數，例：172.16.10.1
ip地址分成兩部分
網絡部分：標識子網
主機部分：標識主機
注意：單純的ip地址段只是標識了ip地址的種類，從網絡部分或主機部分都無法辨識一個ip所處的子網
例：172.16.10.1與172.16.10.2並不能確定二者處於同一子網
子網掩碼
所謂"子網掩碼"，就是表示子網絡特徵的一個參數。它在形式上等同於IP地址，也是一個32位二進制數字，它的網絡部分全部為1，主機部分全部為0。比如，IP地址172.16.10.1，如果已知網絡部分是前24位，主機部分是後8位，那麼子網絡掩碼就是11111111.11111111.11111111.00000000，寫成十進制就是255.255.255.0。
知道"子網掩碼"，我們就能判斷，任意兩個IP地址是否處在同一個子網絡。方法是將兩個IP地址與子網掩碼分別進行AND運算（兩個數位都為1，運算結果為1，否則為0），然後比較結果是否相同，如果是的話，就表明它們在同一個子網絡中，否則就不是。
比如，已知IP地址172.16.10.1和172.16.10.2的子網掩碼都是255.255.255.0，請問它們是否在同一個子網絡？兩者與子網掩碼分別進行AND運算，
172.16.10.1：10101100.00010000.00001010.000000001
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網絡地址結果：10101100.00010000.00001010.000000001->172.16.10.0
172.16.10.2：10101100.00010000.00001010.000000010
255255.255.255.0:11111111.11111111.11111111.00000000
AND運算得網絡地址結果：10101100.00010000.00001010.000000001->172.16.10.0
結果都是172.16.10.0，因此它們在同一個子網絡。
總結一下，IP協議的作用主要有兩個，一個是為每一臺計算機分配IP地址，另一個是確定哪些地址在同一個子網絡。
ip數據包
ip數據包也分為head和data部分，無須為ip包定義單獨的欄位，直接放入以太網包的data部分
head：長度為20到60字節
data：最長為65,515字節。
而以太網數據包的"數據"部分，最長只有1500字節。因此，如果IP數據包超過了1500字節，它就需要分割成幾個以太網數據包，分開發送了。
ARP協議
arp協議由來：計算機通信基本靠吼，即廣播的方式，所有上層的包到最後都要封裝上以太網頭，然後通過以太網協議發送，在談及以太網協議時候，我門瞭解到通信是基於mac的廣播方式實現，計算機在發包時，獲取自身的mac是容易的，如何獲取目標主機的mac，就需要通過arp協議
arp協議功能：廣播的方式發送數據包，獲取目標主機的mac地址
協議工作方式：每臺主機ip都是已知的
例如：主機172.16.10.10/24訪問172.16.10.11/24
3.1首先通過ip地址和子網掩碼區分出自己所處的子網
3.2分析172.16.10.10/24與172.16.10.11/24處於同一網絡(如果不是同一網絡，那麼下表中目標ip為172.16.10.1,通過arp獲取的是網關的mac)
3.3這個包會以廣播的方式在發送端所處的自網內傳輸，所有主機接收後拆開包，發現目標ip為自己的，就響應，返回自己的mac
4、傳輸層：網絡層的ip幫我們區分子網，以太網層的mac幫我們找到主機，然後大家使用的都是應用程序，你的電腦上可能同時開啟qq，暴風影音，等多個應用程序，那麼我們通過ip和mac找到了一臺特定的主機，如何標識這臺主機上的應用程序，答案就是端口，端口即應用程序與網卡關聯的編號。
傳輸層功能：建立端口到端口的通信
補充：端口範圍0-65535，0-1023為系統佔用端口
tcp協議：可靠傳輸，TCP數據包沒有長度限制，理論上可以無限長，但是為了保證網絡的效率，通常TCP數據包的長度不會超過IP數據包的長度，以確保單個TCP數據包不必再分割。
udp協議：
不可靠傳輸，"報頭"部分一共只有8個字節，總長度不超過65,535字節，正好放進一個IP數據包。
tcp報文
tcp三次握手和四次揮手
5、應用層：用戶使用的都是應用程序，均工作於應用層，互聯網是開發的，大家都可以開發自己的應用程序，數據多種多樣，必須規定好數據的組織形式
應用層功能：規定應用程序的數據格式。
例：TCP協議可以為各種各樣的程序傳遞數據，比如Email、WWW、FTP等等。那麼，必須有不同協議規定電子郵件、網頁、FTP數據的格式，這些應用程序協議就構成了"應用層"。
6、Socket：我們知道兩個進程如果需要進行通訊最基本的一個前提能能夠唯一的標示一個進程，在本地進程通訊中我們可以使用PID來唯一標示一個進程，但PID只在本地唯一，網絡中的兩個進程PID衝突幾率很大，這時候我們需要另闢它徑了，我們知道IP層的ip地址可以唯一標示主機，而TCP層協議和端口號可以唯一標示主機的一個進程，這樣我們可以利用ip地址＋協議＋端口號唯一標示網絡中的一個進程。
能夠唯一標示網絡中的進程後，它們就可以利用socket進行通信了，什麼是socket呢？我們經常把socket翻譯為套接字，socket是在應用層和傳輸層之間的一個抽象層，它把TCP/IP層複雜的操作抽象為幾個簡單的接口供應用層調用已實現進程在網絡中通信。
socket起源於UNIX，在Unix一切皆文件哲學的思想下，socket是一種"打開—讀/寫—關閉"模式的實現，服務器和客戶端各自維護一個"文件"，在建立連接打開後，可以向自己文件寫入內容供對方讀取或者讀取對方內容，通訊結束時關閉文件。
三、網絡通信實現
每臺主機實現網絡通信的基本四要素：
本機的IP地址
子網掩碼
網關的IP地址
DNS的IP地址
獲取這四要素分兩種方式：
1.靜態獲取
即手動配置
2.動態獲取
通過dhcp獲取
（1）最前面的"以太網標頭"，設置發出方（本機）的MAC地址和接收方（DHCP服務器）的MAC地址。前者就是本機網卡的MAC地址，後者這時不知道，就填入一個廣播地址：FF-FF-FF-FF-FF-FF。
（2）後面的"IP標頭"，設置發出方的IP地址和接收方的IP地址。這時，對於這兩者，本機都不知道。於是，發出方的IP地址就設為0.0.0.0，接收方的IP地址設為255.255.255.255。
（3）最後的"UDP標頭"，設置發出方的端口和接收方的端口。這一部分是DHCP協議規定好的，發出方是68端口，接收方是67端口。
這個數據包構造完成後，就可以發出了。以太網是廣播發送，同一個子網絡的每臺計算機都收到了這個包。因為接收方的MAC地址是FF-FF-FF-FF-FF-FF，看不出是發給誰的，所以每臺收到這個包的計算機，還必須分析這個包的IP地址，才能確定是不是發給自己的。當看到發出方IP地址是0.0.0.0，接收方是255.255.255.255，於是DHCP服務器知道"這個包是發給我的"，而其他計算機就可以丟棄這個包。
接下來，DHCP服務器讀出這個包的數據內容，分配好IP地址，發送回去一個"DHCP響應"數據包。這個響應包的結構也是類似的，以太網標頭的MAC地址是雙方的網卡地址，IP標頭的IP地址是DHCP服務器的IP地址（發出方）和255.255.255.255（接收方），UDP標頭的端口是67（發出方）和68（接收方），分配給請求端的IP地址和本網絡的具體參數則包含在Data部分。
新加入的計算機收到這個響應包，於是就知道了自己的IP地址、子網掩碼、網關地址、DNS服務器等等參數。
四、例舉主機訪問網站的網絡通信過程
首先打開瀏覽器，在地址欄輸入URL，回車，出現網站內容。這是我們幾乎每天都在做的事，那這個過程中到底是什麼原理呢？HTTP、TCP、DNS、IP這些耳熟能詳的名詞都在什麼時候起著什麼作用呢？在這裡整體梳理一遍。
4.1整個過程基本分做下面幾個部分：
1、域名解析成IP地址；
2、與目的主機進行TCP連接（三次握手）；
3、發送與收取數據；
4、與目的主機斷開TCP連接（四次揮手）；
4.2下面分別進行詳細說明。
4.2.1域名解析成IP地址
首先說什麼是域名解析？
我們在瀏覽器地址欄中輸入的都是類似"www.baidu.com"、"www.qq.com"等等容易記憶的英文域名，但這些字母你直接交給整個網絡線路去尋找目的主機找得到嗎？找不到，因為每個主機在網絡中的位置都是以IP標識的，IP才是主機在網絡中的位置，域名只是為了方便用戶記憶而已，這就要求瀏覽器能夠識別域名並且將其轉化為對應的IP地址。
所以瀏覽器會有一個DNS緩存，其中記錄了一些域名與IP的對應關係，供瀏覽器快速查找需要的IP。但是這個DNS緩存不可能存下所有的域名-IP地址，何況IP地址有時候還會變化，因此當在DNS緩存中沒有找到的時候，就要先向DNS服務器請求域名解析，我們常聽到的DNS服務器很大的作用就是進行域名解析。
值得一提的是，DNS域名解析時用的是UDP協議。
整個域名解析的過程如下：
1、瀏覽器向本機DNS模塊發出DNS請求，DNS模塊生成相關的DNS報文；
2、DNS模塊將生成的DNS報文傳遞給傳輸層的UDP協議單元；
3、UDP協議單元將該數據封裝成UDP數據報，傳遞給網絡層的IP協議單元；
4、IP協議單元將該數據封裝成IP數據包，其目的IP地址為DNS服務器的IP地址；
5、封裝好的IP數據包將傳遞給數據鏈路層的協議單元進行發送；
6、發送時在ARP緩存中查詢相關數據，如果沒有，就發送ARP廣播（包含待查詢的IP地址，收到廣播的主機檢查自己的IP，符合條件的主機將含有自己MAC地址的ARP包發送給ARP廣播的主機）請求，等待ARP回應；
7、得到ARP回應後，將IP地址與路由的下一跳MAC地址對應的信息寫入ARP緩存表；
8、寫入緩存後，以路由下一跳的地址填充目的MAC地址，以數據幀形式轉發；
9、轉發可能進行多次；
10、DNS請求到達DNS服務器的數據鏈路層協議單元；
11、DNS服務器的數據鏈路層協議單元解析數據幀，將內部的IP數據包傳遞給網絡層IP協議單元；
12、DNS服務器的IP協議單元解析IP數據包，將內部的UDP數據報傳遞給傳輸層UDP協議單元；
13、DNS服務器的UDP協議單元解析收到的UDP數據報，將內部的DNS報文傳遞給DNS服務單元；
14、DNS服務單元將域名解析成對應IP地址，產生DNS回應報文；
15、DNS回應報文->UDP->IP->MAC->我的主機；
16、我的主機收到數據幀，將數據幀->IP->UDP->瀏覽器；
17、將域名解析結果以域名和IP地址對應的形式寫入DNS緩存表。
其中提到了一個ARP的概念，類似於DNS將域名翻譯成IP，ARP則是將IP翻譯成MAC地址，我們知道了IP後，需要通過主機的MAC地址來更具體的找到主機。同樣的也有一個ARP緩存，其中存儲了一些IP與MAC地址的對應關係，如果緩存中找不到，就會進行廣播來查找MAC地址，收到廣播的主機會檢查自己的IP是否是待查找的IP，是的話就返回自己的MAC地址。
如果做開發，往往還會接觸到端口這個概念，那端口是什麼呢？這裡是指TCP/IP協議中的端口，端口號的範圍從0到65535，比如用於瀏覽網頁服務的80端口，用於FTP服務的21端口等等，都有一些固定的端口號，被佔用後就不能被別的服務拿來傳輸數據了。
4.2.2與目的主機進行TCP連接（三次握手）
得到域名對應的IP地址後，也就表示可以將數據送達目的主機了，這時候才開始我們常說的三次握手建立連接。
HTTP的請求時使用TCP進行傳輸的，可以保證可靠傳輸，並且有序，而TCP是有連接的傳輸，也就是在傳輸數據之前，會建立我的主機與目的主機之間的連接，然後才能傳輸數據，傳輸完成後，還有斷開連接。這也就是TCP的三次握手和四次揮手，大致過程如下圖所示：
具體的三次握手建立連接的過程如下表述，其中數據包的傳輸過程類似上文請求DNS服務器時的過程，就簡單的表示一下：
1、向目的主機發送TCP連接請求報文；
2、該TCP報文中SYN標誌位設為1，表示連接請求；
3、該TCP報文通過IP（DNS）->MAC（ARP）->網關->目的主機；
4、目的主機收到數據幀，通過IP->TCP，TCP協議單元回應請求應答報文；
5、該報文中SYN和ACK標誌設為1，表示連接請求應答；
6、該TCP報文通過IP（DNS）->MAC（ARP）->網關->我的主機；
7、我的主機收到數據幀，通過IP->TCP，TCP協議單元回應請求確認報文；
8、該TCP報文通過IP（DNS）->MAC（ARP）->網關->目的主機；
9、目的主機收到數據幀，通過IP->TCP，連接建立完成。
三次握手的過程就是一去一回一去，互相確認一下，就建立連接啦。這個過程中任何一個報文出錯或者超時，都要進行重傳。
4.2.3發送與收取數據
如上所說，只有建立連接後才能開始傳輸數據，數據其實有多種傳輸方式，比如分段啊分組啊分時啊等等。而一個數據包的傳輸過程如下所示，以HTTP的GET方法請求為例：
1、瀏覽器向域名發出GET方法報文；
2、該GET方法報文通過TCP->IP（DNS）->MAC（ARP）->網關->目的主機；
3、目的主機收到數據幀，通過IP->TCP->HTTP，HTTP協議單元會回應HTTP協議格式封裝好的HTML形式數據；
4、該HTML數據通過TCP->IP（DNS）->MAC（ARP）->網關->我的主機；
5、我的主機收到數據幀，通過IP->TCP->HTTP->瀏覽器，瀏覽器以網頁形式顯示HTML內容。
其他的HTTP方法在傳輸數據時方法都類似，只是所攜帶的內容不同。
4.2.4與目的主機斷開TCP連接（四次揮手）
數據傳輸完成後需要斷開連接，與建立時不同，斷開連接需要多一次，有四次揮手，至於為什麼，看完過程我們再講。
看圖理解過程：
過程如下：
1、瀏覽器向目的主機發出TCP連接結束請求報文，此時進入FIN WAIT狀態；
2、該報文FIN標誌位設為1，表示結束請求；
3、TCP結束請求報文通過IP（DNS）->MAC（ARP）->網關->目的主機；
4、目的主機收到數據幀，通過IP->TCP，TCP協議單元回應結束應答報文；
5、當前只是進行回應，因為目的主機可能還有數據要傳，並不急著斷開連接；
6、該報文中ACK標誌位設為1，表示收到結束請求；
7、目的數據發送完所有數據後，向我的主機發出TCP連接結束請求報文；
8、該報文FIN標誌位設為1，表示結束請求；
9、TCP結束請求報文通過IP（DNS）->MAC（ARP）->網關->我的主機；
10、我的主機收到數據幀，通過IP->TCP，TCP協議單元回應結束應答報文，此時進入TIME WAIT狀態，因為不相信網絡是可靠的，如果目的主機沒收到還可以重發；
11、該報文中的FIN標誌位均設為1，表示結束應答；
12、該TCP回應報文通過IP（DNS）->MAC（ARP）->網關->目的主機；
13、目的主機關閉連接；
14、TIME WAIT等待結束後，沒有收到回覆，說明目的正常關閉了，我的主機也關閉連接。
這裡的過程是以我的主機主動發起結束請求開始的，實際上也可以由目的主機主動發起，那麼過程就會跟上面相反，但細節差不多。
FIN_WAIT狀態是主動發起請求時等待確認信息，而TIME_WAIT狀態是收到結束請求後發送確認信息後等待看是否需要重發。
現在來說說為什麼斷開連接時需要四次揮手呢？因為建立連接時目的主機可以直接發送SYN（同步）+ACK（應答）報文。而當斷開時，目的主機收到FIN後可能還有數據要發，並不一定直接斷開，所以先發送一次應答，告知我的主機收到了請求，等確認所有數據都發完了，再發送FIN，同時等待我的主機應答，這裡的FIN和ACK就不能一起發送，所以需要四次。
4.2.5總結一下：
以上就是主機訪問網站時的網絡通信全過程，歸納起來就是：
首先要通過域名找到IP，如果緩存裡沒有就要請求DNS服務器；得到IP後開始於目的主機進行三次握手來建立TCP連接；連接建立後進行HTTP訪問，傳輸並獲取網頁內容；傳輸完後與目的主機四次揮手來斷開TCP連接。
閱讀更多 信息安全我來講你來聽 的文章
