Linux用戶空間與內核空間(理解高端內存)

Linux 操作系統和驅動程序運行在內核空間,應用程序運行在用戶空間,兩者不能簡單地使用指針傳遞數據,因為Linux使用的虛擬內存機制,用戶空間的數據可能被換出,當內核空間使用用戶空間指針時,對應的數據可能不在內存中。

Linux內核地址映射模型

x86 CPU採用了段頁式地址映射模型。進程代碼中的地址為邏輯地址,經過段頁式地址映射後,才真正訪問物理內存。

段頁式機制如下圖。

Linux用戶空間與內核空間(理解高端內存)

Linux內核地址空間劃分

通常32位Linux內核地址空間劃分0~3G為用戶空間,3~4G為內核空間。注意這裡是32位內核地址空間劃分,64位內核地址空間劃分是不同的。

Linux用戶空間與內核空間(理解高端內存)

Linux內核高端內存的由來

當內核模塊代碼或線程訪問內存時,代碼中的內存地址都為邏輯地址,而對應到真正的物理內存地址,需要地址一對一的映射,如邏輯地址0xc0000003對應的物理地址為0×3,0xc0000004對應的物理地址為0×4,… …,邏輯地址與物理地址對應的關係為

物理地址 = 邏輯地址 – 0xC0000000

邏輯地址物理內存地址0xc00000000×00xc00000010×10xc00000020×20xc00000030×3……0xe00000000×20000000……0xffffffff0×40000000 ??

假 設按照上述簡單的地址映射關係,那麼內核邏輯地址空間訪問為0xc0000000 ~ 0xffffffff,那麼對應的物理內存範圍就為0×0 ~ 0×40000000,即只能訪問1G物理內存。若機器中安裝8G物理內存,那麼內核就只能訪問前1G物理內存,後面7G物理內存將會無法訪問,因為內核 的地址空間已經全部映射到物理內存地址範圍0×0 ~ 0×40000000。即使安裝了8G物理內存,那麼物理地址為0×40000001的內存,內核該怎麼去訪問呢?代碼中必須要有內存邏輯地址 的,0xc0000000 ~ 0xffffffff的地址空間已經被用完了,所以無法訪問物理地址0×40000000以後的內存。

顯 然不能將內核地址空間0xc0000000 ~ 0xfffffff全部用來簡單的地址映射。因此x86架構中將內核地址空間劃分三部分:ZONE_DMA、ZONE_NORMAL和 ZONE_HIGHMEM。ZONE_HIGHMEM即為高端內存,這就是內存高端內存概念的由來。

在x86結構中,三種類型的區域如下:

ZONE_DMA 內存開始的16MB

ZONE_NORMAL 16MB~896MB

ZONE_HIGHMEM 896MB ~ 結束

Linux用戶空間與內核空間(理解高端內存)

Linux內核高端內存的理解

前 面我們解釋了高端內存的由來。 Linux將內核地址空間劃分為三部分ZONE_DMA、ZONE_NORMAL和ZONE_HIGHMEM,高端內存HIGH_MEM地址空間範圍為 0xF8000000 ~ 0xFFFFFFFF(896MB~1024MB)。那麼如內核是如何藉助128MB高端內存地址空間是如何實現訪問可以所有物理內存

當內核想訪問高於896MB物理地址內存時,從0xF8000000 ~ 0xFFFFFFFF地址空間範圍內找一段相應大小空閒的邏輯地址空間,借用一會。借用這段邏輯地址空間,建立映射到想訪問的那段物理內存(即填充內核PTE頁面表),臨時用一會,用完後歸還。這樣別人也可以借用這段地址空間訪問其他物理內存,實現了使用有限的地址空間,訪問所有所有物理內存。如下圖。

Linux用戶空間與內核空間(理解高端內存)

例 如內核想訪問2G開始的一段大小為1MB的物理內存,即物理地址範圍為0×80000000 ~ 0x800FFFFF。訪問之前先找到一段1MB大小的空閒地址空間,假設找到的空閒地址空間為0xF8700000 ~ 0xF87FFFFF,用這1MB的邏輯地址空間映射到物理地址空間0×80000000 ~ 0x800FFFFF的內存。映射關係如下:

邏輯地址物理內存地址0xF87000000×800000000xF87000010×800000010xF87000020×80000002……0xF87FFFFF0x800FFFFF

當內核訪問完0×80000000 ~ 0x800FFFFF物理內存後,就將0xF8700000 ~ 0xF87FFFFF內核線性空間釋放。這樣其他進程或代碼也可以使用0xF8700000 ~ 0xF87FFFFF這段地址訪問其他物理內存。

從上面的描述,我們可以知道高端內存的最基本思想:借一段地址空間,建立臨時地址映射,用完後釋放,達到這段地址空間可以循環使用,訪問所有物理內存。

看到這裡,不禁有人會問:萬一有內核進程或模塊一直佔用某段邏輯地址空間不釋放,怎麼辦?若真的出現的這種情況,則內核的高端內存地址空間越來越緊張,若都被佔用不釋放,則沒有建立映射到物理內存都無法訪問了。

在 香港尖沙咀有些寫字樓,洗手間很少且有門鎖的。客戶要去洗手間的話,可以向前臺拿鑰匙,方便完後,把鑰匙歸還到前臺。這樣雖然只有一個洗 手間,但可以滿足所有客戶去洗手間的需求。要是某個客戶一直佔用洗手間、鑰匙不歸還,那麼其他客戶都無法上洗手間了。Linux內核高端內存管理的思想類 似。

Linux內核高端內存的劃分

內核將高端內存劃分為3部分:VMALLOC_START~VMALLOC_END、KMAP_BASE~FIXADDR_START和FIXADDR_START~4G。

Linux用戶空間與內核空間(理解高端內存)

對 於高端內存,可以通過 alloc_page() 或者其它函數獲得對應的 page,但是要想訪問實際物理內存,還得把 page 轉為線性地址才行(為什麼?想想 MMU 是如何訪問物理內存的),也就是說,我們需要為高端內存對應的 page 找一個線性空間,這個過程稱為高端內存映射。

對應高端內存的3部分,高端內存映射有三種方式:

映射到”內核動態映射空間”(noncontiguous memory allocation)

這種方式很簡單,因為通過 vmalloc() ,在”內核動態映射空間”申請內存的時候,就可能從高端內存獲得頁面(參看 vmalloc 的實現),因此說高端內存有可能映射到”內核動態映射空間”中。

持久內核映射(permanent kernel mapping)

如果是通過 alloc_page() 獲得了高端內存對應的 page,如何給它找個線性空間?

內核專門為此留出一塊線性空間,從 PKMAP_BASE 到 FIXADDR_START ,用於映射高端內存。在 2.6內核上,這個地址範圍是 4G-8M 到 4G-4M 之間。這個空間起叫”內核永久映射空間”或者”永久內核映射空間”。這個空間和其它空間使用同樣的頁目錄表,對於內核來說,就是 swapper_pg_dir,對普通進程來說,通過 CR3 寄存器指向。通常情況下,這個空間是 4M 大小,因此僅僅需要一個頁表即可,內核通過來 pkmap_page_table 尋找這個頁表。通過 kmap(),可以把一個 page 映射到這個空間來。由於這個空間是 4M 大小,最多能同時映射 1024 個 page。因此,對於不使用的的 page,及應該時從這個空間釋放掉(也就是解除映射關係),通過 kunmap() ,可以把一個 page 對應的線性地址從這個空間釋放出來。

臨時映射(temporary kernel mapping)

內核在 FIXADDR_START 到 FIXADDR_TOP 之間保留了一些線性空間用於特殊需求。這個空間稱為”固定映射空間”在這個空間中,有一部分用於高端內存的臨時映射。

這塊空間具有如下特點:

(1)每個 CPU 佔用一塊空間

(2)在每個 CPU 佔用的那塊空間中,又分為多個小空間,每個小空間大小是 1 個 page,每個小空間用於一個目的,這些目的定義在 kmap_types.h 中的 km_type 中。

當要進行一次臨時映射的時候,需要指定映射的目的,根據映射目的,可以找到對應的小空間,然後把這個空間的地址作為映射地址。這意味著一次臨時映射會導致以前的映射被覆蓋。通過 kmap_atomic() 可實現臨時映射。

感謝各位支持,點擊屏幕右上角的【關注】每天文章不落下。感激不盡!


分享到:


相關文章: