為什麼軟中斷集中在一個CPU核上？

一、一個奇怪的問題

在瞭解了軟中斷對CPU的佔用之後，如果你動手操作查看過的話，相信會和我一樣會遇到下面這個的問題。如果沒有實際遇到也沒關係，你可以用hping命令製造一些網絡接收包來觀測。

# hping3 -S -p 80 -i 你的服務器ip

我當時對一臺線上虛機查看軟中斷造成的CPU開銷的時候，發現很奇怪，那就是所有的軟中斷幾乎都是被一個CPU核處理的。用top看si列，絕大部分都是消耗在CPU1上的，其它CPU核基本沒有。為什麼不是平均分配在全部的核上？你有沒有和我一樣感覺很奇怪呢？

二、尋找問題原因

網卡和內核交互是通過軟中斷的方式來進行的。既然是中斷，每個可中斷到CPU的設備就都會有一箇中斷號。來，我們現在虛機上找到軟中斷對應的中斷號。

# cat /proc/interrupts

CPU0 CPU1 CPU2 CPU3

27: 351 0 0 280559832 PCI-MSI-edge virtio1-input.0

28: 1 0 0 0 PCI-MSI-edge virtio1-output.0

29: 0 0 0 0 PCI-MSI-edge virtio2-config

30: 4233459 375136079 244872 474097 PCI-MSI-edge virtio2-input.0

31: 1 0 0 0 PCI-MSI-edge virtio2-output.0

......

其中的virtio1-output.0和virtio1-output.0對應的是虛擬網卡eth0的發送和接收隊列。其中斷號分別是27和28。virtio2-input.0和virtio2-output.0對應是eth1的發送和接收隊列，其中斷號分別是30和31。

我們分別查看著幾個中斷號的cpu親和性配置：

# cat /proc/irq/27/smp_affinity

8

# cat /proc/irq/28/smp_affinity

1

# cat /proc/irq/30/smp_affinity

2

# cat /proc/irq/31/smp_affinity

4

原來虛擬機是通過將不同網卡的不同隊列綁定在不同的CPU核上來實現軟中斷均衡的。但是剛才我們服務器的包都是發送到eth1上的，它的讀隊列請求特別的多，因此30號“引腳”上的中斷也會特別的多。自然和30親和的2號CPU，也就是CPU1就會出現明顯比其它CPU高的軟中斷了。

這下你明白了吧？

三、帶你認識irqbalance

其實我們上面看到的中斷的親和性都是由一個叫irqbalance的服務來維護的。通過ps命令可以查看到

# ps -ef | grep irqb

root 29805 1 0 18:57 ? 00:00:00 /usr/sbin/irqbalance --foreground

irqbalance根據系統中斷負載的情況，自動維護和遷移各個中斷的CPU親和性，以保持各個CPU之間的中斷開銷均衡。綁定了親和性的好處是運行中斷的時候CPU緩存L1、L2命中率高。但如果有必要，irqbalance也會自動把中斷從一個CPU遷移到另一個CPU上。一般情況下，我們都不需要去手工干涉irqbalance的配置。

如果實在有必要，你可以通過修改這些參數來達到將軟中斷轉移到其它核上，但是得先關掉irqbalance。修改方法很簡單，直接echo既可。

# service irqbalance stop

# echo 2 > /proc/irq/30/smp_affinity

不過我遇到了一個未解的問題，我想把一箇中斷的親和性綁到2個CPU上，貌似是不work的。仍然是一個核被打滿，另外一個核閒著，沒有想明白。如果你有答案，歡迎評論！

在實機上，原理是一樣的。不過現在的實機上網卡都是多隊列，也就是說eth0可能會有多個讀取隊列，多個寫隊列，都可以各自分開配其CPU親和性。你手頭如果有實機的話，可以試一試。