bonding的系统初始化介绍,系统初始化介绍

摘要：

Bond0模块加载Bond原理是为了便于理解Bond的配置和实现。顺便介绍了Linux的网络接口及其配置文件。绑定定义网卡的四种链路状态：正常状态、网卡故障、故障状态和网络恢复状态。当绑定MII检测到当前活动设备无效时，绑定将快速将其他网卡设置为首选从属设备。

bond0模块的加载

Bonding原理

为方便理解bonding的配置及实现，顺便阐述一下Linux的网络接口及其配置文件。在 Linux 中，所有的网络通讯都发生在软件接口与物理网络设备之间。与网络接口配置相关的文件，以及控制网络接口状态的脚本文件，全都位于 /etc/sysconfig/netwrok-scripts/ 目录下。网络接口配置文件用于控制系统中的软件网络接口，并通过这些接口实现对网络设备的控制。当系统启动时，系统通过这些接口配置文件决定启动哪些接口，以及如何对这些接口进行配置。接口配置文件的名称通常类似于 ifcfg-，其中与配置文件所控制的设备的名称相关。在所有的网络接口中，最常用的就是以太网接口ifcfg-eth0，它是系统中第一块网卡的配置文件。虽然在不同的系统之间，文件的类型和数量并不一定相同，但各种的网络设备都需要用到这些文件保证设备的正常运作。bonding技术，就是通过配置文件建立绑定接口，从而实现多个物理网卡绑定到一个虚拟网卡。

Questions?

怎么看当前bond的mode？
- #cat /proc/net/bonding/bond0
- 方式1： #vim /etc/sysconfig/network-scripts/ifcfg-bond0的BONDING_OPTS参数；
- 方式2：/etc/modprobe.d/bond.conf 增加options参数行： options bond0 miimon=100 mode=4 xmit_hash_policy=layer3+4
为何配置当前mode？
mac地址为何一样？
- bonding的原理：在正常情况下，网卡只接收目的硬件地址(MAC Address)是自身MAC的以太网帧，过滤别的数据帧，以减轻驱动程序的负担；但是网卡也支持另外一种被称为混杂promisc的模式，可以接收网络上所有的帧，bonding就运行在这种模式下，而且修改了驱动程序中的mac地址，将两块网卡的MAC地址改成相同，可以接收特定MAC的数据帧。然后把相应的数据帧传送给bond驱动程序处理

Bonding工作模式

bonding的模式一共有7种，常用的为0、1两种：

round-robin(balance-rr) 0 网卡的负载均衡模式
active-backup 1 网卡的容错模式
balance-xor 2 需要交换机支持
broadcast 3 广播模式
ieee802.3ad 4 动态链路聚合模式，需要交换机支持
mode-tlb 5 自适应模式
mode-alb 6 网卡虚拟化方式

mode=0表示load balancing(round-robin)为负载均衡方式，两块网卡都工作。在这种模式下，能在提供带宽的负载均衡的同时提供失效保护。

mode=1表示fault-tolerance(active-backup)提供冗余功能，工作方式是主备的工作方式，也就是说默认情况下只有一块网卡工作，另一块做备份。bonding定义了网卡的4个链路状态：正常状态(BOND_LINK_UP)、网卡出现故障(BOND_LINK_FAIL)、失效状态(BOND_LINK_DOWN)及网上恢复状态(BOND_LINK_BACK)。mii的作用就是依次检查网卡链路状态是否处于这些状态，然后通过标记某个变量来说明当前是否需要切换slave网卡。在这种模式下，两块网卡有一块是不工作的，同时，bond虚设备的MAC地址均一致，所以这张备用网卡不会被外界察觉，交换机也不存在向该端口发包的情况。当bond的mii检测到当前的active设备失效了以后，bonding会迅速将另外一块网卡设置为首选slave设备。

在以上模式中，虚拟网卡的MAC地址始终是第一个slave网卡的MAC。由于外界学习到的服务器MAC地址始终是不变的，在网络上确定了IP和MAC的唯一对应关系，保证了上层业务传输的逻辑一致性，所以链路的状态不会受很大的影响。

系统设置

kernel support:

#cat /boot/config-4.9.151-015.xxx.xxxx.x86_64  | grep -i BONDING
CONFIG_BONDING=m

设置开机加载：

以使系统在启动时加载bonding模块，对外虚拟网络接口设备为 bond0

[root@localhost /data/sandbox/dpdk-17.11/usertools]
#cat /etc/modprobe.d/bonding.conf
alias netdev-bond0 bonding

[root@localhost /data/sandbox/dpdk-17.11/usertools]
#lsmod  | grep bond
bonding               151552  0

bond0 配置文件

[root@localhost /etc/sysconfig/network-scripts]
#cat ifcfg-eth0
DEVICE=eth0
TYPE="Ethernet"
HWADDR=28:31:52:AA:9E:4A
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
PEERDNS=no
ETHTOOL_OPTS="speed 1000 duplex full autoneg on"
RX_MAX=`ethtool -g "$DEVICE" | grep 'Pre-set' -A1 | awk '/RX/{print $2}'`
RX_CURRENT=`ethtool -g "$DEVICE" | grep "Current" -A1 | awk '/RX/{print $2}'`
[[ "$RX_CURRENT" -lt "$RX_MAX" ]] && ethtool -G "$DEVICE" rx "$RX_MAX"

说明：这里使用了BONDING_OPTS选项，则不需要再使用 /etc/modprobe.conf 配置文件对绑定设备进行配置。参数mode=0，指负载均衡模式，详见下文。miimon是用来进行链路监测的，其原理是检测网上的链路状态，一般将miimon值设为100，表示系统每100ms监测一次链路连接状态，如果有一条线路不通就转入另一条线路。

说明：修改单个网卡配置，主要是去掉IP 地址、子网掩码等信息。同时添加MASTER及SLAVE两项参数。
MASTER=：的值是以太网卡连接到的通道绑定接口的名称，这个指令与 SLAVE 指令配合使用。
SLAVE=<yes|no>：yes - 表示此设备可以由 MASTER 指令中配置的通道绑定接口进行控制。 no - 表示此设备不能由 MASTER 指令中配置的通道绑定接口进行控制。

[root@localhost /etc/sysconfig/network-scripts]
#cat ifcfg-eth1
DEVICE=eth1
TYPE="Ethernet"
HWADDR=28:31:52:AA:9E:4B
BOOTPROTO=none
ONBOOT=yes
MASTER=bond0
SLAVE=yes
PEERDNS=no
ETHTOOL_OPTS="speed 1000 duplex full autoneg on"
RX_MAX=`ethtool -g "$DEVICE" | grep 'Pre-set' -A1 | awk '/RX/{print $2}'`
RX_CURRENT=`ethtool -g "$DEVICE" | grep "Current" -A1 | awk '/RX/{print $2}'`
[[ "$RX_CURRENT" -lt "$RX_MAX" ]] && ethtool -G "$DEVICE" rx "$RX_MAX"

如何查看 bond mode是？
- BONDING_OPTS --> mode=4

[root@localhost /etc/sysconfig/network-scripts]
#cat ifcfg-bond0
DEVICE=bond0
BOOTPROTO=static
TYPE="ethernet"
IPADDR=10.137.16.5
NETMASK=255.255.255.0
ONBOOT=yes
USERCTL=no
PEERDNS=no
BONDING_OPTS="miimon=100 mode=4 xmit_hash_policy=layer3+4"

[root@localhost /etc/sysconfig/network-scripts]
#ethtool -g eth1
Ring parameters for eth1:
Pre-set maximums:
RX:		4096
RX Mini:	0
RX Jumbo:	0
TX:		4096
Current hardware settings:
RX:		4096
RX Mini:	0
RX Jumbo:	0
TX:		256

bond0的mac地址是多少？取决于？

[root@localhost /etc/sysconfig/network-scripts]
#ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP qlen 1000
    link/ether 28:31:52:aa:9e:4a brd ff:ff:ff:ff:ff:ff
3: eth1: <BROADCAST,MULTICAST,SLAVE,UP,LOWER_UP> mtu 1500 qdisc mq master bond0 state UP qlen 1000
    link/ether 28:31:52:aa:9e:4a brd ff:ff:ff:ff:ff:ff
4: ens6f0: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether d8:49:0b:8c:d1:3c brd ff:ff:ff:ff:ff:ff
5: ens6f1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN qlen 1000
    link/ether d8:49:0b:8c:d1:3d brd ff:ff:ff:ff:ff:ff
6: bond0: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP qlen 1000
    link/ether 28:31:52:aa:9e:4a brd ff:ff:ff:ff:ff:ff
    inet 10.137.16.5/24 brd 10.137.16.255 scope global bond0
       valid_lft forever preferred_lft forever

bond0 的生效信息

[root@localhost /data/sandbox/dpdk-17.11/usertools]
#cat  /proc/net/bonding/bond0
Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation   <<===bonding mode 4
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Min links: 0
Aggregator selection policy (ad_select): stable
System priority: 65535
System MAC address: 28:31:52:aa:9e:4a
Active Aggregator Info:
	Aggregator ID: 1
	Number of ports: 2
	Actor Key: 9
	Partner Key: 10
	Partner Mac Address: 74:25:8a:bc:2f:1c

Slave Interface: eth0              <<======eth0
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 28:31:52:aa:9e:4a
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 28:31:52:aa:9e:4a
    port key: 9
    port priority: 255
    port number: 1
    port state: 61
details partner lacp pdu:
    system priority: 32768
    system mac address: 74:25:8a:bc:2f:1c
    oper key: 10
    port priority: 32768
    port number: 10
    port state: 61

Slave Interface: eth1               <<======eth1
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 28:31:52:aa:9e:4b
Slave queue ID: 0
Aggregator ID: 1
Actor Churn State: none
Partner Churn State: none
Actor Churned Count: 0
Partner Churned Count: 0
details actor lacp pdu:
    system priority: 65535
    system mac address: 28:31:52:aa:9e:4a
    port key: 9
    port priority: 255
    port number: 2
    port state: 61
details partner lacp pdu:
    system priority: 32768
    system mac address: 74:25:8a:bc:2f:1c
    oper key: 10
    port priority: 32768
    port number: 117
    port state: 61

查看当前速率


[root@localhost /etc/sysconfig/network-scripts]
#ethtool bond0
Settings for bond0:
	Supported ports: [ ]
	Supported link modes:   Not reported
	Supported pause frame use: No
	Supports auto-negotiation: No
	Advertised link modes:  Not reported
	Advertised pause frame use: No
	Advertised auto-negotiation: No
	Speed: 2000Mb/s
	Duplex: Full
	Port: Other
	PHYAD: 0
	Transceiver: internal
	Auto-negotiation: off
	Link detected: yes

内核网卡接口

[root@localhost /etc/sysconfig/network-scripts]
#ll /sys/class/net/eth0/
total 0
-r--r--r--  1 root root 4096 May  7 14:11 addr_assign_type
-r--r--r--  1 root root 4096 May  7 03:48 address
-r--r--r--  1 root root 4096 May  7 14:11 addr_len
drwxr-xr-x  2 root root    0 May  7 14:11 bonding_slave
-r--r--r--  1 root root 4096 May  7 14:11 broadcast
-rw-r--r--  1 root root 4096 May  7 10:21 carrier
-r--r--r--  1 root root 4096 May  7 14:11 carrier_changes
lrwxrwxrwx  1 root root    0 May  6 17:07 device -> ../../../0000:01:00.0
-r--r--r--  1 root root 4096 May  7 14:11 dev_id
-r--r--r--  1 root root 4096 May  7 10:21 dev_port
-r--r--r--  1 root root 4096 May  7 14:11 dormant
-r--r--r--  1 root root 4096 May  7 14:11 duplex
-rw-r--r--  1 root root 4096 May  7 14:11 flags
-rw-r--r--  1 root root 4096 May  7 14:11 gro_flush_timeout
-rw-r--r--  1 root root 4096 May  7 05:20 ifalias
-r--r--r--  1 root root 4096 May  7 14:11 ifindex
-r--r--r--  1 root root 4096 May  7 14:11 iflink
-r--r--r--  1 root root 4096 May  7 14:11 link_mode
lrwxrwxrwx  1 root root    0 May  7 14:11 master -> ../../../../../virtual/net/bond0
-rw-r--r--  1 root root 4096 May  7 03:48 mtu
-r--r--r--  1 root root 4096 May  7 14:11 name_assign_type
-rw-r--r--  1 root root 4096 May  7 14:11 netdev_group
-r--r--r--  1 root root 4096 May  6 17:07 operstate
-r--r--r--  1 root root 4096 May  7 14:11 phys_port_id
-r--r--r--  1 root root 4096 May  7 14:11 phys_port_name
-r--r--r--  1 root root 4096 May  7 14:11 phys_switch_id
drwxr-xr-x  2 root root    0 May  7 10:38 power
-rw-r--r--  1 root root 4096 May  7 14:11 proto_down
drwxr-xr-x 18 root root    0 May  7 10:38 queues
-r--r--r--  1 root root 4096 May  7 14:11 speed
drwxr-xr-x  2 root root    0 May  7 10:38 statistics
lrwxrwxrwx  1 root root    0 May  7 14:11 subsystem -> ../../../../../../class/net
-rw-r--r--  1 root root 4096 May  7 14:11 tx_queue_len
-r--r--r--  1 root root 4096 May  7 14:11 type
-rw-r--r--  1 root root 4096 May  7 14:11 uevent
lrwxrwxrwx  1 root root    0 May  7 14:11 upper_bond0 -> ../../../../../virtual/net/bond0

从ifup看bond0的初始化过程

ifup eth0
	/etc/sysconfig/network-scripts/ifup-eth ifcfg-eth0
		network-functions
			install_bonding_driver  // 如果 #cat /sys/class/net/bonding_masters 不存在，就执行：modprobe bonding

在 /etc/sysconfig/network-scripts/ifup-eth 文件中, 完成bond 驱动的加载和初始化：

下面看看对于slave device的处理，比如eth0，如果eth0不在/sys/class/net/bond0/bonding/slaves 文件中，那么需要先down掉（/sbin/ip link set dev ${DEVICE} down）eth0设备，将eth0 写入到bond0的配置/sys/class/net/bond0/bonding/slaves中；

先看对slave设备的处理

# slave device?
if [ "${SLAVE}" = yes -a "${ISALIAS}" = no -a "${MASTER}" != "" ]; then
    install_bonding_driver ${MASTER}
    grep -wq "${DEVICE}" /sys/class/net/${MASTER}/bonding/slaves 2>/dev/null || {
    /sbin/ip link set dev ${DEVICE} down
    echo "+${DEVICE}" > /sys/class/net/${MASTER}/bonding/slaves 2>/dev/null
    }
    ethtool_set  <<<=====这里根据 #cat /etc/sysconfig/network-scripts/ifcfg-eth0 | grep ETHTOOL_OPTS 参数，
                 ### 对eth0网卡进行配置，实际执行命令是：`/sbin/ethtool -s eth0 speed 1000 duplex full autoneg on`

    exit 0
fi

[root@localhost /data/sandbox/cyberstar]
#cat /etc/sysconfig/network-scripts/ifcfg-eth0 | grep ETHTOOL_OPTS
ETHTOOL_OPTS="speed 1000 duplex full autoneg on"

ethtool_set()
{
    oldifs=$IFS;
    IFS=';';
    [ -n "${ETHTOOL_DELAY}" ] && /bin/usleep ${ETHTOOL_DELAY}
    for opts in $ETHTOOL_OPTS ; do
    IFS=$oldifs;
        if [[ "${opts}" =~ [[:space:]]*- ]]; then
        /sbin/ethtool $opts
        else
        /sbin/ethtool -s ${REALDEVICE} $opts
        fi
    IFS=';';
    done
    IFS=$oldifs;
}

再看对master设备的处理

# Bonding initialization. For DHCP, we need to enslave the devices early,
# so it can actually get an IP.
if [ "$ISALIAS" = no ] && is_bonding_device ${DEVICE} ; then
    install_bonding_driver ${DEVICE}
    /sbin/ip link set dev ${DEVICE} up
    for device in $(LANG=C grep -l "^[[:space:]]*MASTER="?${DEVICE}"?([[:space:]#]|$)" /etc/sysconfig/network-scripts/ifcfg-*) ; do
        is_ignored_file "$device" && continue
        /sbin/ifup ${device##*/} || net_log "Unable to start slave device ${device##*/} for master ${DEVICE}." warning
    done

    [ -n "${LINKDELAY}" ] && /bin/sleep ${LINKDELAY}

    # add the bits to setup the needed post enslavement parameters
    for arg in $BONDING_OPTS ; do
        key=${arg%%=*};
        value=${arg##*=};
    if [ "${key}" = "primary" ]; then
            echo $value > /sys/class/net/${DEVICE}/bonding/$key
    fi
    done
fi

判断依据

主要看install_bonding_driver 函数的逻辑，来分析bond的初始化过程：

[root@localhost /data/sandbox/cyberstar]
#cat /sys/class/net/bonding_masters
bond0

如果/sys/class/net/bond0/bonding/slaves 文件少于1行，表示，bonding没有配置好,同样判断一个设备是否是 bonding设备，也可以根据这个文件是否存在来判断：

[root@localhost /data/sandbox/cyberstar]
#cat /sys/class/net/bond0/bonding/slaves
eth1 eth0

如果bond没有配置好，则，继续，配置如下几个kernel 参数:

[root@localhost /data/sandbox/cyberstar]
#cat /sys/class/net/bond0/bonding/mode
802.3ad 4

[root@localhost /data/sandbox/cyberstar]
#cat /sys/class/net/bond0/bonding/miimon
100

bonding的系统初始化介绍

bond0模块的加载

Bonding原理

Questions?

Bonding工作模式

系统设置

bond0 配置文件

bond0 的生效信息

查看当前速率

内核网卡接口

从ifup看bond0的初始化过程

先看对slave设备的处理

再看对master设备的处理

判断依据

相关文章

在macOS苹果电脑上安装Azure DevOps Server（TFS）代理

解决Mac上配置JAVA环境时找不到profile的问题

springboot工程启动即执行一段代码

u-boot核心初始化

在Virtualbox上安装MacOS

curl c/c++ api接口使用例程 Mr_Von的专栏博客频道 CSDN.NET

最新文章

随机推荐

思享工具箱导航

JSON工具

格式化转换

加解密编码

文本数字

网络

站长

计算

其他

对照列表

bonding的系统初始化介绍

bond0模块的加载

Bonding原理

Questions?

Bonding工作模式

系统设置

bond0 配置文件

bond0 的生效信息

查看当前速率

内核网卡接口

从ifup看bond0的初始化过程

先看对slave设备的处理

再看对master设备的处理

判断依据

相关文章

在macOS苹果电脑上安装Azure DevOps Server（TFS）代理

解决Mac上配置JAVA环境时找不到profile的问题

springboot工程启动即执行一段代码

u-boot核心初始化

在Virtualbox上安装MacOS

curl c/c++ api接口使用例程 Mr_Von的专栏 博客频道 CSDN.NET

最新文章

随机推荐

思享工具箱导航

JSON工具

格式化转换

加解密编码

文本数字

网络

站长

计算

其他

对照列表

curl c/c++ api接口使用例程 Mr_Von的专栏博客频道 CSDN.NET