PCIe 调试：超级好用的 rescan 与 remove 命令 - 极术社区

在 Linux 中，我们经常使用 remove 和 rescan 命令对 PCI 设备进行操作，常常用于设备调试和故障排查。

以下是对这两个命令的简单介绍：

1.remove 命令

remove 命令用于从系统中移除指定的 PCI 设备。这通常涉及到卸载设备的驱动程序并从内核中删除设备节点

命令格式

echo 1 > /sys/bus/pci/devices//remove

参数

：表示 PCI 设备的 Bus:Device:Function 地址。例如，0000:15:00.0。

案例

假设你有一个 BDF 地址为 0000:05:02.0 的 PCI 设备，你可以使用以下命令将其移除：

echo 1 > /sys/bus/pci/devices/0000:15:00.0/remove

/sys/bus/pci/devices/0000:15:00.0 目录内容如下所示

2.remove 执行的操作

使用 echo 1 > /sys/bus/pci/devices/0000:15:00.0/remove 命令移除一个 PCI 设备时，Linux 内核会进行一系列的操作来确保设备被安全地移除，主要包含如下操作：

2.1.卸载设备驱动程序

•卸载驱动程序：内核会尝试卸载与该设备关联的驱动程序。这包括停止所有与该设备相关的服务和进程，确保设备不再被使用。

•释放资源：内核会释放设备占用的资源，如中断（IRQ）、DMA 缓冲区、内存映射等。

2.2.关闭设备

•停止设备：内核会向设备发送停止命令，确保设备不再进行任何操作。

•断开设备连接：内核会断开设备与系统的连接，包括断开设备的电源和数据路径。

2.3.更新 IOMMU 组

•移除设备：内核会将设备从其所属的 IOMMU 组中移除。这涉及到更新 IOMMU 组的成员列表，确保其他设备不会受到移除操作的影响。

•更新 IOMMU 表：内核会更新 IOMMU 表，移除与该设备相关的条目，确保 IOMMU 不再为该设备提供内存保护和虚拟化支持。

NOTE: 执行remove命令后在terminal输入demsg 命令可以看到如下提示：

iommu: Removing device 0000:15:00.0 from group 29

表示IOMMU已将0000:15:00.0设备从其所属的29组中移除

2.4.更新设备树

更新设备树：内核会从设备树中移除该设备的节点，确保系统不再识别该设备。

更新设备状态：内核会更新设备的状态信息，标记该设备为已移除。

此时使用 lspci 命令将无法查询到 15:00.0 的 PCI 设备

2.5.释放 PCI 配置空间

释放配置空间：内核会释放设备的 PCI 配置空间，包括基地址寄存器（BARs）、命令寄存器、状态寄存器等。

清除配置寄存器：内核会清除设备的配置寄存器，确保设备的配置状态被重置。

例如：文件夹/sys/bus/pci/devices/0000:15:00.0会被删除

2.6.更新系统日志

记录操作：内核会将移除操作记录到系统日志中，以便后续调试和审计。

通知用户空间：内核会通知用户空间，告知设备已被移除。用户空间的工具和服务可以监听这些事件并采取相应的行动。

3.rescan 命令

在 Linux 中，rescan 命令用于重新扫描 PCI 总线，检测并加载所有可用的 PCI 设备。

echo 1 > /sys/bus/pci/rescan

3.1.参数

1：表示触发重新扫描操作。

/sys/bus/pci/rescan：这是内核提供的一个特殊文件，写入 1 会触发 PCI 总线的重新扫描

3.2.常见使用场景

•设备热插拔：当你插入新的 PCI 设备时，可以使用 rescan 命令让系统检测并加载新设备。

•设备移除后重新检测：当你使用 remove 命令移除设备后，可以使用 rescan 命令重新检测并加载该设备。

•调试和故障排除：在调试过程中，重新扫描 PCI 总线可以帮助你确认设备是否被正确识别和加载。

4.rescan 后的操作

如下 demsg 消息显示了 Linux 内核在重新扫描 PCI 总线时对 BDF 地址为 0000:15:00.0 的 PCI 设备进行的初始化过程，主要包含了内存映射与 bar 地址分配、电源管理、IOMMU 添加设备与 Error 提示。

[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: [1f67:1111] type 00 class 0x020000
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: reg 0x10: [mem 0x21fe0000000-0x21fefffffff 64bit pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: reg 0x20: [mem 0x21ff0000000-0x21ff000ffff 64bit pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: reg 0x30: [mem 0x00000000-0x0007ffff pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: PME# supported from D0 D3hot
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: reg 0x164: [mem 0x21ff0010000-0x21ff001ffff 64bit pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: VF(n) BAR0 space: [mem 0x21ff0010000-0x21ff008ffff 64bit pref] (contains BAR0 for 8 VFs)
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: reg 0x174: [mem 0x21ff0090000-0x21ff009ffff 64bit pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: VF(n) BAR4 space: [mem 0x21ff0090000-0x21ff010ffff 64bit pref] (contains BAR4 for 8 VFs)        
[Wed Jan  2 16:11:13 2008] iommu: Adding device 0000:15:00.0 to group 29
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: BAR 0: assigned [mem 0x21fe0000000-0x21fefffffff 64bit pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: BAR 6: assigned [mem 0xfb600000-0xfb67ffff pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: BAR 4: assigned [mem 0x21ff0000000-0x21ff000ffff 64bit pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: BAR 7: assigned [mem 0x21ff0010000-0x21ff008ffff 64bit pref]
[Wed Jan  2 16:11:13 2008] pci 0000:15:00.0: BAR 11: assigned [mem 0x21ff0090000-0x21ff010ffff 64bit pref]
[Wed Jan  2 16:11:13 2008] DMAR: 64bit 0000:15:00.0 uses identity mapping
[Wed Jan  2 16:11:13 2008] xsc-pci 0000:15:00.0: xsc_check_cmdq_version:388:(pid 18793): cmdq version check failed, expecting version 33, actual version 45
[Wed Jan  2 16:11:13 2008] xsc-pci 0000:15:00.0: xsc_init_once:480:(pid 18793): Failed to check cmdq version
[Wed Jan  2 16:11:14 2008] xsc-pci 0000:15:00.0: xsc_load_one:628:(pid 18793): xsc_init_once failed -22
[Wed Jan  2 16:11:14 2008] xsc-pci 0000:15:00.0: xsc_pci_probe:840:(pid 18793): xsc_load_one failed -22
[Wed Jan  2 16:11:14 2008] xsc-pci: probe of 0000:15:00.0 failed with error -22

END

作者：IC小鸽
文章来源：IC小鸽

推荐阅读

更多 IC 设计干货请关注IC设计专栏。欢迎添加极术小姐姐微信（id:aijishu20)加入技术交流群，请备注研究方向。