什么是NUMA?NUMA在虚拟化中是如何工作的?

什么是NUMA NUMA即非统一内存访问（Non - Uniform Memory Access），是一种为多处理器计算机设计的内存架构。

在传统的对称多处理器（SMP）系统中，所有处理器访问内存的时间是相同的，内存被视为一个统一的资源池。

但随着处理器数量的增加，这种架构面临内存访问瓶颈等问题。

而NUMA架构将内存划分成多个节点（Node），每个节点都有本地内存、处理器和I/O设备。

一个节点内的处理器访问本地内存的速度较快，而访问其他节点的内存（远程内存）则需要经过节点间的互联网络，速度相对较慢，这就是“非统一内存访问”名称的由来。

这种架构旨在缓解大规模多处理器系统中内存访问延迟的问题，提高系统整体性能。

NUMA在虚拟化中的工作方式硬件层面支持在具有NUMA架构的物理服务器上，虚拟机监控器（VMM，如KVM、ESXi等）需要识别硬件的NUMA拓扑结构，了解各个节点的内存、处理器等资源分布情况。

例如，VMM可以获取到每个节点包含的CPU核心数量、本地内存容量以及节点间的连接带宽等信息。

资源分配内存分配：VMM会尽量将虚拟机的内存分配到其运行所在处理器的本地内存节点上。

比如，当创建一个虚拟机时，如果该虚拟机主要在某个特定节点的处理器上运行，VMM会优先从该节点的本地内存池中为其分配内存，以减少内存访问延迟。

这样可以确保虚拟机内的应用程序能够快速访问内存数据，提高性能。

CPU调度：VMM会根据NUMA拓扑结构来调度虚拟机的CPU使用。

它会尽量让虚拟机的线程在同一节点的CPU核心上运行，避免频繁跨节点调度。

例如，对于一个多线程的应用程序在虚拟机中运行，VMM会尝试将不同线程分配到同一节点的不同CPU核心上，减少因跨节点调度导致的性能损耗。

隔离与优化资源隔离：在虚拟化环境中，不同虚拟机可能共享物理资源。

NUMA架构有助于实现更好的资源隔离。

通过将不同虚拟机分配到不同的NUMA节点或者合理分配同一节点内的资源，可以防止某个虚拟机过度占用资源而影响其他虚拟机的性能。

例如，将对内存访问要求高的虚拟机分配到不同节点，避免它们在内存访问上产生竞争。

性能优化：VMM可以根据虚拟机的资源使用模式进行动态调整。

如果发现某个虚拟机的内存访问主要集中在远程内存，VMM可能会尝试迁移该虚拟机到更靠近其所需内存的节点上运行，或者调整内存分配策略，以优化其内存访问性能。

同时，VMM还可以通过缓存等机制来减少远程内存访问的频率，提高整体性能。

设备分配对于一些支持NUMA感知的I/O设备（如高性能网卡、存储控制器等），VMM会将其与合适的NUMA节点相关联。

例如，将负责网络通信的设备分配到与处理网络流量的虚拟机所在节点相近的位置，以减少数据传输过程中的延迟，提高I/O性能。

您可能感兴趣