# 使用 host CPU 直通（最佳性能）
-cpu host

# 绑定 vCPU 到物理 CPU
taskset -c 0-3 qemu-system-x86_64 ...

# 设置 CPU 亲和性（在 QEMU Monitor 中）
# (qemu) info cpus
# (qemu) cpu_set 0 thread_id=xxx

# 推荐配置：host CPU + 禁用不必要特性
-cpu host,kvm=on,l3-cache=on,migratable=no

# NUMA 感知配置
-smp 8,sockets=2,cores=2,threads=2 \
-numa node,memdev=mem0,cpus=0-3 \
-numa node,memdev=mem1,cpus=4-7 \
-object memory-backend-ram,size=2G,id=mem0 \
-object memory-backend-ram,size=2G,id=mem1

# 使用大页内存（HugePages）
# 在宿主机上配置
echo 4096 | sudo tee /proc/sys/vm/nr_hugepages
sudo sysctl vm.nr_hugepages=4096

# 在 QEMU 中使用
-m 4G -mem-path /dev/hugepages

# 内存气球驱动（动态内存调整）
-device virtio-balloon

# KSM（内核同页合并）
echo 1 | sudo tee /sys/kernel/mm/ksm/run
echo 100 | sudo tee /sys/kernel/mm/ksm/sleep_millisecs

# 使用 virtio-blk 而非 IDE
-drive file=disk.qcow2,format=qcow2,if=virtio

# 使用 io_uring（Linux 5.1+，推荐）
-drive file=disk.qcow2,format=qcow2,if=virtio,aio=io_uring,cache=writeback

# 使用直接 I/O
-drive file=disk.qcow2,format=qcow2,if=virtio,cache=none

# 使用多个 IO 线程
-object iothread,id=iot0 \
-device virtio-blk-pci,drive=drive0,iothread=iot0

# 预分配磁盘空间
qemu-img create -f qcow2 -o preallocation=falloc disk.qcow2 40G

# 使用 virtio-net + vhost-net
-netdev tap,id=net0,vhost=on,script=no,downscript=no \
-device virtio-net-pci,netdev=net0

# 多队列网络
-netdev tap,id=net0,vhost=on,queues=4,script=no,downscript=no \
-device virtio-net-pci,netdev=net0,mq=on,vectors=8

# 使用 vhost-user（需 DPDK）
-netdev type=vhost-user,id=net0,chardev=char0,vhostforce=on

# 1. 不以 root 运行 QEMU
# 将用户加入 kvm 和 libvirt 组
sudo usermod -aG kvm,libvirt $(whoami)

# 2. 使用 seccomp 过滤
-seccomp on

# 3. 使用 Linux 命名空间隔离（通过 libvirt）
# libvirt 默认使用 cgroup 和命名空间

# 4. 限制资源使用
-smp 4 \
-m 4G,maxmem=8G,slots=4 \
-cpu host,ssbd=on,md-clear=on

# 不要将 VNC/SPICE 暴露到公网
# 错误做法:
-display vnc=0.0.0.0:0  # 监听所有接口

# 正确做法:
-display vnc=127.0.0.1:0  # 仅监听本地
# 或使用 SSH 隧道
# ssh -L 5900:localhost:5900 user@host

# 防火墙规则
sudo iptables -A INPUT -p tcp --dport 5900 -s 192.168.1.0/24 -j ACCEPT
sudo iptables -A INPUT -p tcp --dport 5900 -j DROP

# 使用 TLS 加密 SPICE
-spice tls-port=5901,addr=0.0.0.0,x509-dir=/etc/pki/libvirt-spice

安全检查清单:
  ✅ 不以 root 运行 QEMU
  ✅ VNC/SPICE 不暴露到公网
  ✅ 使用 TLS 加密远程连接
  ✅ 限制 QMP socket 访问权限
  ✅ 启用 seccomp 过滤
  ✅ 使用 virtio-vsock 替代 SSH 内部通信
  ✅ 定期更新 QEMU 到最新版本
  ✅ 使用 AppArmor/SELinux 限制 QEMU 进程
  ✅ 限制虚拟机 CPU 和内存使用
  ✅ 禁用不必要的虚拟设备

# libvirt 默认使用 sVirt（SELinux + 虚拟化）
# 每个虚拟机有独立的安全上下文

# 查看虚拟机安全标签
ps -eZ | grep qemu

# 输出示例:
# system_u:system_r:svirt_t:s0:c123,c456 12345 qemu-system-x86_64 ...

# 每个虚拟机的标签不同，防止互相访问

生产 HA 架构:
  ┌──────────────────────────────────────────────┐
  │              管理层                            │
  │    OpenStack / Proxmox VE / oVirt             │
  ├──────────────────────────────────────────────┤
  │              计算节点 1              计算节点 2 │
  │  ┌─────────────────────┐  ┌─────────────────┐│
  │  │ QEMU + KVM          │  │ QEMU + KVM      ││
  │  │ VM1  VM2  VM3       │  │ VM4  VM5  VM6   ││
  │  └──────────┬──────────┘  └────────┬────────┘│
  │             │                      │         │
  ├─────────────┼──────────────────────┼─────────┤
  │             │    共享存储            │         │
  │  ┌──────────┴──────────────────────┴────────┐│
  │  │           Ceph / NFS / iSCSI              ││
  │  └───────────────────────────────────────────┘│
  └──────────────────────────────────────────────────┘

# Proxmox VE 安装后自动配置 QEMU/KVM
# 创建虚拟机
qm create 100 --name web-server --memory 4096 --cores 4 --net0 virtio,bridge=vmbr0
qm importdisk 100 disk.qcow2 local-lvm
qm set 100 --scsihw virtio-scsi-pci --scsi0 local-lvm:vm-100-disk-0
qm set 100 --ide2 local-lvm:cloudinit
qm set 100 --boot c --bootdisk scsi0
qm set 100 --serial0 socket --vga serial0
qm start 100

#!/bin/bash
# deploy-vm.sh - 生产级虚拟机部署

VM_NAME="$1"
VM_RAM="${2:-4G}"
VM_CPUS="${3:-4}"
VM_DISK_SIZE="${4:-40G}"
VM_TEMPLATE="${5:-ubuntu-22.04-template}"

# 创建虚拟机磁盘
qemu-img create -f qcow2 \
  -b "${VM_TEMPLATE}.qcow2" -F qcow2 \
  "/var/lib/libvirt/images/${VM_NAME}.qcow2" "${VM_DISK_SIZE}"

# 自定义虚拟机
virt-customize -a "/var/lib/libvirt/images/${VM_NAME}.qcow2" \
  --hostname "${VM_NAME}" \
  --root-password password:$(openssl rand -base64 12) \
  --ssh-inject root:file:/root/.ssh/id_rsa.pub \
  --timezone Asia/Shanghai \
  --install qemu-guest-agent \
  --run-command 'systemctl enable qemu-guest-agent'

# 定义并启动
virt-install \
  --name "${VM_NAME}" \
  --ram "${VM_RAM%G}000" \
  --vcpus "${VM_CPUS}" \
  --disk "/var/lib/libvirt/images/${VM_NAME}.qcow2",format=qcow2,bus=virtio \
  --import \
  --os-variant ubuntu22.04 \
  --network bridge=br0,model=virtio \
  --graphics none \
  --console pty,target_type=serial

echo "虚拟机 ${VM_NAME} 已部署"

备份策略:
  ┌─────────────────────────────────────────┐
  │  第 1 层：快照备份（分钟/小时级恢复点）    │
  │  ├── 内部快照：qemu-img snapshot         │
  │  └── 外部快照：blockdev-snapshot-sync    │
  ├─────────────────────────────────────────┤
  │  第 2 层：定期全量备份（天/周级恢复点）    │
  │  ├── 冷备份：qemu-img convert            │
  │  └── 热备份：libvirt backup API          │
  ├─────────────────────────────────────────┤
  │  第 3 层：异地/云备份（灾难恢复）          │
  │  ├── rsync 到远程服务器                   │
  │  └── 云存储 (S3/OSS)                     │
  └─────────────────────────────────────────┘

#!/bin/bash
# qemu-backup.sh - QEMU 虚拟机自动备份

BACKUP_DIR="/backup/qemu"
RETAIN_DAYS=30
VM_LIST="vm1 vm2 vm3"

mkdir -p "${BACKUP_DIR}"

for VM in ${VM_LIST}; do
    echo "备份虚拟机: ${VM}"
    
    # 通过 libvirt 获取磁盘路径
    DISK=$(virsh domblklist ${VM} --details | awk '/disk/ {print $4}' | head -1)
    
    if [ -z "${DISK}" ]; then
        echo "  跳过 ${VM}：无法获取磁盘路径"
        continue
    fi
    
    # 冻结文件系统
    virsh qemu-agent-command ${VM} '{"execute":"guest-fsfreeze-freeze"}' 2>/dev/null || true
    
    # 创建快照
    SNAP_NAME="backup-$(date +%Y%m%d-%H%M%S)"
    virsh snapshot-create-as ${VM} ${SNAP_NAME} --atomic 2>/dev/null || true
    
    # 解冻文件系统
    virsh qemu-agent-command ${VM} '{"execute":"guest-fsfreeze-thaw"}' 2>/dev/null || true
    
    # 备份磁盘
    BACKUP_FILE="${BACKUP_DIR}/${VM}/${VM}-$(date +%Y%m%d).qcow2"
    mkdir -p "$(dirname ${BACKUP_FILE})"
    qemu-img convert -f qcow2 -O qcow2 -c "${DISK}" "${BACKUP_FILE}"
    
    # 清理过期备份
    find "${BACKUP_DIR}/${VM}" -name "*.qcow2" -mtime +${RETAIN_DAYS} -delete
    
    echo "  备份完成: ${BACKUP_FILE}"
done

#!/bin/bash
# verify-backup.sh - 验证备份完整性

BACKUP_FILE="$1"

# 检查镜像完整性
qemu-img check "${BACKUP_FILE}"

# 尝试挂载验证文件系统
sudo modprobe nbd max_part=8
sudo qemu-nbd --connect=/dev/nbd0 "${BACKUP_FILE}"
sleep 2

# 检查文件系统
sudo fsck -n /dev/nbd0p1 2>/dev/null && echo "文件系统检查通过" || echo "文件系统有错误"

sudo qemu-nbd --disconnect=/dev/nbd0
sudo modprobe -r nbd

# 使用 QMP 获取虚拟机状态
echo '{"execute":"query-status"}' | socat - UNIX-CONNECT:/var/run/qemu/vm.monitor

# CPU 使用率
echo '{"execute":"query-cpus-fast"}' | socat - UNIX-CONNECT:/var/run/qemu/vm.monitor

# 内存使用
echo '{"execute":"query-memory-size-summary"}' | socat - UNIX-CONNECT:/var/run/qemu/vm.monitor

# 块设备统计
echo '{"execute":"query-blockstats"}' | socat - UNIX-CONNECT:/var/run/qemu/vm.monitor

# prometheus.yml
scrape_configs:
  - job_name: 'libvirt'
    static_configs:
      - targets: ['localhost:9177']  # libvirt_exporter

# 安装 libvirt_exporter
# https://github.com/nicolov/libvirt_exporter

# 或使用 node_exporter 的 libvirt 收集器
# https://github.com/nicolov/node_exporter

# QEMU 日志输出
qemu-system-x86_64 \
  -enable-kvm -cpu host -m 4G \
  -drive file=vm.qcow2,format=qcow2 \
  -chardev file,id=log0,path=/var/log/qemu/vm.log \
  -serial chardev:log0 \
  -display none

# libvirt 日志配置
# /etc/libvirt/libvirtd.conf
log_level = 3
log_filters="1:qemu 1:libvirt"
log_outputs="1:file:/var/log/libvirt/libvirtd.log"

资源规划:
  CPU:  宿主机物理核数 × 0.7-0.8 = 可分配 vCPU 数
  内存: 宿主机内存 - 2-4GB(宿主预留) = 可分配内存
  磁盘: 预留 20-30% 空间用于快照和增长

  过度分配建议:
    CPU:    1.5-4x (取决于负载类型)
    内存:   不建议过度分配 (或使用 KSM/balloon)
    磁盘:   使用 qcow2 稀疏分配

#!/bin/bash
# capacity-check.sh

echo "=== 宿主机资源 ==="
echo "CPU: $(nproc) 核心"
echo "内存: $(free -h | awk '/Mem:/ {print $2}') 总量, $(free -h | awk '/Mem:/ {print $3}') 已用"
echo "磁盘: $(df -h /var/lib/libvirt/images | awk 'NR==2 {print $2}') 总量, $(df -h /var/lib/libvirt/images | awk 'NR==2 {print $3}') 已用"

echo ""
echo "=== 虚拟机资源 ==="
for vm in $(virsh list --name); do
    mem=$(virsh dommemstat ${vm} 2>/dev/null | awk '/actual/ {print $2}')
    vcpu=$(virsh vcpuinfo ${vm} 2>/dev/null | grep -c "VCPU")
    echo "${vm}: ${vcpu} vCPU, $((mem/1024)) MB 内存"
done

echo ""
echo "=== KVM 使用情况 ==="
echo "运行中的 VM: $(virsh list --name | wc -l)"
echo "已分配 vCPU: $(virsh list --name | while read vm; do virsh vcpuinfo $vm 2>/dev/null; done | grep -c "VCPU")"

灾难恢复流程:
  1. 评估损失范围
     ├── 宿主机故障？
     ├── 存储故障？
     └── 网络故障？
  
  2. 恢复宿主机环境
     ├── 重装操作系统
     ├── 安装 QEMU/KVM/libvirt
     └── 配置网络和存储
  
  3. 恢复虚拟机
     ├── 从备份恢复磁盘
     ├── 恢复 XML 定义
     └── 启动虚拟机验证
  
  4. 恢复数据
     ├── 从快照恢复
     ├── 从备份恢复
     └── 验证数据完整性

#!/bin/bash
# restore-vm.sh - 虚拟机恢复脚本

VM_NAME="$1"
BACKUP_FILE="$2"
RESTORE_DIR="/var/lib/libvirt/images"

if [ -z "${VM_NAME}" ] || [ -z "${BACKUP_FILE}" ]; then
    echo "用法: $0 <vm-name> <backup-file>"
    exit 1
fi

echo "恢复虚拟机: ${VM_NAME}"

# 1. 恢复磁盘
echo "恢复磁盘..."
qemu-img convert -f qcow2 -O qcow2 "${BACKUP_FILE}" "${RESTORE_DIR}/${VM_NAME}.qcow2"

# 2. 恢复 XML 定义（如果有）
XML_FILE="${BACKUP_FILE%.qcow2}.xml"
if [ -f "${XML_FILE}" ]; then
    echo "恢复 XML 定义..."
    virsh define "${XML_FILE}"
else
    echo "未找到 XML 定义，创建基本配置..."
    virt-install \
      --name "${VM_NAME}" \
      --ram 4096 --vcpus 4 \
      --disk "${RESTORE_DIR}/${VM_NAME}.qcow2",format=qcow2,bus=virtio \
      --import --os-variant ubuntu22.04 \
      --network bridge=br0 \
      --graphics none
fi

# 3. 启动虚拟机
echo "启动虚拟机..."
virsh start "${VM_NAME}"

echo "恢复完成"

部署前检查清单:
  □ KVM 模块已加载 (/dev/kvm 存在)
  □ 用户在 kvm 和 libvirt 组中
  □ 桥接网络已配置并测试
  □ UEFI 固件已安装 (OVMF/AAVMF)
  □ 存储池已创建并有足够的空间
  □ 备份策略已实施
  □ 监控系统已配置
  □ 日志收集已配置
  □ 防火墙规则已设置
  □ VNC/SPICE 不暴露到公网
  □ 快照策略已规划
  □ 灾难恢复流程已文档化
  □ 性能基线已建立
  □ 安全加固已完成