# /etc/systemd/system/victoria-metrics.service
[Unit]
Description=VictoriaMetrics Time Series Database
Documentation=https://docs.victoriametrics.com/
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=victoriametrics
Group=victoriametrics
WorkingDirectory=/var/lib/victoria-metrics

ExecStart=/usr/local/bin/victoria-metrics \
    -storageDataPath=/var/lib/victoria-metrics/data \
    -httpListenAddr=127.0.0.1:8428 \
    -retentionPeriod=90d \
    -memory.allowedPercent=60 \
    -dedup.minScrapeInterval=15s \
    -loggerLevel=INFO \
    -loggerFormat=json \
    -envflag.enable=true \
    -envflag.prefix=VM_

ExecStop=/bin/kill -SIGTERM $MAINPID
Restart=on-failure
RestartSec=10
TimeoutStopSec=30

# 资源限制
LimitNOFILE=65536
LimitNPROC=32768

# cgroup v2 资源限制
CPUQuota=200%
MemoryMax=16G
MemoryHigh=14G

# 安全加固
NoNewPrivileges=yes
ProtectSystem=strict
ProtectHome=yes
PrivateTmp=yes
ReadWritePaths=/var/lib/victoria-metrics /var/log/victoria-metrics

[Install]
WantedBy=multi-user.target

# 必须监控的指标
alerting_rules:
  - vm_health:
      - InstanceDown        # 服务存活
      - TooHighMemoryUsage  # 内存使用率
      - DiskRunningOut      # 磁盘空间
      - TooHighActiveSeries # 活跃序列数
      - TooSlowQueries      # 查询延迟
      - TooManySlowInserts  # 写入延迟
      - TooManyErrors       # 错误率

  - infrastructure:
      - CPU > 80%          # CPU 使用率
      - 内存 > 85%         # 内存使用率
      - 磁盘 > 80%         # 磁盘使用率
      - fd > 50000         # 文件描述符数

# 标签命名规范
naming_convention:
  - 全小写，使用下划线分隔    # ✅ host_name / ❌ HostName
  - 语义清晰                  # ✅ region / ❌ r
  - 避免高基数                # ❌ user_id / ✅ user_bucket
  - 避免动态值                # ❌ request_id / ✅ request_path
  - 统一命名                  # ✅ job / ❌ service_name vs app

# ❌ 避免：高基数标签
http_requests_total{user_id="12345678"}  # 用户数可能几百万

# ✅ 正确：使用分桶或其他聚合方式
http_requests_total{user_bucket="12xx"}  # 只保留前 2 位
# 或
http_requests_total{endpoint="/api/users", status="200"}
# 用户维度放在日志/链路中，不在指标中

# ❌ 不推荐：全量扫描
rate(http_requests_total[5m])

# ✅ 推荐：精确过滤
rate(http_requests_total{job="api-server", env="prod"}[5m])

# ❌ 不推荐：大时间窗口
avg_over_time(cpu_usage[7d])

# ✅ 推荐：使用 Recording Rule 预计算
# 预计算规则：
# record: job:cpu_usage:avg_7d
# expr: avg by (job) (avg_over_time(cpu_usage[7d]))
# 查询时：
job:cpu_usage:avg_7d

# ❌ 不推荐：嵌套聚合
topk(10, sum by (host) (rate(http_requests_total[5m])))

# ✅ 推荐：使用 Recording Rule 分步计算
# 步骤 1: 录制中间结果
# record: host:http_requests:rate5m
# expr: sum by (host) (rate(http_requests_total[5m]))
# 步骤 2: 查询
topk(10, host:http_requests:rate5m)

dashboard_best_practices:
  - 使用变量（Variables）：
    - $job: 允许用户选择 job
    - $host: 允许用户选择 host
    - $interval: 允许用户选择聚合间隔

  - 时间范围对齐：
    - 使用 $__rate_interval 代替固定 [5m]
    - 保证 rate() 的时间窗口 ≥ 2 × scrape_interval

  - 减少面板数据量：
    - 限制每个面板的最大序列数
    - 使用 topk/bottomk 限制显示数量
    - 使用 Recording Rule 预计算复杂表达式

# vminsert HA 配置
vminsert \
    -storageNode=vmstorage1:8400,vmstorage2:8400,vmstorage3:8400 \
    -replicationFactor=2 \
    -dedup.minScrapeInterval=15s

# vmselect HA 配置
vmselect \
    -storageNode=vmstorage1:8401,vmstorage2:8401,vmstorage3:8401 \
    -dedup.minScrapeInterval=15s \
    -search.maxConcurrentRequests=16 \
    -cacheDataPath=/var/lib/vmselect/cache

# Nginx 反向代理 + TLS + 认证
server {
    listen 443 ssl http2;
    server_name vm.example.com;

    ssl_certificate /etc/ssl/vm.crt;
    ssl_certificate_key /etc/ssl/vm.key;
    ssl_protocols TLSv1.2 TLSv1.3;

    # 写入端点 - 只允许内部 IP
    location /api/v1/write {
        allow 10.0.0.0/8;
        allow 172.16.0.0/12;
        deny all;
        proxy_pass http://127.0.0.1:8428;
    }

    # 查询端点 - Basic 认证
    location /api/v1/query {
        auth_basic "VictoriaMetrics";
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://127.0.0.1:8428;
    }

    # VMUI - Basic 认证
    location /vmui/ {
        auth_basic "VictoriaMetrics";
        auth_basic_user_file /etc/nginx/.htpasswd;
        proxy_pass http://127.0.0.1:8428;
    }
}