# 查看日志
journalctl -u victoria-metrics -n 100 --no-pager

# 常见原因：

# 排查端口冲突
sudo lsof -i :8428
# 或
sudo ss -tlnp | grep 8428

# 排查权限问题
ls -la /var/lib/victoria-metrics/
# 确保用户与 systemd 服务配置一致

# 排查内存问题
free -h
cat /proc/$(pgrep victoria-metrics)/status | grep VmRSS

# 1. 检查数据是否写入成功
curl -s 'http://localhost:8428/api/v1/label/__name__/values' | python3 -m json.tool

# 2. 检查时间范围
# 确认查询的时间范围覆盖数据的时间戳
curl -s 'http://localhost:8428/api/v1/status/tsdb' | python3 -c "
import json, sys
data = json.load(sys.stdin)
print(f\"Total series: {data['data']['totalSeries']}\")
for m in data['data']['seriesCountByMetricName'][:5]:
    print(f\"  {m['name']}: {m['value']}\")
"

# 3. 检查时间戳是否合理
curl -s 'http://localhost:8428/api/v1/query?query=my_metric&time=0' | python3 -m json.tool
# 如果时间戳是 0 或很旧，数据可能在查询范围之外

# 4. 检查 stale 数据
# VictoriaMetrics 默认 staleness 为 5 分钟
# 如果最后一次写入超过 staleness 窗口，查询可能返回空
curl -s "http://localhost:8428/api/v1/query?query=my_metric&step=1m"

# 1. 检查并发查询数
curl -s 'http://localhost:8428/metrics' | grep concurrent_select

# 2. 减少查询复杂度
# - 缩短时间范围
# - 增加标签过滤
# - 使用聚合减少序列数

# 3. 增加超时限制
# 单节点版
victoria-metrics -search.maxQueryDuration=60s

# 集群版
vmselect -search.maxQueryDuration=60s

# 4. 查看慢查询日志
journalctl -u victoria-metrics | grep "slow query" | tail -20

# 1. 检查并发写入数
curl -s 'http://localhost:8428/metrics' | grep concurrent_insert

# 2. 增加并发限制
victoria-metrics -maxConcurrentInserts=64

# 3. 检查磁盘空间
df -h /var/lib/victoria-metrics/
# 低于 -storage.minFreeDiskSpaceBytes 会拒绝写入

# 4. 检查内存使用
free -h
# 内存接近 -memory.allowedPercent 限制时可能降速

# 5. 检查集群版 vminsert 到 vmstorage 的连接
curl http://vminsert:8480/health

# 1. 查看磁盘使用详情
du -sh /var/lib/victoria-metrics/data/*

# 2. 查看活跃序列数
curl -s 'http://localhost:8428/api/v1/status/tsdb' | python3 -c "
import json, sys
data = json.load(sys.stdin)
total = data['data']['totalSeries']
print(f'Active series: {total}')
"

# 3. 减少保留期（临时应急）
# 需要重启服务
# -retentionPeriod=30d  (原来是 90d)

# 4. 清理高基数标签
# 查看 label 基数
curl -s 'http://localhost:8428/api/v1/status/tsdb' | python3 -c "
import json, sys
data = json.load(sys.stdin)
print('Top labels by cardinality:')
for item in data['data']['seriesCountByLabelName'][:10]:
    print(f\"  {item['name']:30s} {item['value']}\")
"

# 5. 查看高基数指标
curl -s 'http://localhost:8428/api/v1/status/tsdb' | python3 -c "
import json, sys
data = json.load(sys.stdin)
print('Top metrics by series:')
for item in data['data']['seriesCountByMetricName'][:10]:
    print(f\"  {item['name']:40s} {item['value']}\")
"

# 1. 检查各组件健康状态
curl http://vminsert:8480/health
curl http://vmselect:8481/health
curl http://vmstorage:8482/health

# 2. 检查网络连通性
telnet vmstorage 8400
telnet vmstorage 8401

# 3. 检查防火墙规则
sudo iptables -L -n | grep 840

# 4. 查看 vmstorage 日志
journalctl -u vmstorage | grep "connection refused"

# 5. 检查 vminsert 的 storageNode 配置
# 确保所有 vmstorage 地址正确且可达

# 日志级别设置
# -loggerLevel: INFO, WARN, ERROR, FATAL
victoria-metrics -loggerLevel=INFO

# 日志输出到文件
victoria-metrics -loggerOutput=file -loggerFilePath=/var/log/victoria-metrics/vm.log

# 日志格式
victoria-metrics -loggerFormat=json  # JSON 格式（便于 ELK 等收集）
victoria-metrics -loggerFormat=default  # 文本格式

# 查看最近的错误日志
journalctl -u victoria-metrics -p err -n 50

# 按时间范围查看
journalctl -u victoria-metrics --since "2024-01-15 10:00" --until "2024-01-15 11:00"

# 实时跟踪日志
journalctl -u victoria-metrics -f

# 搜索慢查询
journalctl -u victoria-metrics | grep "slow query" | tail -20

# 搜索 OOM
journalctl -u victoria-metrics | grep -i "memory\|oom" | tail -20

# 统计错误数量
journalctl -u victoria-metrics -p err --since today | wc -l

# JSON 格式日志分析（如果启用了 JSON 格式）
journalctl -u victoria-metrics -o json | python3 -c "
import json, sys
for line in sys.stdin:
    entry = json.loads(line)
    msg = entry.get('MESSAGE', '')
    if 'error' in msg.lower():
        print(entry.get('__REALTIME_TIMESTAMP', ''), msg[:200])
"

# 基础健康检查
curl http://localhost:8428/health
# 返回: {"status":"ok"}

# 集群版健康检查
curl http://vminsert:8480/health
curl http://vmselect:8481/health
curl http://vmstorage:8482/health

# 构建信息（版本等）
curl -s http://localhost:8428/api/v1/status/buildinfo | python3 -m json.tool

# TSDB 状态（序列数、标签基数等）
curl -s http://localhost:8428/api/v1/status/tsdb | python3 -m json.tool

# 活跃查询列表
curl -s http://localhost:8428/api/v1/status/active_queries | python3 -m json.tool

# 运行时内存统计
curl -s http://localhost:8428/metrics | grep -E "^go_memstats_"

# 写入速率
curl -s 'http://localhost:8428/api/v1/query?query=rate(vm_rows_inserted_total[5m])' | \
    python3 -c "
import json, sys
data = json.load(sys.stdin)
for r in data.get('data', {}).get('result', []):
    print(f\"{r['metric']}: {r['value'][1]}\")
"

# 活跃序列数
curl -s 'http://localhost:8428/api/v1/query?query=vm_active_timeseries' | \
    python3 -c "
import json, sys
data = json.load(sys.stdin)
for r in data.get('data', {}).get('result', []):
    print(f\"Active series: {r['value'][1]}\")
"

# 慢查询速率
curl -s 'http://localhost:8428/api/v1/query?query=rate(vm_slow_queries_total[5m])' | \
    python3 -c "
import json, sys
data = json.load(sys.stdin)
for r in data.get('data', {}).get('result', []):
    print(f\"Slow query rate: {r['value'][1]}/s\")
"

# 缓存命中率
curl -s 'http://localhost:8428/api/v1/query?query=vm_cache_hits_total/(vm_cache_hits_total+vm_cache_misses_total)' | \
    python3 -c "
import json, sys
data = json.load(sys.stdin)
for r in data.get('data', {}).get('result', []):
    cache_type = r['metric'].get('type', 'unknown')
    hit_rate = float(r['value'][1]) * 100
    print(f\"Cache {cache_type}: {hit_rate:.1f}% hit rate\")
"

# 1. 查看 CPU 使用率
top -b -n 1 | grep victoria-metrics

# 2. 查看并发查询数
curl -s http://localhost:8428/metrics | grep vm_concurrent

# 3. 限制查询并发
# 添加参数: -search.maxConcurrentRequests=8

# 4. 查看查询统计
curl -s 'http://localhost:8428/api/v1/status/active_queries'

# 1. 查看进程内存
ps aux | grep victoria-metrics
cat /proc/$(pgrep victoria-metrics)/status | grep -E "VmRSS|VmSize"

# 2. 查看活跃序列数（主要内存消耗）
curl -s 'http://localhost:8428/api/v1/status/tsdb' | python3 -c "
import json, sys
data = json.load(sys.stdin)
print(f\"Total series: {data['data']['totalSeries']}\")
print(f\"Label values: {data['data']['totalLabelValuePairs']}\")
"

# 3. 找出高基数标签
curl -s 'http://localhost:8428/api/v1/status/tsdb' | python3 -c "
import json, sys
data = json.load(sys.stdin)
for item in data['data']['seriesCountByLabelName']:
    if item['value'] > 10000:
        print(f\"WARNING: Label '{item['name']}' has {item['value']} values\")
"

# 4. 调整内存限制
# -memory.allowedPercent=50  (降低允许的内存百分比)

# 1. 检查磁盘 I/O 使用
iostat -x 1 5

# 2. 查看 Part 数量（过多会导致 I/O 压力）
ls /var/lib/victoria-metrics/data/big/ | wc -l
ls /var/lib/victoria-metrics/data/small/ | wc -l

# 3. 检查合并状态
curl -s http://localhost:8428/metrics | grep merge

# 4. 优化措施
# - 使用 SSD
# - 减少活跃序列数
# - 增加采集间隔（减少写入频率）

# 检查各 vmstorage 节点的序列数
for port in 8482 8483 8484; do
    echo "vmstorage :${port}:"
    curl -s "http://localhost:${port}/api/v1/status/tsdb" | python3 -c "
import json, sys
data = json.load(sys.stdin)
print(f\"  Series: {data['data']['totalSeries']}\")
"
done

# 如果某个节点序列数明显不同，可能是：
# 1. 分片不均匀（check vminsert 路由）
# 2. 某个节点曾经不可用
# 3. 数据删除（retention）进度不同

# 1. 检查 vmstorage 健康状态
curl http://vmstorage1:8482/health

# 2. 查看 vminsert 的路由日志
journalctl -u vminsert | grep "unavailable" | tail -20

# 3. 检查 vmstorage 磁盘空间
# 低于 -storage.minFreeDiskSpaceBytes 时 vmstorage 会拒绝写入

# 4. 重启 vmstorage（如果有副本）
sudo systemctl restart vmstorage
# 新加入的节点会自动同步数据

# 如果数据目录部分损坏
# 1. 停止 VictoriaMetrics
sudo systemctl stop victoria-metrics

# 2. 删除损坏的 Part
# 识别损坏的 Part（通常日志中会有报错）
ls /var/lib/victoria-metrics/data/big/
# 删除包含损坏 Part 的目录

# 3. 重启（VictoriaMetrics 会跳过损坏的 Part）
sudo systemctl start victoria-metrics

# 4. 从备份恢复丢失的数据
vmrestore \
    -src=s3://my-bucket/vm-backup/latest/ \
    -storageDataPath=/var/lib/victoria-metrics/data

# 强制触发 Part 合并（通常不需要手动操作）
# 可以通过临时调整参数实现
# 注意：强制合并会增加 I/O 和 CPU 负载

# 查看当前合并状态
curl -s http://localhost:8428/metrics | grep merge