# 检查目标状态
curl -s http://localhost:9090/api/v1/targets | jq '.data.activeTargets[] | {instance: .labels.instance, health: .health, lastError: .lastError}'

# 检查特定 job 的目标
curl -s 'http://localhost:9090/api/v1/targets?state=active' | jq '.data.activeTargets[] | select(.labels.job=="my-app")'

# 直接 curl 目标的 metrics 端点
curl -v http://target:9090/metrics

# 使用 Prometheus 的 target 标签
curl http://localhost:9090/api/v1/targets/metadata?match_target={job="my-app"}

# 测试认证
curl -H "Authorization: Bearer <token>" https://target:8443/metrics

# 1. 检查指标是否存在
curl 'http://localhost:9090/api/v1/query?query=http_requests_total'

# 2. 检查指标的标签
curl 'http://localhost:9090/api/v1/query?query=http_requests_total{job="my-app"}'

# 3. 使用 __name__ 查看所有指标
curl 'http://localhost:9090/api/v1/label/__name__/values'

# 4. 检查时间范围
curl 'http://localhost:9090/api/v1/query?query=up&time=2024-01-01T00:00:00Z'

# 问题：rate() 返回 0
# 原因：rate 窗口太小（小于 2x scrape_interval）
rate(http_requests_total[10s])  # 如果 scrape_interval=15s，这会返回 0

# 解决：使用 ≥ 4x scrape_interval
rate(http_requests_total[1m])

# 问题：除法返回空
# 原因：除数为 0 或标签不匹配
rate(http_errors[5m]) / rate(http_requests[5m])

# 解决：添加向量匹配或过滤
rate(http_errors[5m]) / (rate(http_requests[5m]) > 0)

# 查看查询执行时间
curl -G 'http://localhost:9090/api/v1/query' \
  --data-urlencode 'query=sum(rate(http_requests_total[5m]))' \
  --data-urlencode 'stats=true'

# 查看 TSDB 统计
curl http://localhost:9090/api/v1/status/tsdb

# 查看运行时信息
curl http://localhost:9090/api/v1/status/runtimeinfo

# 查看数据目录大小
du -sh /var/lib/prometheus/

# 查看块数量
ls -la /var/lib/prometheus/blocks/ | wc -l

# 查看 WAL 大小
du -sh /var/lib/prometheus/wal/

# TSDB 统计 API
curl http://localhost:9090/api/v1/status/tsdb | jq .

# 查看活跃时间序列数量
curl http://localhost:9090/api/v1/status/tsdb | jq '.data.seriesCountByMetricName | sort_by(-.value) | .[0:20]'

# 查看高基数指标
curl http://localhost:9090/api/v1/status/tsdb | jq '.data.seriesCountByLabelName | sort_by(-.value) | .[0:20]'

# 查看标签值基数
curl 'http://localhost:9090/api/v1/label/__name__/values' | jq '.data | length'

# 查看压缩状态
curl http://localhost:9090/api/v1/status/runtimeinfo | jq '.data.storage'

# 查看 TSDB 错误
grep -i "tsdb" /var/log/prometheus/prometheus.log | grep -i error

# 手动触发 compaction（需启用 admin API）
curl -X POST http://localhost:9090/api/v1/admin/tsdb/clean_tombstones

# WAL 损坏时的恢复步骤
# 1. 停止 Prometheus
sudo systemctl stop prometheus

# 2. 备份数据
cp -r /var/lib/prometheus /var/lib/prometheus.backup

# 3. 尝试删除 WAL（会丢失最近数据）
rm -rf /var/lib/prometheus/wal/*

# 4. 使用 promtool 检查
promtool tsdb list /var/lib/prometheus/

# 5. 重启
sudo systemctl start prometheus

# 1. 检查告警规则状态
curl http://localhost:9090/api/v1/rules | jq '.data.groups[].rules[] | select(.name=="InstanceDown")'

# 2. 在 Prometheus Web UI 中测试表达式
# 访问 http://localhost:9090/graph，输入告警的 expr

# 3. 检查 Alertmanager 连接
curl http://localhost:9090/api/v1/alertmanagers

# 4. 检查 Alertmanager 状态
curl http://alertmanager:9093/api/v2/alerts

# 使用 promtool 检查规则
promtool check rules /etc/prometheus/rules/*.yml

# 测试规则
promtool test rules test.yml

# 检查配置语法
amtool check-config /etc/alertmanager/alertmanager.yml

# 查看当前告警
amtool alert query --alertmanager.url=http://localhost:9093

# 查看静默
amtool silence query --alertmanager.url=http://localhost:9093

# 查看路由
amtool config routes --alertmanager.url=http://localhost:9093

# 查询延迟
prometheus_engine_query_duration_seconds{quantile="0.99"}

# 规则评估延迟
prometheus_rule_evaluation_duration_seconds{quantile="0.99"}

# 抓取延迟
scrape_duration_seconds{quantile="0.99"}

# 时间序列数量
prometheus_tsdb_head_series

# 内存使用
process_resident_memory_bytes

# 找出高基数指标
curl -s http://localhost:9090/api/v1/status/tsdb | \
  jq -r '.data.seriesCountByMetricName[] | "\(.value)\t\(.name)"' | \
  sort -rn | head -20

# 找出高基数标签
curl -s http://localhost:9090/api/v1/status/tsdb | \
  jq -r '.data.seriesCountByLabelValue[] | "\(.value)\t\(.name)"' | \
  sort -rn | head -20

scrape_configs:
  - job_name: 'my-app'
    metric_relabel_configs:
      # 丢弃不需要的指标
      - source_labels: [__name__]
        regex: 'go_.*'
        action: drop
      
      # 丢弃高基数标签
      - source_labels: [__name__]
        regex: 'http_request_duration_seconds_bucket'
        target_label: __tmp_drop
        replacement: '1'
      - source_labels: [__name__, request_id]
        regex: '.+;.+'
        action: drop

# 查看错误日志
grep -i error /var/log/prometheus/prometheus.log

# 查看抓取失败
grep "scrape failed" /var/log/prometheus/prometheus.log

# 查看规则评估问题
grep "rule" /var/log/prometheus/prometheus.log | grep -i error

# Docker 日志
docker logs prometheus 2>&1 | grep -i error

# 启动时设置日志级别
prometheus --log.level=debug

# 运行时调整（需要重启或重载）
kill -HUP $(pgrep prometheus)