rrdtool如何存储时间序列数据

本文目录导读：

1. 核心数据结构：RRD 文件
2. 存储流程：三步走
3. 一个具体的例子
4. 关键设计特性
5. 与关系型数据库（MySQL/PostgreSQL）的主要区别

RRDtool（Round Robin Database Tool）存储时间序列数据的核心机制是 环形缓冲区（Round-Robin Archive，RRA） 与 数据合并（Consolidation） 的结合。

以下是其存储原理的详细解析：

核心数据结构：RRD 文件

一个 RRD 文件在创建时就需要定义好结构，主要包含三部分：

• DS（Data Source，数据源）：定义你监控的指标，温度、CPU使用率、网络流量，每个 DS 需要定义数据类型（GAUGE， COUNTER， DERIVE， ABSOLUTE）。
• RRA（Round-Robin Archive，环形归档）：定义如何存储数据，每一个 RRA 就是一个固定大小的环形缓冲区。
• PDP（Primary Data Point，主数据点）：这是 RRDtool 接收原始数据的最小时间间隔（step），如果 step=300 秒，你每 5 分钟获取一次数据，每条数据就是一个 PDP。

存储流程：三步走

第一步：接收与归一化（Normalization）

当你使用 rrdtool update 插入数据时：

1. RRDtool 不会直接存储你传来的值。
2. 它会将你的数据值落入最近的 PDP 区间，如果你在 08：00:05 插入了一个值，RRDtool 会认为这是属于 08：00 这个 PDP 的数据。
3. 如果一个 PDP 区间内收到多个值（例如你每 30 秒提交一次，但 step 是 300 秒），RRDtool 会自动合并这些值（通常取平均值或最后一个值）。

第二步：合并与归档（CF，Consolidation Function）

一个 PDP 数据点被确认后，它会被处理并存入 RRA，这个过程叫做合并（Consolidation）。

每个 RRA 定义了两个关键参数：

• cf（Consolidation Function，合并函数）：决定如何把多个 PDP 变成一个 CDP（Consolidated Data Point，合并数据点），常用函数：
  • AVERAGE：平均值（最常用）
  • MAX：最大值
  • MIN：最小值
  • LAST：最后一个值
• xff（X-Files Factor，X 因子）：允许合并的 PDP 中最多有多少比例的未知数据（NaN），如果超过这个比例，该 CDP 会被标记为未知，默认通常是 0.5。

第三步：环形写入（Round-Robin）

这是 RRD 的关键特性，每个 RRA 是一个预先分配好的固定大小数组。

• 假设你定义了一个 RRA，它每天（24小时）保留一个点（即 24 个槽位）。
• 当第 1 天写入第一个点，指针指向位置 0。
• 第 2 天写入第二个点，指针指向位置 1。
• 当第 25 天写入数据时，指针已经指向了位置 23（数组末尾），RRDtool 不会扩展数组，而是把指针重置到位置 0，覆盖掉最旧的数据。

示意图： [Day1 | Day2 | ... | Day24] → 新数据写入 → [Day25 | Day2 | ... | Day24] （Day1 被 Day25 覆盖）

一个具体的例子

假设你想监控机房温度,每隔 5 分钟采集一次，计划保留 1 年的数据。

你的 RRD 定义可能是：

# 创建RRD
rrdtool create temp.rrd \
   --step 300 \           # 主数据点（PDP）间隔 = 5分钟
   DS:temperature:GAUGE:600:-40:80 \  # 数据源：温度，类型GAUGE，心跳600秒
   RRA:AVERAGE:0.5:12:52080  # RRA1：存储5分钟平均数据，数量52080（=约1年）
   RRA:AVERAGE:0.5:288:365   # RRA2：存储每日平均数据，数量365（=1年）

解析 RRA 参数：

• AVERAGE：合并函数（取平均值）。
• 5：允许 50% 的数据丢失（NaN）。
• 12：steps，合并多少个 PDP 变成一个 CDP。
  • 因为 step=300秒，12 * 300 = 3600秒 = 1小时，所以第一个 RRA 存的是每小时的平均值。
• 52080：rows，该 RRA 有多少个槽位。

  每小时 1 个点，一天 24 个点，一年约 8760 个点，52080 是 1 年（365天）的每小时点数（365*24 = 8760），不要惊讶，RRD 需要存储更多以应对闰年等。

数据写入过程：

1. 你每 5 分钟通过 rrdtool update temp.rrd 提交一个温度值。
2. RRDtool 将你提交的值归一化到最近的 5 分钟 PDP 区间。
3. 每 12 个 PDP（即 1 小时），RRDtool 会计算这 12 个值的平均值（根据 RRA1 的 CF），生成一个 CDP（每小时平均温度）。
4. 这个 CDP 被写入 RRA1 的环形缓冲区，当槽位满了，就覆盖最旧的。
5. 同理,每隔 288 个 PDP（即 24 小时），另一个 RRA（RRA2）会合并出每日平均值。

关键设计特性

• 空间固定：RRD 文件创建时大小就确定了，无论运行多久，文件大小不变。
• 写入恒定：写入一个数据点的时间复杂度是 O(1)，不依赖数据总量。
• 历史平滑：随着时间推移，高分辨率的数据（如分钟级）会被丢弃，低分辨率的数据（如小时、天级）被保留，这就是“降采样”（Downsampling）。
• 预定义粒度：你不能在创建 RRD 后改变它的分辨率，你必须提前想好你需要什么样的时间粒度（5分钟平均，1小时平均，还是1天平均）。

与关系型数据库（MySQL/PostgreSQL）的主要区别

RRDtool 通过预分配固定大小的环形数组和数据降采样，实现了对连续时间序列数据的高效、恒定空间的存储，它牺牲了查询的灵活性（无法删除单个点、无法无损保留所有原始数据），换取了极致的写入性能和存储空间的可预期性，这对于监控领域（需要保留多年趋势图，但不需要精确到秒级的10年前数据）来说是完美的取舍。

标签： 时间序列存储