跳转到主要内容

hash_mem_multiplier

让基于哈希的执行器操作可使用高于 work_mem 基础值的内存倍数。
说明

Fact — 官方简述译文:以 work_mem 的倍数确定哈希表内存上限。

身份

类型 , real
上游 pg_settings 类型
Context , user
普通用户可在运行时修改
单位 ,
原始单位
范围 , 11000
最后在档版本的原始上下限
枚举值 ,
非枚举类型记为 —
分类 , Resource Usage / Memory
上游分类
最后 boot 值 , 2
2

生命周期

Fact
首次观测 PG13
在档版本 PG13–19 Beta 3
移除版本
引入提交 78530c8e7a5a — Add hash_mem_multiplier GUC.
提交日期 2020-07-29
Discussion 讨论 1 · 讨论 2

默认值变迁

PG9.0–19 Beta 3 实测 boot 默认值
版本 原始 boot_val 单位 人类可读值
PG13–14 1 1
PG15–19 Beta 3 2 2

机制详解

哈希表内存上限等于 work_mem 乘以 hash_mem_multiplier。它作用于哈希连接、哈希聚合、Memoize 节点及其他哈希执行工作,但不会扩大排序操作的上限。

在 PG9.0–19 Beta 3 实测清单中,该参数首次出现于 PostgreSQL 13。其启动默认值在 PostgreSQL 13–14 为 1.0,从 PostgreSQL 15 起为 2.0。

一条查询可以包含多个哈希操作,并行工作进程也可能分别执行自己的操作,因此这个乘积仍是单操作上限,而不是整条查询的总内存上限。

调优建议

提示

Advice。 以下建议是工作负载起点,必须用真实测量验证。

场景 建议
OLTP 保留上游默认值,或仅在确认哈希操作持续落盘后小幅提高。必须结合 work_mem 与峰值活跃计划评估乘积,不能孤立调倍数。
OLAP 当内存确实充足时,较高取值可帮助大型哈希连接与聚合。应在受控并发上限下增加,并比较批次数、落盘量与端到端耗时。
小规格 保持接近默认值。很高的倍数会把看似克制的 work_mem 变成每个哈希操作数百 MiB。

Pigsty 取值

以下值来自固定 8 核、32 GiB、100 GiB SSD 夹具,并按 PG19 Beta 3 渲染当前 Pigsty 模板;这不表示 Pigsty 当前支持该历史或测试版本。

模板 有效值 与上游 boot 比较 源表达式
OLTP 8.0 不同于 boot 值 8.0
OLAP 8.0 不同于 boot 值 8.0
CRIT 8.0 不同于 boot 值 8.0
TINY 8.0 不同于 boot 值 8.0
注意

Advice — 待人工复核。 当前 Pigsty 模板投影事实:OLTP: PG13–19 Beta 3 = 8.0 (dcs);OLAP: PG13–19 Beta 3 = 8.0 (dcs);CRIT: PG13–19 Beta 3 = 8.0 (dcs);TINY: PG13–19 Beta 3 = 8.0 (dcs)。 建议(待人工复核)——编辑推断:Pigsty 先约束基础 work_mem,再给内存敏感的哈希操作更大空间;最终单操作乘积及并行并发风险必须人工复核。

常见坑

  • 把数值当绝对内存大小,而不是 work_mem 的倍数。
  • 忘记 PostgreSQL 13 之前没有该参数,且 PostgreSQL 15 修改了上游默认值。
  • 期待它改善排序;排序仍受 work_mem 控制。
  • 一条查询存在多个哈希节点或并行工作进程时,却只计算一次乘数。

work_mem · temp_file_limit · enable_hashjoin · enable_hashagg · max_parallel_workers_per_gather

参考资料