Flink1.12.4 RocksDBStateBackend优化

state.backend: rocksdb # 激活RocksDB压缩过滤清除 state.backend.rocksdb.ttl.compaction.filter.enabled: true # block大小，默认4KB state.backend.rocksdb.block.blocksize: 32kb # block cache大小，默认8MB，内存余量充足建议128m或256m，提升读的性能 state.backend.rocksdb.block.cache-size: 128m state.backend.rocksdb.compaction.level.use-dynamic-size: true # 后台负责 flush 和 compaction 的最大并发线程数，默认为1 state.backend.rocksdb.thread.num: 4 # 指定checkpoint的data files和meta data存储的目录，该目录必须对所有参与的TaskManagers及JobManagers可见 state.checkpoints.dir: file:///ssd/flink2kafka/flink-1.12.4/data # 用于指定定时器服务的工厂类实现类，默认为“HEAP” state.backend.rocksdb.timer-service.factory: rocksdb # 用于指定同时可以操作RocksDBStateBackend的线程数量，默认是1 state.backend.rocksdb.checkpoint.transfer.thread.num: 2 # 配置任务本地恢复 state.backend.local-recovery: true # 指定RocksDB存储状态数据的本地文件路径，在每个TaskManager提供该路径节点中的状态存储 state.backend.rocksdb.localdir: /ssd/flink2kafka/flink-1.12.4/rocksdb # 设为 false 禁用 RocksDB 内存托管 state.backend.rocksdb.memory.managed: true # 限制每个slot的RocksDB内存的使用上限，避免了OOM的风险 state.backend.rocksdb.memory.fixed-per-slot: 20mb # 默认值 0.5，即 50% 的给定内存会分配给写缓冲区使用 state.backend.rocksdb.memory.write-buffer-ratio: 0.9 # 默认值 0.1，即 10% 的 block cache 内存会优先分配给索引及过滤 state.backend.rocksdb.memory.high-prio-pool-ratio: 0.1 #state.backend.rocksdb.metrics.estimate-num-keys: true state.backend.rocksdb.metrics.num-running-compactions: true # 监控当前的实际延迟写入率 state.backend.rocksdb.metrics.background-errors: true # 启用了Flink RocksDB指标 state.backend.rocksdb.metrics.block-cache-capacity: true state.backend.rocksdb.metrics.block-cache-pinned-usage: true state.backend.rocksdb.metrics.block-cache-usage: true state.backend.rocksdb.metrics.estimate-table-readers-mem: true # 监控待处理的压缩，如果压缩失败返回1，否则返回0 state.backend.rocksdb.metrics.compaction-pending: true # L1层单个 sstable 文件的大小阈值，默认值为64MB state.backend.rocksdb.compaction.level.target-file-size-base: 32m # L1层的数据总大小阈值，默认值为256MB，建议设为 target_file_size_base 的倍数，且不能太小 state.backend.rocksdb.compaction.level.max-size-level-base: 160m