本文介绍了在Flink 1.13中配置RocksDB的处理方法,对大家解决问题具有一定的参考价值,需要的朋友们下面随着小编来一起学习吧!,我读过有关Flink 1.13版本中EmbeddedRocksDBStateBackend
的内容,但有大小限制,因此我希望保留以前Flink版本1.11的当前配置,但重点是这种配置RocksDB的方式已被弃用(new RocksDBStateBackend("path", true);
)。,我已使用EmbeddedRocksDBStateBackend (new EmbeddedRocksDBStateBackend(true))
尝试使用新配置,但出现以下错误:,从Java以编程方式为Flink 1.13配置RocksDB状态后端的最佳方式是什么?,在Flink1.13中,我们重新组织了状态后端,因为旧的方法导致了对事物如何工作的许多误解。因此,这两个问题是分离的:,在旧的API中,通过将检查点路径传递给RocksDBStateBackend
构造函数的方式,掩盖了在RocksDB的情况下涉及两个不同文件系统的事实。因此该配置位已移至其他位置(见下文)。,此表显示旧状态后端与新状态后端(与检查点存储结合使用)之间的关系:,在您的案例中,您希望将EmbeddedRocksDBStateBackend
与FileSystemCheckpointStorage
一起使用。您当前遇到的问题是,您正在对RocksDB使用内存中检查点存储(JobManagerCheckpointStorage
),这会严重限制可以设置检查点的状态数量。,您可以通过在flink-conf.yaml
,中指定检查点目录来修复此问题,或在您的代码中,有关完整详细信息,请参阅Migrating from Legacy Backends上的文档。,这篇关于在Flink 1.13中配置RocksDB的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,