Flink Yarn模式内存分配失败JobManager memory configuration failed

如题所述

第1个回答 2022-07-29

flink run -d -m yarn-cluster -p 1 -yjm 512M -ytm 1024M -c com.bigdata.FlinkRun xxx.jar

JobManager memory configuration failed: The configured Total Flink Memory (64.000mb (67108864 bytes)) is less than the configured Off-heap Memory (128.000mb (134217728 bytes)).

从报错信息来看,flink的总内存小于堆外内存,可是脚本中 -jym 中jobManager分配的内存是512m,为何这里只剩下了64m呢? 话不多说上源码

JobManagerFlinkMemoryUtils.deriveFromTotalFlinkMemory

FlinkYarnSessionCliTest.testMemoryPropertyWithoutUnit , 通过debug可得到如下的信息

将测试用例中的jobManager的内存改为512, 报错即可重现
通过计算结果符合预期的报错,套用上面的猜想和结合 jvmOptions 的默认配置, 即可计算出堆内存为 64m = 512m - 192m(jvm-overhead.min) - 256(jvm-metaspace.size) , 小于默认的堆外内存所以校验不通过.

计算中的Overhead内存会根据参数 jvm-overhead.fraction 动态调整, 默认为0.1

同理如果taskManager的内存配置小了, 也会报错, 分析定位的方法大概一致

官方的文档有详细的说明, Flink 内存模型 , 在Flink的Dashboard上可以看到JobManager和TaskManager对应的内存模型和JVM的监控信息

相似回答

flink配置和内存答：在大多数情况下，用户只需要设置值taskmanager.memory.process.size或taskmanager.memory.flink.size（取决于设置方式），并可能通过调整JVM堆与托管内存的比率taskmanager.memory.managed.fraction。jobmanager.memory.enable-jvm-direct-memory-limit 是否启用jm进程的JVM直接内存限制，默认false jobmanager.memory...

flink:第二种模式:多个yarn session模式答：这种方式的好处是一个任务会对应一个job,即每提交一个作业会根据自身的情况，向yarn申请资源，直到作业执行完成，并不会影响下一个作业的正常运行，除非是yarn上面没有任何资源的情况下。注意：client端必须要设置YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_HOME环境变量，通过这个环境变量来读取YARN和HDFS...

Flink on YARN的第三种部署模式:Application Mode答：顾名思义，在Per-Job模式下，每个提交到YARN上的作业会各自形成单独的Flink集群，拥有专属的JobManager和TaskManager。可见，以Per-Job模式提交作业的启动延迟可能会较高，但是作业之间的资源完全隔离，一个作业的TaskManager失败不会影响其他作业的运行，JobManager的负载也是分散开来的，不存在单点问题。当...

Flink JobManager高可用性(HA)答：默认情况下，每个 Flink 集群只有一个 JobManager 实例。这会产生单点故障(SPOF)：如果 JobManager 崩溃，则无法提交新作业并且导致运行中的作业运行失败。使用 JobManager 高可用性模式，可以避免这个问题，从而消除 SPOF。您可以为 Standalone 和 YARN 集群配置高可用性。针对 Standalone 集群的 Job...

大家正在搜

usbconfiguration jpaconfiguration configuration在哪里 configuration怎么进 configuration configuration界面 configuration类 memory clock memory leak