十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

在flink集群中运行jar包出ClusterRetrieveException: Couldn‘t retrieve Yarn cluster问题的解决办法

在flink集群中运行jar包出ClusterRetrieveException: Couldn‘t retrieve Yarn cluster问题的解决办法 如果将idea上的flink代码打包运行在flink集群上出现如下问题有两方面需要考虑一、修改yarn-site.xml配置文件原因是可能内存超过虚拟内存的限制所以需要对yarn进行虚拟内存限制修正将如下两个配置改为falseproperty//pmem指的是默认检查物理内存,容器使用的物理内存不能超过我们限定的内存大小,因为我们上面设置了所有容器能够使用的最大内存数量,超出这个内存限制,任务就会被kill掉nameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value/propertyproperty//vmem指的是默认检查虚拟内存,容器使用的虚拟内存不能超过我们设置的虚拟内存大小nameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/property二、jar包运行环境打成的jar包运行在flink集群中要看集群的模式如果运行在yarn模式下要运行在内存集中管理模式或者内存job管理模式下如果没有指定将会出现上述错误**内存集中管理模式**在Yarn中初始化一个Flink集群开辟指定的资源之后我们提交的Flink Job都在这个Flink yarn-session中也就是说不管提交多少个job这些job都会共用开始时在yarn中申请的资源。这个Flink集群会常驻在Yarn集群中除非手动停止**内存job管理模式**在Yarn中每次提交job都会创建一个新的Flink集群任务之间相互独立互不影响并且方便管理。任务执行完成之后创建的集群也会消失
返回列表