如何解决Flink堆内存泄漏?
我是Flink的新手。我的flink应用程序(1.10.0)使用hdfs在k8s上运行。似乎存在内存泄漏问题,因为当我检查堆内存使用情况时,堆内存始终会增加。这将导致应用在某个时候重新启动。我试图简化拓扑,使其仅包含一个Kafka使用者和一个废弃接收器。但是我仍然看到它正在使用大量内存。下图使用的最大内存约为60%,即10 GB。
我的flink-conf.yaml
如下所示
jobmanager.rpc.address: streakerflink-jobmanager
high-availability: ZOOKEEPER
high-availability.cluster-id: /streaker
high-availability.storageDir: hdfs:///flink
high-availability.zookeeper.quorum: zookeeper.default.svc.k8s-westeros-master.local:2181
zookeeper.sasl.disable: true
taskmanager.network.bind-policy: ip
taskmanager.data.port: 6121
taskmanager.rpc.port: 6122
restart-strategy: fixed-delay
restart-strategy.fixed-delay.attempts: 2147483647
restart-strategy.fixed-delay.delay: 5 s
taskmanager.memory.task.heap.size: 17g
taskmanager.memory.framework.off-heap.size: 512m
taskmanager.memory.managed.size: 768m
taskmanager.memory.jvm-metaspace.size: 512m
taskmanager.memory.jvm-overhead.max: 3g
taskmanager.memory.network.max: 3g
taskmanager.numberOfTaskSlots: 1
taskmanager.memory.framework.off-heap.size: 512m
metrics.internal.query-service.port: 6125
metrics.reporters: prom
metrics.reporter.prom.class: org.apache.flink.metrics.prometheus.PrometheusReporter
metrics.reporter.prom.port: 9999
web.log.path: /opt/flink/log/output.log
taskmanager.log.path: /opt/flink/log/output.log
任何帮助将不胜感激!
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。