如何解决Apache Nifi NewestFlowFileFirstPrioritizer异常行为
我已将Nifi配置为从三个Kafka主题中读取数据,然后再由UpdateAttribute处理器分配数据以分配优先级,然后再通过一个漏斗将数据合并到一个队列中,以发布到远程终端上的kafka主题中。
我有一个配置优先级排序的NiFi出站队列,如下所示:
- PriorityAttributePrioritizer
- NewestFlowFileFirstPrioritizer
在最小的测试环境中,我可以模拟网络中断,并且在重新连接时可以观察到,将首先发布最新的高价值记录,然后回填较旧的高优先级数据,然后再填充中值,然后那么低,这就是我想要的LIFO行为。
当我扩展系统以包含一个非常大的出站队列时,我遇到了另一种行为:网络中断后,而不是看到最新数据,而是重新连接网络电缆时生成的数据,拔掉电缆几秒钟后,我看到了数据。
数据似乎是分批发布的,在连接电缆后的一段时间内,将所有高,中,低数据合并在一起,然后根据优先级进行回填,然后继续操作,直到数据重复赶上了正在发布的当前数据。
这是预期的行为吗?我以为在使用此配置重新连接后,将首先发布优先级最高的最新数据。我想念什么吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。