如何解决使用管道日期索引名称
我是刚开始制定适当的生命周期策略,因此希望有人可以帮助我。因此,我有一个每周创建的现有索引。这是第三方集成(它们为我提供了传入日志的管道和索引模板)。每周都会以“ name-YYYY-MM-DD”模式创建日志。我正在尝试为这些索引设置生命周期策略,以便它们从hot-> warm-> delete过渡。到目前为止,我已经执行了以下操作:
更新了索引模板以添加策略并设置别名:
{
"index": {
"lifecycle": {
"name": "Cloudflare","rollover_alias": "cloudflare"
},"mapping": {
"ignore_malformed": "true"
},"number_of_shards": "1","number_of_replicas": "1"
在现有索引上,设置别名,其中一个是“写”索引:
POST /_aliases
{
"actions" : [
{
"add" : {
"index" : "cloudflare-2020-07-13","alias" : "cloudflare","is_write_index" : true
}
}
]
}
POST /_aliases
{
"actions" : [
{
"add" : {
"index" : "cloudflare-2020-07-06","is_write_index" : false
}
}
]
}
一旦这样做,我开始看到以下2个错误(每个索引1个):
我不确定为什么较旧的索引上会显示“不是写入索引”错误。也许是因为它仍然很“热”,并试图将其移到另一个阶段而不将其作为写索引?
对于第二个错误,这是因为索引名称对于翻转是错误的吗?
我也不清楚这是否是过渡的好方案。这些索引每周创建一次,我认为可以。我认为通常情况下,您将创建一个索引,然后根据您的条件(大小,年龄等)将策略拆分为较旧的索引。我应该更改此设置还是可以使该策略适用于现有的每周文件?如果您需要它,这是我导入到ElasticSearch中的管道的一部分,我相信它负责索引命名:
{
"date_index_name" : {
"field" : "EdgeStartTimestamp","index_name_prefix" : "cloudflare-","date_rounding" : "w","timezone" : "UTC","date_formats" : [
"uuuu-MM-dd'T'HH:mm:ssX","uuuu-MM-dd'T'HH:mm:ss.SSSX","yyyy-MM-dd'T'HH:mm:ssZ","yyyy-MM-dd'T'HH:mm:ss.SSSZ"
]
}
},
因此,对我而言,目前更重要的错误是“ number_format_exception”。我认为这是由于我在索引(provided_name)中看到的此设置引起的:
{
"settings": {
"index": {
"lifecycle": {
"name": "Cloudflare","rollover_alias": "cloudflare"
},"mapping": {
"ignore_malformed": "true"
},"provided_name": "<cloudflare-{2020-07-20||/w{yyyy-MM-dd|UTC}}>","creation_date": "1595203589799","priority": "100","number_of_replicas": "1",
我相信这个“ provided_name”是根据我在上面提供的管道的“ date_index_name”建立的。如果这是问题所在,是否有一种方法可以通过摄取管道创建固定的索引名称,而无需根据日期进行更改?我宁愿只创建一个固定索引,然后让生命周期策略处理拆分(即0001、0002等)。
我一直在寻找一种无需“ date_index_name”处理器即可创建固定索引名称的方法,但是我还没有找到一种方法来执行此操作。或者,如果我可以创建一个带有日期的索引名称并添加一个后缀,以使LifeCycle策略管理器(ILM)可以在末尾添加增量编号,那么这也可能会起作用。任何帮助将不胜感激!
解决方法
主要问题是现有索引do not end with a sequence number(即0001、0002等),因此ILM并不真正知道如何进行。
此索引的名称必须与模板的索引模式匹配,并以数字结尾
最好让ILM管理索引的创建和过渡,因为这正是它应该做的。您需要做的就是继续写入相同的cloudflare
别名,仅此而已。不需要date_index_name
提取处理器。
所以您的index template是正确的。
接下来,您需要bootstrap the initial index
PUT cloudflare-2020-08-11-000001
{
"aliases": {
"cloudflare": {
"is_write_index": true
}
}
}
然后您可以reindex your old indices进入ILM管理的索引,也可以apply lifecycle policies进入旧索引。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。