我的弹性搜索批量索引器没有正确关闭

如何解决我的弹性搜索批量索引器没有正确关闭

我将 AWS ElasticSearch 7.10 与 Kafka 一起使用,并将一些代码推送到我的开发环境。我使用的配置是:

func NewClient(addresses []string,username string,password string) (*elasticsearch.Client,error) {
    es,err := elasticsearch.NewClient(elasticsearch.Config{
        Addresses:     addresses,Username:      username,Password:      password,RetryOnStatus: []int{502,503,504,429},MaxRetries:    5,})
    if err != nil {
        return nil,err
    }

    _,err = es.Info()
    if err != nil {
        return nil,err
    }
    return es,nil
}

func NewBulkIndexer(es *elasticsearch.Client,defaultIndexName string) (esutil.BulkIndexer,error) {
    bi,err := esutil.NewBulkIndexer(esutil.BulkIndexerConfig{
        Index:         defaultIndexName,// The default index name
        Client:        es,// The Elasticsearch client
        NumWorkers:    runtime.NumCPU(),// The number of worker goroutines
        FlushBytes:    int(5e+6),// The flush threshold in bytes
        FlushInterval: 30 * time.Second,// The periodic flush interval
    })
    return bi,err
}

// repository/job.go
func (r *JobRepo) SyncJob(ctx context.Context,indexName string,job domain.Job) error {
    body := new(bytes.Buffer)
    if err := json.NewEncoder(body).Encode(job); err != nil {
        logger.Errorf("Error parsing task: %v",err)
        return err
    }

    err := r.bi.Add(
        context.Background(),esutil.BulkIndexerItem{
            Index:      indexName,Action:     "index",DocumentID: job.ID,Body:       bytes.NewReader(body.Bytes()),OnSuccess: func(ctx context.Context,item esutil.BulkIndexerItem,res esutil.BulkIndexerResponseItem) {
                logger.Infof("Success syncing job ID: %s",job.ID)
            },OnFailure: func(ctx context.Context,res esutil.BulkIndexerResponseItem,err error) {
                if err != nil {
                    logger.Errorf("Bulk indexer error: %v",err)
                } else {
                    logger.Errorf("Bulk indexer error: %s: %s",res.Error.Type,res.Error.Reason)
                }
            },},)
    if err != nil {
        logger.Errorf("Unexpected error: %s",err)
        return err
    }

    return nil
}

仅在一段时间后,我才添加了关闭批量索引器的代码:

func (r *JobRepo) Disconnect() error {
if err := r.bi.Close(context.Background()); err != nil { logger.Errorf("Unexpected error: %v",err) return err } return nil }

// main.go

    addresses := strings.Split(cfg.Elastic.Addresses,",")

    es,err := elasticsearch.NewClient(addresses,cfg.Elastic.Username,cfg.Elastic.Password)
    if err != nil {
        logger.Errorf("Failed to create Elasticsearch client: %v",err)
        return err
    }

    bi,err := elasticsearch.NewBulkIndexer(es,cfg.IndexName)
    if err != nil {
        logger.Errorf("Failed to create bulk indexer %v",err)
        return err
    }

    repo := repository.NewJobRepo(es,bi,cfg.IndexName)

    defer cleanup(repo)

    c := make(chan os.Signal,1)
    signal.Notify(c,syscall.SIGINT,syscall.SIGTERM,syscall.SIGKILL)
    go func() {
        logger.Infof("Exiting due to signal: %v",<-c)
        cleanup(repo)
        os.Exit(1)
    }()
.
.
.
.
.
func cleanup(repo *repository.JobRepo) error {
    return repo.Disconnect()
}

虽然我已经推送了环境,但是每次启动后都有这样的日志:

成功同步作业 ID:....

超过 50 个条目。我以为我已经正确关闭了批量索引器,但它仍然显示这些消息,尽管我没有发布任何 kafka 消息来同步我的记录。有什么我可以做的吗?我想删除我的 aws 弹性数据库,因为内容并不重要,无论如何我想重新开始使用新的索引模板,但我想知道修复这个批量索引器的其他方法。谢谢

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 &lt;select id=&quot;xxx&quot;&gt; SELECT di.id, di.name, di.work_type, di.updated... &lt;where&gt; &lt;if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 &lt;property name=&quot;dynamic.classpath&quot; value=&quot;tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams[&#39;font.sans-serif&#39;] = [&#39;SimHei&#39;] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -&gt; systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping(&quot;/hires&quot;) public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate&lt;String
使用vite构建项目报错 C:\Users\ychen\work&gt;npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-