带有 Lucene 荧光笔和同义词列表的 Hibernate Search 6

如何解决带有 Lucene 荧光笔和同义词列表的 Hibernate Search 6

我们有一个很大的同义词列表。我使用手动分析器来索引搜索字段。同义词列表使用“SynonymGraphFilterFactory”过滤器进行注释。到目前为止一切都很好。当我在该领域进行搜索时，我得到了匹配的结果。 同义词列表如下所示： 汽车，车辆

如果我在搜索中输入“car”，则会显示正确的结果并突出显示“car”一词。

当我输入“车辆”这个词时，我得到了正确的结果，但没有突出显示。

我想在搜索中突出显示这两个词。 “车”和“车”。 这可能吗？

到目前为止，我还没有找到合适的解决方案。也许有人可以在这里帮助我。

配置： Hibernate-search 6，Lucene Higlighter 8.7

代码：

要索引搜索字段，我的分析器如下所示：

context.analyzer ("myCustomAnalyzer"). custom ()
.tokenizer (StandardTokenizerFactory.class)
.tokenFilter (LowerCaseFilterFactory.class)
.tokenFilter (KeywordRepeatFilterFactory.class)
.tokenFilter (PorterStemFilterFactory.class)
.tokenFilter (TrimFilterFactory.class)
.tokenFilter (SnowballPorterFilterFactory.class) .param ("language","German")
.tokenFilter (RemoveDuplicatesTokenFilterFactory.class)
.tokenFilter (SynonymGraphFilterFactory.class) .param ("synonyms","synonyms / synonyms.properties")
.param ("ignoreCase","true"). param ("expand","true");

荧光笔方法如下所示：

private Results highlighting(final Results results,final String mySearchString) {

        final SimpleHTMLFormatter simpleHTMLFormatter = new SimpleHTMLFormatter("start","end");
        final TermQuery query = new TermQuery(
            new Term("indexFieldName",mySearchString));
        final QueryScorer queryScorer = new QueryScorer(query,"indexFieldName");
        final Fragmenter fragmenter = new SimpleSpanFragmenter(queryScorer);
        queryScorer.setExpandMultiTermQuery(true);
        final Highlighter highlighter = new Highlighter(simpleHTMLFormatter,queryScorer);
        highlighter.setTextFragmenter(fragmenter);

        try (Analyzer analyzer = new StandardAnalyzer()) {
            for (final MyEntity my : results.getMyResults()) {
                for (final MySecondEntity sec : my.getMyDescriptions()) {

                    final String text = sec.getMyName();

                    try {
                        final TokenStream tokenStream = analyzer.tokenStream(
                            "indexFieldName",new StringReader(text));
                        final String result = highlighter.getBestFragments(
                            tokenStream,text,sec.getMyName().length()," ...");
                        if (!StringUtils.isBlank(result)) {

                            sec.setMyName(result);
                        }

                    } catch (final Exception e) {
                        LOG.warn(String.format(
                            "Failure during highlighting process for ..."...
                    }
                }
            }

        }
        return results;
    }

感谢您的回答

解决方法

我不太熟悉荧光笔，但在您的代码中似乎可疑的一件事是您使用 StandardAnalyzer 来突出显示。如果你想突出显示同义词，我相信你需要使用一个处理同义词的分析器。

尝试使用相同的分析器进行索引和突出显示。

您可以从 Hibernate Search 中检索分析器实例。请参阅 this section of the documentation，或此示例：

LuceneBackend luceneBackend =
        Search.mapping( entityManager.getEntityManagerFactory() )
        .backend().unwrap( LuceneBackend.class ); 
Analyzer analyzer = luceneBackend.analyzer( "myCustomAnalyzer" ).get(); 

然后在高亮代码中使用它代替 new StandardAnalyzer()；只要确保你不要关闭这个分析器。