如何解决如何找到基本的，不变形的词进行搜索？
| 我在尝试编写一个搜索引擎时遇到麻烦，该引擎将一个单词的所有词尾变化都视为相同的基本单词。 因此，对于动词，它们都是相同的词根，是： 人数/人（例如am; is; are） 时态/语气，例如过去或将来时（例如，过去；将来；将会） 过去分词（例如一直;曾经） 现在的分词和动名词（例如，正在；不是很有趣；早于没有正确） 虚拟语气（例如可能;完成某件事至关重要;我希望如此） 然后，对于名词，单数形式和复数形式都应算作同一基本词[ᴇᴅɪᴛᴏʀ\'sɴᴏᴛᴇ：这通常被称为该词的引文形式。] 例如，对于“启用”，我不希望将“启用”和“启用”打印为单独的条目。这三个词都应该算作同一个基本词，动词使能。 我可以防止使用像这样的哈希打印重复项：unless ($seenmatches{ $headmatches[$l] }++)
解决方法
典型的搜索引擎的工作方式如下：
输入字符串被标记化，在单词边界处被切碎-每个标记都与一个字符偏移开始/结束相关联
然后提取每个令牌-我会使用
Lingua::Stem
Lingua::Stem::Snowball
KinoSearch
##codes for the various tenses are:
#0 - Base Form
#1 - Past Simple
#2 - Past Participle
#3 - 3rd Person Singular
#4 - Present Participle
##Example use:
##my $newTense = changeVerbForm(\"see\",4);
##changes tense from base form to the present participle
my @changeverbforms = map changeVerbForm( $search_key,$_ ),1..4;
my @verbforms;
push (@verbforms,$changeverbforms[0]) unless ($changeverbforms[0] eq \"\");
push (@verbforms,$changeverbforms[1]) unless ($changeverbforms[1] eq \"\");
push (@verbforms,$changeverbforms[2]) unless ($changeverbforms[2] eq \"\");
push (@verbforms,$changeverbforms[3]) unless ($changeverbforms[3] eq \"\");
@verbforms
$search_key
or $verbform
1. Download and install WordNet.
2. export WNHOME=\'/usr/lib/wnres\' (if that is the directory containing the dict directory; that\'s where Cygwin puts it. You\'ll need that to install Wordnet::QueryData.)
3. cat $WNHOME/dict/*.exc > wordnet.exc (combine all the .exc files)
4. Make this perl file:
$ cat > stem.pl
use strict;
use warnings;
# Read in WordNet exception files
my $ExcFile = \"wordnet.exc\";
my %Stems;
open(my $FILE,\"<$ExcFile\") or die \"Could not read $ExcFile: $!\";
while (my $line = <$FILE>) {
chomp($line);
my ($word,$stem) = split(/\\s+/,$line);
$Stems{$word} = $stem;
}
close($FILE);
while (defined(my $in = <>)) {
chomp($in); $in =~ s/\\r$//;
$in =~ s/^\\s+//;
$in =~ s/\\s+$//;
next if $in eq \'\';
my @words = split(/\\s+/,$in);
foreach my $w (@words) {
$w = $Stems{$w} if $Stems{$w};
}
print \"@words\\n\";
}
<ctrl-D>
perl stem.pl < foo.txt
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。