如何解决如何在字符串中搜索数千个可能的关键字
| 我有数千个(约10,000个)关键字的数据库。当用户在我的站点上发布博客时,我想自动在文本中搜索关键字,并用任何直接匹配标记该帖子。 到目前为止,我所能想到的就是拉出整个关键字列表,遍历整个关键字列表,然后检查帖子中每个标签的存在……这似乎效率很低(有10,000个循环)。 有更通用的方法吗?我是否应该使用MySQL查询来限制它? 我想这不是一个完全罕见的任务。解决方法
不,只是不要这样做。
与其遍历10000个元素,不如从句子或文本中提取单词,然后将其添加到SQL查询中,这样您将拥有所有需要的记录。这肯定比您提出的解决方案更有效。
您可以使用PHP以以下方式执行此操作:
$possible_keywords = preg_split(\'/\\b/\',$your_text,PREG_SPLIT_NO_EMPTY);
上面的代码将在单词的边界上分割文本,并且在数组中不返回任何空元素。
然后,您可以按照类似于以下方式创建SQL查询:
SELECT * FROM `keywords` WHERE `keywords`.`keyword` IN (...)
(只需将提取单词的逗号分隔列表放在方括号中)
您可能应该在进行查询之前过滤$possible_keywords
数组(以仅包括具有适当长度的关键字并排除重复项),并为keyword
列建立索引。
,我不知道您打算使用哪种语言,但是如果您愿意的话,可以使用标准的trie(前缀树)解决此问题。
,我猜您可以动态构建一个正则表达式,这将使您能够匹配特定字符串内的关键字。您可以将所有这些打包在一个可以完成艰苦工作的类中。
class KeywordTagger {
static function getTags($body) {
if(preg_match_all(self::getRegex(),$body,$keywords)) {
return $keywords[0];
} else {
return null;
}
}
private static $regex;
private static function getRegex() {
if(self::$regex === null) {
// Load Keywords from DB here
$keywords = KeywordsTable::getAllKeywords();
// Let\'s escape
$keywords = array_map(\'KeywordTagger::pregQuoteWords\',$keywords);
// Base Regex
$regex = \'/\\b(?:%s)\\b/ui\';
// Build Final
self::$regex = sprintf($regex,implode(\'|\',$keywords));
}
return self::$regex;
}
private static function pregQuoteWords($word) {
return preg_quote($word,\'/\');
}
}
然后,您要做的就是,当用户编写帖子时,通过该类运行该帖子:
$tags = KeywordTagger::getTags($_POST[\'messageBody\']);
为了提高速度,您可以使用memcached,APC或基于文件的旧缓存来缓存内置的正则表达式。
,好吧,我认为PHP的条纹已经非常优化。如果要进一步优化此搜索,则必须利用关键字之间的相似性(例如,不要先查找\“ foobar \”,然后再查找\“ foobaz \”,然后再查找\“ fooba \”)对于每个\“ fooba \”(如果后跟一个\'r \',一个\'z \'或无)。但这需要关键字的某种树表示形式,例如:
根(空字符串)
|
fooba
/ \\
foobar foobaz
是的,这是一个尝试。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。