如何基于一个另外两个表的筛选器快速返回和计数一个表中的行

如何解决如何基于一个另外两个表的筛选器快速返回和计数一个表中的行

我有3张桌子：

产品（150万行）

+------------+-------------+-------------+-------------+
|     id     |     shop    |    brand    |   category  |
+------------+-------------+-------------+-------------+

id int(11),AI,PK;
shop int(11);
brand int(11);
category int(11);

标签（130万行）

+------------+------------+-------------+
|     id     |   product  |     tag     |
+------------+------------+-------------+

id int(11),PK;
product int(11) - it's id from 'products' table;
tag int(11);

大小（130万行）

+------------+------------+-------------+
|     id     |   product  |     size    |
+------------+------------+-------------+

id int(11),PK;
product int(11) - it's id from 'products' table;
tag int(11);

每个列都有索引。

我需要过滤所有可能按品牌，商店，类别，标签，尺寸过滤的产品（包括计数行）。因此，例如，如果我只需要显示brand = 1和shop = 1的产品，就不会使用标签和 size 表。这很简单。但是问题是，当我想显示某些类别的所有产品时，有些商店，某些品牌，某些标签和某些尺寸。

有许多组合可以缓存它们并进行更新。获得实时计数大约需要6秒钟。由于分页的限制，显示所有过滤产品的速度很快。

接下来的一周，我花了更多时间来测试更快的速度，哪种选项和数据库结构更好，但是绝对不知道要比这更快：

select p.id
  FROM
products p
  INNER JOIN tags t ON(p.id = t.product and tags=2) 
  INNER JOIN sizes s ON(p.id = s.product and sizes in (1,2))
  WHERE
p.shop in (1,13,31,65)
  and 
p.category in (270,126,127,144,143,145,146,839,147,148,149,150,158,151,155,157,123,124,128,129,602,120,121,122,152,153,154,482,526,40,42,46,115,119,138,142,133,135,136,137,130,131,132,116,117,32,103,485,112,113,114,566,39,107,108,109,110,118,265,516,527,528,529,530,106,159,161,185,30,86,87,88,89,90,91,92,267,531,532,104,105,28,29,33,34,35,36,37,38,41,43,44,45,102,165,269,487,2)
  GROUP BY p.id

现在只有150万个产品，基于类别的过滤有20万个产品（由于树的顶部），正在加载（计数和显示数据）大约5s。这是因为过滤后的产品在200k产品类别中产生了13k行的结果。但是仍然需要在所有数据表中进行比较和搜索。解决方案之一可能是将所有产品分离到f.e. 10种表类别（用于服装，电子产品，药品商店，食品...），并在那里搜索。但是我认为这不是解决问题的最佳方法。现在只有更好了。

使用order by p.id DESC limit 0,120执行此SQL的结果非常快。大约为0,8秒，但在某些情况下，大约为8至12秒。是否有机会通过更改SQL查询或更改数据库结构来加快结果计数的速度？

谢谢您的帮助。

解决方法

1. 尝试为所有类型的过滤创建单独的缓存。例如：

$tagProductIds = $yourCachingSystem->getAllIdsByTag($_POST['tag']);
$sizeProductIds = $yourCachingSystem->getAllIdsBySize($_POST['size']); 
$categoryProductIds = $yourCachingSystem->getAllIdsByCategory($_POST['category']); 

//...other filters by the product table

$neededProductIds = array_intersect($tagProductIds,$sizeProductIds,$categoryProductIds
//...other filtered ids
);

return $yourOrm->fetchAll(" ... product.id IN ($neededProductIds)");

1. 您可以使用MEMORY引擎创建MySQL表。这些表存储在RAM中，可能会加快数据提取速度。

CREATE TABLE if not exists  `products_tmp`
(
   //cols and indexes
) ENGINE = MEMORY
SELECT * products; //tags,sizes