postgresql – postgres 9.6索引只扫描功能索引逻辑上可能但不执行

我在Postgres发布的docs / wiki中阅读了功能索引和仅索引扫描.

我现在有一个查询：

SELECT(xpath('/document/uuid/text()',xmldata))[1]::text,(xpath('/document/title/text()',xmldata))[1]::text
FROM xmltable
WHERE(xpath('/document/uuid/text()',xmldata))[1]::text = 'some-uuid-xxxx-xxxx'

和索引：

CREATE INDEX idx_covering_index on xmltable using btree (
    ((xpath('/document/uuid/text()',xmldata))[1]::text),((xpath('/document/title/text()',xmldata))[1]::text)
)

这个索引是逻辑地查看覆盖索引,并应该启用仅索引扫描,因为所有查询的值都包含在索引(uuid和title)中

我现在知道,如果函数调用中使用的列也包含在内,那么Postgres只会识别函数索引的覆盖索引

例如.：

SELECT to_upper(column1) from table where id >10

1)不能被这个索引所涵盖：

CREATE INDEX idx_covering_index on xmltable using btree (id,to_upper(column1));

2)但可以被这个覆盖：

CREATE INDEX idx_covering_index on xmltable using btree (column1,id,to_upper(column1));

从而导致仅索引扫描.

如果我现在尝试使用我的xml设置：

CREATE INDEX idx_covering_index on xmltable using btree (xmldata,((xpath('/document/uuid/text()',xmldata))[1]::text)
)

我收到一个错误：

data type xml has no default operator class for access method “btree”

不幸的是,通常使用的“text_ops”或“text_pattern_ops”不接受“xml”作为输入 – 从而渲染我的索引 – 虽然它将覆盖所有值 – 无法支持仅索引扫描.

这可以以提供仅索引扫描的可能性来处理吗？

@ EDIT1：

我知道postgres不能使用1)中的索引作为覆盖索引,但可以使用索引,如2)

我也尝试用非常简单的表来验证这个行为,我也记得要读这个 – 但是我不能忘记我的生活.

create table test (
    id serial primary key,quote text
)



insert into test (number,quote) values ('I do not know any clever quotes');
insert into test (number,quote) values ('I am sorry');



CREATE INDEX idx_test_functional on test using btree ((regexp_replace(quote,'^I ','BillDoor ')));
set enable_seqscan = off;

analyze test;

explain select quote from test where regexp_replace(quote,'BillDoor ') = 'BillDoor do not know any clever quotes'

--> "Index Scan using idx_test_functional on test  (cost=0.13..8.15 rows=1 width=27)"

drop index idx_test_functional;
CREATE INDEX idx_test_functional on test using btree (quote,(regexp_replace(quote,'BillDoor ')));

analyze test;

explain select quote from test where regexp_replace(quote,'BillDoor ') = 'BillDoor do not know any clever quotes'

--> "Index Only Scan using idx_test_functional on test  (cost=0.13..12.17 rows=1 width=27)"

@ EDIT2：

xmltable的全表定义：

id serial primary key (clustered),xmldata xml (only data used to filter queries)
history xml (never queried or read,just kept in case of legal inquiry)
fileinfo text (seldom quieried,sometimes retrieved)
"timestamp" timestamp (mainly for legal inquiries too)

该表包含大约：500.000条记录,xmldata的大小在350到800字节之间,历史要大得多,但很少被检索,从未在过滤器中使用

为了记录,确保得到真正的结果,我总是在创建或删除索引后分析xmltable

查询的完整执行计划：

explain analyze select (xpath('/document/uuid/text()',d.xmldata))[1]::text as uuid
from xmltable as d
where
(xpath('/document/uuid/text()',d.xmldata))[1]::text = 'some-uuid-xxxx-xxxx' and (xpath('/document/genre/text()',d.xmldata))[1]::text = 'bio'

被这些印度所覆盖：

create index idx_genre on xmltable using btree (((xpath('/document/genre/text()',xmldata))[1]::text));

create index idx_uuid on xmltable using btree (((xpath('/document/uuid/text()',xmldata))[1]::text)); 

create index idx_uuid_genre on xmltable using btree (((xpath('/document/uuid/text()',((xpath('/document/genre/text()',xmldata))[1]::text));

首先导致：

"Index Scan using idx_genre on xmldata d  (cost=0.42..6303.05 rows=18154 width=32)"
"  Index Cond: (((xpath('/document/genre/text()'::text,xmldata,'{}'::text[]))[1])::text = 'bio'::text)"
"  Filter: (((xpath('/document/uuid/text()'::text,'{}'::text[]))[1])::text = 'some-uuid-xxxx-xxxx'::text)"

公平的我以为,只是为了测试我会强迫它使用 – 在我的脑海 – 覆盖索引：

drop index idx_uuid;
drop index idx_genre;

现在我得到：

"Bitmap Heap Scan on xmltable d  (cost=551.13..16025.51 rows=18216 width=32)"
"  Recheck Cond: ((((xpath('/document/genre/text()'::text,'{}'::text[]))[1])::text = 'bio'::text) AND (((xpath('/document/uuid/text()'::text,'{}'::text[]))[1])::text = 'some-uuid-xxxx-xxxx'::text))"
"  ->  Bitmap Index Scan on idx_uuid_genre  (cost=0.00..546.58 rows=18216 width=0)"
"        Index Cond: ((((xpath('/document/genre/text()'::text,'{}'::text[]))[1])::text = 'some-uuid-xxxx-xxxx'::text))"

我也尝试在索引中切换uuid和类型的位置,同样的执行计划.

编辑最后：为什么不可能

根据文档：postgresql可以在索引类型支持时进行索引扫描(即,btree始终支持这一点,GiST和SpGiST仅适用于某些特定的操作符,而GIN根本不起作用).并且可以从索引重建原始的索引值.

第二个要求是最有趣的.

在列的情况下,它是简单的(a,b),您的索引能够重建原始的存储值.

并且在功能索引工作的功能的情况下,您应该创建具有原始值的索引.这意味着(f1(a),f2(b))索引将再次出现,因为您无法从这些值重建索引数据(a,b).开发人员提出的解决方法是创建索引(f1(a),f2(b),a,b)在这种情况下,查询计划者能够确定可以运行仅索引扫描,因为索引包含原始数据.

并回到你的问题,创建索引只扫描xml列是不可能的：没有运算符支持xml数据比较关键的btree. xml数据的比较运算符没有定义.因此您不能在任何类型的索引中使用此列,但是您需要在仅索引扫描中提示查询优化器才能执行仅索引扫描.

编辑：(解决方案如何在特定的xpath表达式上实现仅索引扫描)

如果您知道这些数据将被频繁使用,我建议您通过触发功能解决此问题,并创建2个以上的字段并通过索引来覆盖.这样的事情

ALTER TABLE public.xmltable ADD COLUMN xpath_uuid character varying(36);
ALTER TABLE public.xmltable ADD COLUMN xpath_title character varying(100);


CREATE INDEX idx_covering_materialized_xml_data
  ON public.xmltable
  USING btree
  (xpath_uuid COLLATE pg_catalog."default",xpath_title COLLATE pg_catalog."default");

CREATE OR REPLACE FUNCTION public.introduce_xml_materialization()
  RETURNS trigger AS
$BODY$BEGIN 

NEW.xpath_uuid = (xpath('/document/uuid/text()',NEW.xmldata))[1]::text;
NEW.xpath_title = (xpath('/document/title/text()',NEW.xmldata))[1]::text;

RETURN NEW; 
END;$BODY$
  LANGUAGE plpgsql STABLE
  COST 100;



CREATE TRIGGER index_xml_data
  BEFORE INSERT OR UPDATE
  ON public.xmltable
  FOR EACH ROW
  EXECUTE PROCEDURE public.introduce_xml_materialization();

然后你可以简单地做：

SELECT  xpath_uuid,xpath_title
  FROM public.xmltable
  where xpath_uuid = ' uuid1 '

这将显示您仅索引扫描：

"Index Only Scan using idx_covering_materialized_xml_data on xmltable  (cost=0.14..8.16 rows=1 width=308)"
"  Index Cond: (xpath_uuid = ' uuid1 '::text)"

假设数据读取多于写入,这种方法将是最佳的.从插入或更新的成本,它通常与在xpath表达式上创建功能索引相同.

ORIGINAL RESPONSE：(对于愿意调整查询优化器的用户来说,可能很有意思)

那么问题是你的查询优化器认为xPath函数调用是最简单的.即它就像调用简单的数学运算符并且其成本是1.在这种情况下,查询优化器认为,从表中获取并再次计算更容易,然后进行纯索引扫描.

如果增加xpath调用成本,让我们说1000查询优化器会看到这样的调用显着更难(实际上是真的),并且将尝试执行仅索引扫描.在我的测试设置中,我已经执行了

update pg_proc set procost=1 where proname='xpath';

执行计划是

"Bitmap Heap Scan on xmltable  (cost=4.17..11.30 rows=3 width=64)"
"  Recheck Cond: (((xpath('/document/uuid/text()'::text,'{}'::text[]))[1])::text = 'some-uuid-xxxx-xxxx'::text)"
"  ->  Bitmap Index Scan on idx_covering_index_3  (cost=0.00..4.17 rows=3 width=0)"
"        Index Cond: (((xpath('/document/uuid/text()'::text,'{}'::text[]))[1])::text = 'some-uuid-xxxx-xxxx'::text)"

但是当我做的时候

update pg_proc set procost=1000 where proname='xpath';

执行计划正在切换到仅索引扫描

"Index Scan using idx_covering_index_3 on xmltable  (cost=0.15..31.20 rows=3 width=64)"
"  Index Cond: (((xpath('/document/uuid/text()'::text,'{}'::text[]))[1])::text = 'some-uuid-xxxx-xxxx'::text)"

在我的卷(即没有数据)上,仅索引查询的最小成本显着小于原始索引表扫描中的最大成本,最大成本更大.因此,为了在查询优化上作弊,可能需要在xpath调用成本上放置更高的值.

希望这将有所帮助,出于好奇,只是向我们展示了使用仅索引查询的好处.

postgresql – postgres 9.6索引只扫描功能索引逻辑上可能但不执行

相关推荐