在csv导入期间在Postgres中最大处理1600列

如何解决在csv导入期间在Postgres中最大处理1600列

我正在尝试将大型的csv文件（将近10000列）导入postgres数据库。通常，要导入文件，我会将其复制到临时表中，然后使用该临时表将所有内容放置在正确的位置。但是postgres的最大列数为1600，因此csv不会导入。我无法控制csv的大小或格式，因此我需要使用它。

是否有一种方法可以增加临时表的此值，或者使用复制命令将其解析为多个临时表？如果您有任何建议，也可以使用其他方式导入文件。

有什么建议吗？我目前正在使用“复制”命令导入csv：

COPY INTAKE
FROM 'file location'
CSV HEADER;

谢谢您的帮助！

解决方法

将所有内容作为单个列导入，如下所述：

https://stackoverflow.com/a/60120879/16361

一旦有了，就可以组合一个查询，该查询将生成SQL，以所需的方式提取所需的字段。一个小例子，有5列，最大表大小为2列（IRL，您希望在代码块中的max_cols_per_table后面跟着一个大数字，例如1kish，因此您要创建10个表而不是5000个表）。

$ cat /tmp/fivewide.csv
c1,c2,c3,c4,c5
r1c1,r1c2,r1c3,r1c4,r1c5
r2c1,r2c2,r2c3,r2c4,r2c5
$ psql -X testdb
psql (12.3 (Debian 12.3-1),server 10.5 (Debian 10.5-1+build4))
Type "help" for help.

testdb=# create table my_import_table(data text);
CREATE TABLE
testdb=# \copy my_import_table from /tmp/fivewide.csv csv delimiter e'\x01' quote e'\x02'
COPY 3
testdb=# select * from my_import_table;
           data           
--------------------------
 c1,c5
 r1c1,r1c5
 r2c1,r2c5
(3 rows)

生成CREATE TABLE语句，以便将其拆分为实际的列（如果值中包含逗号，这会中断；我不会在SQL中实现完整的CSV解析器：）

testdb=# with
settings as (select 2 as max_cols_per_table,'my_import_table' as import_table,'data' as column_name),computed_settings1 as (select array_length(string_to_array(d,','),1) as num_cols from t limit 1),computed_settings2 as (select (ceil((select num_cols::float from computed_settings1) / (select max_cols_per_table from settings)))::integer as num_tables),columns_exprs as (select i,'(string_to_array('||(select column_name from settings)||$$,'))[$$||i||'] AS col'||i as cexpr from generate_series(1,(select num_cols from computed_settings1)) as i),column_exprs_by_table as (select t,cexpr from generate_series(1,(select num_tables from computed_settings2)) as t join columns_exprs ce
on i>((t-1)*(select max_cols_per_table from settings))
AND i<=(t*(select max_cols_per_table from settings))
),create_table_stmts as (select 'create table t_'||t||' AS SELECT '||string_agg(cexpr,')||' FROM '||(select import_table from settings)||';' from column_exprs_by_table group by t)
select * from create_table_stmts;
                                                             ?column?                                                              
-----------------------------------------------------------------------------------------------------------------------------------
 create table t_3 AS SELECT (string_to_array(data,'))[5] AS col5 FROM my_import_table;
 create table t_2 AS SELECT (string_to_array(data,'))[3] AS col3,(string_to_array(data,'))[4] AS col4 FROM my_import_table;
 create table t_1 AS SELECT (string_to_array(data,'))[1] AS col1,'))[2] AS col2 FROM my_import_table;
(3 rows)

使用DO执行此DDL并检查结果：

testdb=# DO $outer$
DECLARE
stmt text;
BEGIN
FOR stmt IN
with
settings as (select 2 as max_cols_per_table,')||' FROM '||(select import_table from settings)||';' from column_exprs_by_table group by t)
select * from create_table_stmts
LOOP
EXECUTE stmt;
END LOOP;
END;
$outer$;
DO
testdb=# select * from t_1;
 col1 | col2 
------+------
 c1   | c2
 r1c1 | r1c2
 r2c1 | r2c2
(3 rows)

testdb=# select * from t_2;
 col3 | col4 
------+------
 c3   | c4
 r1c3 | r1c4
 r2c3 | r2c4
(3 rows)

testdb=# select * from t_3;
 col5 
------
 c5
 r1c5
 r2c5
(3 rows)

进一步的改进，也许是聪明的使用第1行作为列名，或者总是包含一些对连接表有用的列，这是读者的练习。