postgres复制命令，二进制文件

如何解决postgres复制命令，二进制文件

| 我正在使用COPY将字段从表复制到文件。该字段是一个压缩的文本文件，因此我使用二进制副本。创建文件后，唯一的问题是COPY向文件中添加了标题和尾部（？），而我不需要。可以改变吗？是否有一个参数可以导致COPY将该字段完全放在数据库中？如果手动删除不需要的标头，则可以使用zcat或gunzip提取文件。我正在做这样的事情：

psql -d some_database -c \\
 \"copy  (select some_column from a_table where id=900) to stdout with BINARY;\" > /tmp/tmp.gz

然后我想做

gunzip /tmp/tmp.gz

有任何想法吗？

解决方法

一种可能性，尽管您可能不喜欢它，但它仍然有效：

psql -At -c \"select encode(content,\'base64\') from t where ...\"  | base64 -d

即将内容打印为base64并对其进行解码。我认为现实是psql旨在产生可读的输出，而说服psql分解原始二进制数据是有意的困难。我想如果您愿意的话，可以编写一些工具（Perl / python脚本）来连接数据库并直接打印原始输出。 COPY的\“ WITH BINARY \”选项不仅会执行简单的二进制输出，还会执行一些可能值得信赖的编码。 , 您确定这是将压缩文本以二进制形式存储在数据库中的最佳方法吗？根据文档，长文本是隐式/自动压缩的：长字符串由系统自动运行，因此物理磁盘上的需求可能更少。很长的值也存储在背景表，这样它们就不会干扰快速访问较短的列值。无论如何，尽可能长的字符串可以存储大约1 GB。 , 我不知道直接的方法... COPY具有二进制格式，带有可变长度的标头，很难“修剪”。除此之外，PG是以文本为中心的，我不知道有没有一种方法可以强制从BYTEA字段的SELECT输出“原始”（二进制）。您可以获得文本的十六进制输出，并为自己编写一个小程序（C，perl或其他任何东西）以将其从from3ѭ转换为二进制。并不困难，但也不简单（十六进制格式在Postgresql 9.0中）

psql  -t -q -c \"select binaryfield from.. where ...\" mydb  |  myhextobin > tmp.gz

顺便说一句，格热哥兹的答案很贴切。补充：不是很干净，也不是万无一失，就好像某些东西觉得有用...

/* expects a pg hexadecimal string,in \"\\x.....\" format,and converts to binary*/
/* warning: no checks! it just ignores chars outside [0-9a-f] */
#include<stdio.h>
int main() {
    int x,pos,v;
    char hex[3]={0,0};
    pos = 0;
    while( (x = getchar()) >= 0) {
        if(( x >=\'0\' && x <= \'9\') || ( x >= \'a\' && x <= \'f\' )) {
            hex[pos++] = (char)x;
            if(pos == 2) {
                sscanf(hex,\"%x\",&v);
                putchar((char)v);
                pos = 0;
            }
        }
    }
    return pos==0 ? 0 : 1;
}

, 复制命令完成任务。您只需要说：--no-align和--tuples-only。要进行压缩，请在psql和file之间使用ѭ8 psql

--tuples-only --no-align -d some_database -c \\
 \"copy  (select some_column from a_table where id=900) to stdout with BINARY;\" | gzip > /tmp/tmp.gz

, 不建议尝试解码postgresql二进制格式。仅仅因为您使用的测试文件有效并不意味着一切都会正常。例如，某些字符序列（未出现在测试文件中）可能会转义。 , 您可能会发现，使用具有客户端驱动程序并且能够读取BYtea类型的语言的语言更容易做到这一点：PHP，Python，ruby，perl，javascript，java等。只需在此处执行查询，使用可能会已经以该语言存在，并写出文件。或者，您可以在数据库内部使用过程语言并创建存储过程。您可以将请求的文件名传递给存储过程。

postgres复制命令，二进制文件

如何解决postgres复制命令，二进制文件

解决方法

相关推荐