使用awk或perl从CSV中提取特定列(解析)

背景 – 我想从csv文件中提取特定列. csv文件以逗号分隔,使用双引号作为text-qualifier(可选,但是当字段包含特殊字符时,限定符将在那里 – 参见示例),并使用反斜杠作为转义字符.某些字段也可能为空白.

示例输入和所需输出 – 例如,我只希望列1,3和4位于输出文件中. csv文件中列的最终提取应与原始文件的格式匹配.不应删除任何转义字符或添加额外的引号等.

输入

"John \"Super\" Doe",25,"123 ABC Street",123-456-7890,"M",A
"Jane,Mary","",132 CBS Street,333-111-5332,"F",B
"Smith \"Jr.\",Jane",35,555-876-1233,"Lee,Jack",22,123 Sesame St,D

期望的输出

"John \"Super\" Doe",123-456-7890
"Jane,333-111-5332
"Smith \"Jr.\",555-876-1233
"Lee,""

初步脚本(awk) – 以下是我发现的大部分工作的初步脚本,但在我注意到的一个特定实例中不起作用,可能还有更多我尚未看到或想到的

#!/usr/xpg4/bin/awk -f

BEGIN{  OFS = FS = ","  }

/"/{
    for(i=1;i<=NF;i++){
        if($i ~ /^"[^"]+$/){
            for(x=i+1;x<=NF;x++){
                $i=$i","$x
                if($i ~ /"+$/){
                    z = x - (i + 1) + 1
                    for(y=i+1;y<=NF;y++)
                        $y = $(y + z)
                    break
                }
            }
            NF = NF - z
            i=x
        }
    }
print $1,$3,$4
}

以上似乎运行良好,直到遇到包含转义双引号和逗号的字段.在这种情况下,解析将关闭,输出将不正确.

问题/评论 – 我已经读过awk不是解析csv文件的最佳选择,建议使用perl.但是,我根本不懂perl.我找到了一些perl脚本的例子,但它们没有提供我想要的所需输出,我不知道如何根据我的需要轻松编辑脚本.

至于awk,我对它很熟悉并偶尔使用它的基本功能,但我不知道很多高级功能,比如上面脚本中使用的一些命令.只使用awk可以实现我想要的输出吗？如果是这样,是否可以编辑上面的脚本来解决我遇到的问题？有人可以逐行解释脚本究竟在做什么吗？

任何帮助将不胜感激,谢谢！

解决方法

我不会重新发明 wheel.

use Text::CSV_XS;

my $csv = Text::CSV_XS->new({
   binary      => 1,escape_char => '\\',eol         => "\n",});

my $fh_in  = \*STDIN;
my $fh_out = \*STDOUT;

while (my $row = $csv->getline($fh_in)) {
   $csv->print($fh_out,[ @{$row}[0,2,3] ])
      or die("".$csv->error_diag());
}

$csv->eof()
   or die("".$csv->error_diag());

输出：

"John \"Super\" Doe","132 CBS Street","123 Sesame St",

它在没有任何地址的地址周围添加了引号,但由于某些地址已经有引号,你显然可以处理它.

重新发明轮子：

my $field = qr/"(?:[^"\\]|\\.)*"|[^"\\,]*/s;
while (<>) {
   my @fields = /^($field),$field,($field),/
      or die;
   print(join(',',@fields),"\n");
}

输出：

"John \"Super\" Doe",""