如何解决在Qlikview中,可以将“严格字段”串联吗?
到目前为止,我已经使用qlikview几年了,我几乎每天都会面对的一个简单问题是,当我只需要其中的一些字段时,就需要将具有不同字段的表连接起来。
例如,假设我在单独的QVD上有以下表格
表1:
表2:
我只需要使用field_1,field_2和field_3制作一张决赛桌,但如果我这样做,则
我收到一个错误,指出table2上不存在field_2。当我处理少量表时我可以将null()设置为field_2,但我知道该字段不存在,但是当我遍历500多个QVD时,其中一些具有该字段而有些则不是,我需要一种方法确定这个。
现在我有两种方法可以解决此问题:
- 我先用*加载qvd,然后使用FIELDNUMBER查看该字段是否存在,并将该字段放入要在加载时使用的变量中。
示例:
- 我正在创建一个空的启动器表,将字段设置为null并与负载串联在一起*这样就会生成缺少的字段(利用“使用null生成缺少的字段”)
示例:
这是非常糟糕的性能,因为当我只对几列感兴趣时,我会将整个文件加载到内存中,然后需要在以后删除它们。
有没有一种方法来进行串联,使其仅采用第一个表中已经存在的列,将缺失的列以null结束,而自动排除所有其他不需要的字段?
我尝试在使用*加载之前使用先前的加载,但是当其中一个字段不在qvd上时失败。有什么想法吗?
P.S .:我知道我所描述的方法可以解决问题,但是我正在寻找更好的解决方案,性能和速度方面的建议。
解决方法
在Qlik中连接两个表时,不需要字段匹配。您甚至可以将两个具有完全不同字段的表连接起来,Qlik不会抱怨。 Qlik只会为缺少的字段添加null
。
看下面的脚本-我们有两个表Table1
和Table2
。
-
Table1
的字段:field1
,field2
,field3
-
Table2
的字段:field3
,field4
,field5
当从Table1
加载所有字段并仅从field3
连接Table2
时,结果将是:
field1
的行, field2
和null
填充了Table2
。
Table1:
Load * Inline [
field1,field2,field3
1,2,3
4,5,6
];
Table2:
Load * Inline [
field3,field4,field5
1,3
4,6
];
NoConcatenate
ConcatenatedTable:
Load
field1,field3
Resident
Table1
;
Concatenate
Load
field3
Resident
Table2
;
Drop Tables Table1,Table2;
,
这是另一种方法,我没有足够大的数据集来测试其性能,但至少解决了在脚本中具有显式字段名称的问题,这可能是噩梦。
首先使用CrossTable加载所有文件,以解构结构:
for each file in FileList('<folder>\<files>*')
RawTable:
CrossTable(Field,Data,2)
LOAD FileName() as FileName,RowNo() as RowId,*
FROM
[$(file)]
(txt,utf8,no labels,embedded labels,delimiter is ',');
next file;
这将创建一个包含4个字段的表:原始文件名(FileName),该文件内的行号(RowId),列名(Field)及其值(Data)。
然后引导您的最终表包含对每个文件和每个已知行的引用:
DataTable:
LOAD
DISTINCT FileName,RowId
Resident RawTable;
然后用文件中每个已知字段的唯一名称创建一个支持表:
FieldTable:
LOAD
Distinct Field as KnownField
Resident RawTable;
最后,魔术开始了,您逐场左移,将它们加入到DataTable中:
LET NumFields = NoOfRows('FieldTable');
FOR i = 0 to $(NumFields) - 1
LET vField = Peek('KnownField',$(i),'FieldTable');
TRACE $(vField);
Left Join(DataTable)
LOAD
FileName,RowId,Data as $(vField)
Resident RawTable
WHERE Field = '$(vField)';
NEXT;
最后只是清理一下:
DROP TABLE RawTable;
DROP TABLE FieldTable;
如果只想保留一部分字段,则可以在创建FieldTable时进行过滤。
,要获得性能更高的解决方案,您可以先获取每个qvd的元数据以获取其包含字段,然后基于此设置qvd迭代逻辑。
这是为您提供qvd文件字段名的主要脚本:
LOAD
"FieldName"
FROM [some.qvd]
(XmlSimple,table is [QvdTableHeader/Fields/QvdFieldHeader]);
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。