在Qlikview中,可以将“严格字段”串联吗?

如何解决在Qlikview中,可以将“严格字段”串联吗?

到目前为止,我已经使用qlikview几年了,我几乎每天都会面对的一个简单问题是,当我只需要其中的一些字段时,就需要将具有不同字段的表连接起来。

例如,假设我在单独的QVD上有以下表格

表1:

enter image description here

表2:

enter image description here

我只需要使用field_1,field_2和field_3制作一张决赛桌,但如果我这样做,则

enter image description here

我收到一个错误,指出table2上不存在field_2。当我处理少量表时我可以将null()设置为field_2,但我知道该字段不存在,但是当我遍历500多个QVD时,其中一些具有该字段而有些则不是,我需要一种方法确定这个。

现在我有两种方法可以解决此问题:

  1. 我先用*加载qvd,然后使用FIELDNUMBER查看该字段是否存在,并将该字段放入要在加载时使用的变量中。

示例:

enter image description here

  1. 我正在创建一个空的启动器表,将字段设置为null并与负载串联在一起*这样就会生成缺少的字段(利用“使用null生成缺少的字段”)

示例:

Screenshot from 2020-09-02 20-48-43.png

这是非常糟糕的性能,因为当我只对几列感兴趣时,我会将整个文件加载到内存中,然后需要在以后删除它们。

有没有一种方法来进行串联,使其仅采用第一个表中已经存在的列,将缺失的列以null结束,而自动排除所有其他不需要的字段?

我尝试在使用*加载之前使用先前的加载,但是当其中一个字段不在qvd上时失败。有什么想法吗?

P.S .:我知道我所描述的方法可以解决问题,但是我正在寻找更好的解决方案,性能和速度方面的建议。

解决方法

在Qlik中连接两个表时,不需要字段匹配。您甚至可以将两个具有完全不同字段的表连接起来,Qlik不会抱怨。 Qlik只会为缺少的字段添加null

看下面的脚本-我们有两个表Table1Table2

  • Table1的字段:field1field2field3
  • Table2的字段:field3field4field5

当从Table1加载所有字段并仅从field3连接Table2时,结果将是:

enter image description here

对于来自field1的行,

field2null填充了Table2

Table1:
Load * Inline [
  field1,field2,field3
  1,2,3     
  4,5,6
];

Table2:
Load * Inline [
  field3,field4,field5
  1,3
  4,6
];

NoConcatenate


ConcatenatedTable:
Load
  field1,field3
Resident
  Table1
;

Concatenate

Load
  field3
Resident
  Table2
;

Drop Tables Table1,Table2;
,

这是另一种方法,我没有足够大的数据集来测试其性能,但至少解决了在脚本中具有显式字段名称的问题,这可能是噩梦。

首先使用CrossTable加载所有文件,以解构结构:

for each file in FileList('<folder>\<files>*')

   RawTable:
   CrossTable(Field,Data,2)
   LOAD FileName() as FileName,RowNo() as RowId,*
   FROM
    [$(file)]
    (txt,utf8,no labels,embedded labels,delimiter is ',');

next file;

这将创建一个包含4个字段的表:原始文件名(FileName),该文件内的行号(RowId),列名(Field)及其值(Data)。

然后引导您的最终表包含对每个文件和每个已知行的引用:

DataTable:
LOAD
    DISTINCT FileName,RowId
Resident RawTable;

然后用文件中每个已知字段的唯一名称创建一个支持表:

FieldTable:
LOAD
    Distinct Field as KnownField 
Resident RawTable;

最后,魔术开始了,您逐场左移,将它们加入到DataTable中:

LET NumFields = NoOfRows('FieldTable');

FOR i = 0 to $(NumFields) - 1
    LET vField = Peek('KnownField',$(i),'FieldTable');

    TRACE $(vField);

    Left Join(DataTable)
    LOAD
        FileName,RowId,Data as $(vField)
    Resident RawTable
    WHERE Field = '$(vField)';  
NEXT;

最后只是清理一下:

DROP TABLE RawTable;
DROP TABLE FieldTable;

如果只想保留一部分字段,则可以在创建FieldTable时进行过滤。

,

要获得性能更高的解决方案,您可以先获取每个qvd的元数据以获取其包含字段,然后基于此设置qvd迭代逻辑。

这是为您提供qvd文件字段名的主要脚本:

LOAD
    "FieldName"
FROM [some.qvd]
(XmlSimple,table is [QvdTableHeader/Fields/QvdFieldHeader]);

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 &lt;select id=&quot;xxx&quot;&gt; SELECT di.id, di.name, di.work_type, di.updated... &lt;where&gt; &lt;if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 &lt;property name=&quot;dynamic.classpath&quot; value=&quot;tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams[&#39;font.sans-serif&#39;] = [&#39;SimHei&#39;] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -&gt; systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping(&quot;/hires&quot;) public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate&lt;String
使用vite构建项目报错 C:\Users\ychen\work&gt;npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-