如何部署WebSpoon9.0.0(Kettle的Web版本)

分类：大数据作者："贰拾叁"

前言

Kettle 是小有名气的开源ETL工具，现已改名为PDI（Pentaho Data Integration），其Web版本为：WebSpoon，本文记录了从官方Git仓库中拉取代码并成功运行的过程。

一、在本地拉取并编译项目

参考来源：Kettle的Git官方页面的webspoon-9.0分支的README文件

编译依赖项目

根据 _Build and locally publish dependent libraries _部分可知，需要预先在本地编译部分依赖项目。

pentaho-xul-swt

$ git clone -b webspoon-9.0 https://github.com/HiromuHota/pentaho-commons-xul.git
$ cd pentaho-commons-xul
$ mvn clean install -pl swt

rap

$ git clone -b webspoon-3.12.0 https://github.com/HiromuHota/rap.git
$ cd rap
$ mvn clean install

在mvn install出现报错时，可能的解决方案：
jetty-repo 版本修改为：9.4.48.v20220622
rap-extra-repo 修改为： https://download.eclipse.org/rt/rap/base-platforms/3.14/extra-dependencies/

pentaho-vfs-browser

$ git clone -b webspoon-9.0 https://github.com/HiromuHota/apache-vfs-browser.git
$ cd apache-vfs-browser
$ mvn clean install

将上述三个依赖项目编译后，在maven仓库的对应目录下会生成相应的jar文件。

编译本体项目

$ git clone -b webspoon-9.0 https://github.com/HiromuHota/pentaho-kettle.git
$ cd pentaho-kettle
$ mvn clean install -DskipTests

成功示例：
（在assemblies模块下的client模块中的target文件夹内生成对应的war包）

WebSpoon编译成功示例

可能的报错：

  1. 大面积报错找不到pom文件

解决方法：根据 Kettle官方Git页面master分支的README文件 中的setting.xml文件配置maven

  1. 找不到某个依赖的artifact文件

下图为示例：

WebSpoon编译报错示例


原因分析及解决方案：maven配置的pentaho-public镜像地址所在的仓库有一些依赖版本缺失，当出现此错误后分析了项目源码，并未搜索到缺失依赖版本的明文引用，但是在编译时仍有报错，所以可以认为是在编译时由于间接引用了特定版本导致了报错。通过去pentaho-public仓库中逐个查找发现确实没有报错的pom版本（恰好丢失了该版本），一个取巧的解决方法是在本地的maven仓库目录中新建该版本，并将最临近的最新一版的pom及签名文件复制进去，再按需改名后即可通过编译。如: 报错1.2版本丢失，经仓库地址查找发现确实不存在1.2版本，但是有1.3版本，就可以把1.3版本复制到本地1.2对应目录下并改成对应的名字，以实现绕过maven的检查机制。

二、在本地运行项目

  1. 将war包放在 \webapps 文件夹下（示例：pdi-ce-9.0.0.0-423-22.war）

  2. 修改tomcat主目录/conf/server.xml文件,在<Host>标签内加入：

<Context path="/pdi" docBase="pdi-ce-9.0.0.0-423-22" reloadable="false" source="org.eclipse.jst.jee.server:tsj-spring"/>
<!-- /pdi为浏览器地址栏ip:port后的访问地址 -->
<!-- docBase中的pdi-ce-9.0.0.0-423-22为项目在webapps目录下,编译后项目文件的实际路径；配置该项是为了读取下文的驱动文件 -->

  1. 访问本地url：http://localhost:8080/pdi/spoon

  2. 完成数据库的连接工作（数据库的准备工作略去）

    • 下载MySQL的jdbc驱动文件：mysql-connector-java-5.1.49.jar（因版本过高的jdbc文件目录结构改变，kettle无法支持）
    • 将驱动文件放置于：tomcat主目录\webapps\pdi-ce-9.0.0.0-423-22\WEB-INF\lib

三、在服务器运行项目

  1. 拉取docker镜像
docker pull hiromuhota/webspoon
  1. 创建并运行docker容器
docker run -d -p 8080:8080 hiromuhota/webspoon --name webspoon --restart=always
#-d 后台映射
#8080:8080 服务器实际端口:映射的容器端口
#hiromuhota/webspoon 要运行的镜像名称
#--name webspoon 容器名设定为webspoon
#--restart=always 容器设定为随docker重启而自动重启
#记得打开服务器的端口防火墙
  1. 测试运行结果：http://服务器IP:8080/spoon/spoon
  2. 汉化界面(可选)
  3. 上传MySQL驱动文件至容器内
cd /home/upload_files/
#无此文件夹则创建，将驱动文件上传至本目录下

docker cp mysql-connector-java-5.1.49.jar webspoon:/usr/local/tomcat/webapps/spoon/WEB-INF/lib
#将MySQL驱动复制到容器webspoon的/usr/local/tomcat/webapps/spoon/WEB-INF/lib路径下面

docker restart webspoon
#重启以生效，并在浏览器进行数据库连接测试
  1. 挂载服务器本地路径至容器内，方便文件的生成与交换

参考文章
可能出现的问题：

  1. systemctl start docker启动失败
    解决办法：使用systemctl status docker确认启动状态，根据报错信息修复配置文件
doker ps 
cd /var/lib/docker/containers/容器id
systeamctl stop docker
#获取容器id，进入容器配置路径修改配置文件

"/home/pdi_files": {"Source": "/home/kettle/pdi_files","Destination": "/home/pdi_files","RW": true,"Name": "","Driver": "","Type": "bind","Propagation": "rprivate","Spec": {"Type": "bind","Source":"/home/kettle/pdi_files","Target": "/home/pdi_files"},"SkipMountpointCreation": false}
## 修改config.v2.json，将本地的/home/kettle/pdi_files 路径映射到容器的 /home/pdi_files

"Binds":["/home/kettle/pdi_files:/home/pdi_files"]
#修改hostconfig.json

systemctl start docker
docker start 容器名
#重启docker及容器
# 挂载失败时会无法找到并启动容器，需要二次确认配置文件是否修改正确

docker exec -it 容器名 /bin/bash 
# 进入容器路径确认是否挂载成功
  1. 配置文件夹权限

如果没有对容器内的路径做权限配置，文件将无法读取和写入

sudo docker exec -it -u root 容器id bash
# 以root权限进入容器

cd /home/
chmod 777 ./pdi_files
#给特定目录赋权
  1. 自定义数据库表并测试转换任务

测试数据库表组成示例


成功的转换示例


该作业涉及到表输入、文件输出、文件输入、表输出、日志记录，可以简单测试pdi是否成功工作。

  1. 配置资源库（可选）

  • 点击主页右上角的connect按钮，填入个人的etl资源库连接信息。

    资源库信息填写完成状态

  • 在连接资源库时需要选择数据库连接，在编辑数据库连接时修改参数以使中文正常显示：

    中文本地化需要修改的Kettle数据库连接参数

  1. 修改kettle配置文件，开启api访问功能（可选）
    使用官方镜像部署kettle之后，可以通过进入容器的方式修改相关文件
docker exec -it 容器ID /bin/bash
vim ./system/kettle/slave-server-config.xml

将slave-server-config.xml文件内容修改为：

<slave_config>
  <max_log_lines>10000</max_log_lines>
  <max_log_timeout_minutes>2880</max_log_timeout_minutes>
  <object_timeout_minutes>240</object_timeout_minutes>
  <repository>
	<!-- 填入你自己拥有的Kettle资源库名称，与上方第九步图示中的名称一致 -->
	<!-- 该名称决定了在使用api方式访问kettle时，kettle默认连接的配置资源库 -->
    <name>etl</name>
    <username>xxxxx</username> <!-- 填入目标资源库连接账号 -->
    <password>xxxxx</password> <!-- 填入目标资源库连接密码 -->
  </repository>
</slave_config>

这样就开启了kettle的内置API访问功能，功能入口有：

Kettle内置API

测试访问API效果：

通过api调用任务运行成功

问题来了，这些api入口都是可用的吗，需要传输哪些参数？有没有文档？
我的回答是：可以去网上搜搜，没有找到答案的话最好自己看源码。

Kettle目前已经转为了商业化项目(hitachivantara公司官网)，也有自己的社区(hitachivantara公司论坛)，感兴趣的可自行探索。

结束语

  • Git拉项目确实要多看一下README文件，该有的准备工作不可少
  • PDI的C/S和B/S架构、页面都差不多，可看作是孪生项目
  • 市面上支持Web端且免费的ETL工具不多，WebSpoon可作为一个选择

原文地址：https://blog.csdn.net/Ka__ze/article/details/128454956

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

MySQL安装与环境搭建——超详细教程
文章浏览阅读5.3k次，点赞10次，收藏39次。本章详细写了mysql的安装，环境的搭建以及安装时常见的问题和解决办法。_mysql安装及配置超详细教程
大数据编程期末大作业2023
文章浏览阅读1.8k次，点赞50次，收藏31次。本篇文章讲解Spark编程基础这门课程的期末大作业，主要围绕Hadoop基本操作、RDD编程、SparkSQL和SparkStreaming编程展开。_直接将第4题的计算结果保存到/user/root/lisi目录中lisipi文件里。
ES查询常用语法
文章浏览阅读7.8k次，点赞9次，收藏34次。ES查询常用语法目录1. ElasticSearch之查询返回结果各字段含义2. match 查询3. term查询4. terms 查询5. range 范围6. 布尔查询6.1 filter加快查询效率的原因7. boosting query(提高查询)8. dis_max(最佳匹配查询）9. 分页10. 聚合查询【内含实际的demo】_es查询语法
大数据毕设项目 - opencv python 深度学习垃圾图像分类系统
文章浏览阅读928次，点赞27次，收藏18次。
【愚公系列】2024年02月 大数据教学课程 021-zookeeper的使用
文章浏览阅读1.1k次，点赞24次，收藏24次。作用描述分布式协调和一致性协调多个节点的活动，确保一致性和顺序。实现一致性、领导选举、集群管理等功能，确保系统的稳定和可靠性。高可用性和容错性Zookeeper是高可用的分布式系统，通过多个节点提供服务，容忍节点故障并自动进行主从切换。作为其他分布式系统的高可用组件，提供稳定的分布式协调和管理服务，保证系统的连续可用性。配置管理和动态更新作为配置中心，集中管理和分发配置信息。通过订阅机制，实现对配置的动态更新，以适应系统的变化和需求的变化。分布式锁和并发控制。
【知识整理】产研中心岗位评定标准之大数据岗位
文章浏览阅读1.5k次，点赞26次，收藏29次。为贯彻执行集团数字化转型的需要,该知识库将公示集团组织内各产研团队不同角色成员的职务“职级”岗位的评定标准;
【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装
文章浏览阅读1.2k次，点赞26次，收藏28次。在安装Hadoop之前，需要进行以下准备工作：确认操作系统：Hadoop可以运行在多种操作系统上，包括Linux、Windows和Mac OS等。选择适合你的操作系统，并确保操作系统版本符合Hadoop的要求。安装Java环境：Hadoop是基于Java开发的，因此需要先安装和配置Java环境。确保已经安装了符合Hadoop版本要求的Java Development Kit (JDK)，并设置好JAVA_HOME环境变量。确认硬件要求：Hadoop是一个分布式系统，因此需要多台计算机组成集群。
大数据毕设分享 基于大数据的K-means广告效果分析
文章浏览阅读974次，点赞19次，收藏24次。# 基于大数据的K-means广告效果分析毕业设计 基于大数据的K-means广告效果分析。
大数据与Hadoop入门理论
文章浏览阅读1.7k次，点赞6次，收藏10次。Hadoop入门理论
农业病虫害数据集与算法——调研整理
文章浏览阅读1.3w次，点赞28次，收藏232次。通过博客和文献调研整理的一些农业病虫害数据集与算法。_病虫害数据集
大数据之zookeeper选举机制
文章浏览阅读699次，点赞22次，收藏7次。ZooKeeper使用的是Zab（ZooKeeper Atomic Broadcast）协议，其选举过程基于一种名为Fast Leader Election（FLE）的算法进行。：每个参与选举的ZooKeeper服务器称为一个“Follower”或“Candidate”，它们都有一个唯一的标识ID（通常是一个整数），并且都知道集群中其他服务器的ID。总之，ZooKeeper的选举机制确保了在任何时刻集群中只有一个Leader存在，并通过过半原则保证了即使部分服务器宕机也能维持高可用性和一致性。
【大数据开发运维解决方案】Informatica 9.6.1+ORACLE11G+WIN10安装过程
文章浏览阅读10w+次，点赞62次，收藏73次。informatica 9.x是一款好用且功能强大的数据集成平台，主要进行各类数据库的管理操作，是使用相当广泛的一款ETL工具(注: ETL就是用来描述将数据从源端经过抽取(extract)、转换(transform)、加载(load)到目的端的过程)。本文主要为大家图文详细介绍Windows10下informatica powercenter 9.6.1安装与配置步骤。文章到这里就结束了，本人是在虚拟机中装了一套win10然后在此基础上测试安装的这些软件，因为工作学习要分开嘛哈哈哈。！！！！！_informatica客户端安装教程
111个Python数据分析实战项目，代码已跑通，数据可下载
文章浏览阅读7.8w次，点赞245次，收藏2.9k次。111个Python数据分析实战项目，代码已跑通，数据可下载_python数据分析项目案例
【大数据基础平台】星环TDH社区集群版本部署
文章浏览阅读1.9k次，点赞61次，收藏64次。TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。_星环tdh没有hive
大数据毕设分享 python图像检索系统设计与实现
文章浏览阅读836次，点赞21次，收藏19次。
大数据就业方向-（工作）ETL开发
文章浏览阅读1k次，点赞21次，收藏15次。主要介绍ETL相关工作的一些概念和需求点
ssm博物馆线上导览系统--64574 (免费领源码、附论文）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文案
文章浏览阅读1.4k次。本文以Android、java为开发技术，实现了一个基于Android的博物馆线上导览系统 app。基于Android的博物馆线上导览系统 app的主要使用者分为管理员和用户，app端：首页、菜谱信息、甜品信息、交流论坛、我的，管理员：首页、个人中心、用户管理、菜谱信息管理、菜谱分类管理、甜品信息管理、甜品分类管理、宣传广告管理、交流论坛、系统管理等功能。通过这些功能模块的设计，基本上实现了整个博物馆线上导览的过程。
业务智能的未来趋势：AI与大数据的融合
文章浏览阅读897次，点赞19次，收藏26次。1.背景介绍在当今的数字时代，数据已经成为企业和组织中最宝贵的资源之一。随着互联网、移动互联网和物联网等技术的发展，数据的产生和收集速度也急剧增加。这些数据包括结构化数据(如数据库、 spreadsheet 等)和非结构化数据(如文本、图像、音频、视频等)。这些数据为企业和组织提供了更多的信息和见解，从而帮助他们做出更明智的决策。业务智能(Business Intelligence，BI)...
架构设计内容分享(二百一十)：设计一个大并发、大数据的系统架构，说说设计思路
文章浏览阅读932次，点赞22次，收藏16次。也就是说，一个类应该对自己需要耦合或调用的类知道的最少，类与类之间的关系越密切，耦合度越大，那么类的变化对其耦合的类的影响也会越大，这也是我们面向对象设计的核心原则：低耦合，高内聚。优秀的架构和产品都是一步一步迭代出来的，用户量的不断增大，业务的扩展进行不断地迭代升级，最终演化成优秀的架构。其根本思想是强调了类的松耦合，类之间的耦合越弱，越有利于复用，一个处在弱耦合的类被修改，不会波及有关系的类。缓存，从操作系统到浏览器，从数据库到消息队列，从应用软件到操作系统，从操作系统到CPU，无处不在。
大数据毕设分享(含算法) 基于hadoop大数据教育可视化系统(源码+论文)
文章浏览阅读937次，点赞22次，收藏23次。大数据可视化是关于数据视觉表现形式的科学技术研究[9]，将数据转换为图形或图像在屏幕上显示出来，并进行各种交互处理的理论、方法和技术。将数据直观地展现出来，以帮助人们理解数据，同时找出包含在海量数据中的规律或者信息，更多的为态势监控和综合决策服务。数据可视化是大数据生态链的最后一公里，也是用户最直接感知数据的环节。数据可视化系统并不是为了展示用户的已知的数据之间的规律，而是为了帮助用户通过认知数据，有新的发现，发现这些数据所反映的实质。大数据可视化的实施是一系列数据的转换过程。
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot