TASKCTL ETL调度技术平台

程序名称:TASKCTL

授权协议: LGPL

操作系统: Linux

开发语言: C/C++

TASKCTL 介绍

ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要组成部分;从架构层面讲,调度是ETL技术体系的核心;从应用层面讲:调度是成百上千任务的管理者、控制者,它不仅限于调度任务,同时还担当各种任务的分类管理、展示、监控维护等诸多重任。可见ETL调度的重要性,ETL调度独立发展将是ETL技术发展的一种必然趋势!

TASKCTL开源版作为目前唯一的ETL调度领域开源软件,保证100%
free,绝无黑盒代码。它志在促进该领域的独立发展,使调度在ETL领域独立化、专业化、系统化。从而使项目实施更轻松便捷,使企业基础架构更清晰、更易管理。

(一)主要适用环境

操作系统 :aix/linux/unix/windows等(由于采用标准c语言构建,理论上可应用与各种主流unix系列);

项目规模 :适用于中小型ETL项目;

ETL工具环境
:TASKCTL由于采用任务插件驱动机制,因此,可支持各种存储过程、各种脚本、以及诸如Datastage\Informatica\kettle等各种ETL工具任务。

(二)主要功能

核心调度功能
:主要可以完成串行、并行、依赖、互斥、执行计划排程(自然日历、逻辑日历)、定时、容错(重做、忽略)、循环、条件分支、远程、负载均衡、断点续作、参数控制、返回控制、跳转控制、变量自动设置、作业输入输出传递、时间窗口控制、并发控制、资源阈值控制、优先级控制、自定义条件等各种不同的核心调度功能。

扩展功能

网络扩展:可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署;

应用扩展:设计有专门的应用API接口(C接口、JAVA接口、WebServices接口),可实现更多的调度应用;

任务类型扩展:除开工具本身内置的各种ETL作业、DataStage、Oracle、DB2、sql、Kettle、Java、Shell、Python、exe、bat、ftp、script等作业类型外,为了适应不同类型的任务调度,平台可通过具有统一模版、统一接口的插件进行快速自定义扩展。几乎只要有命令行接口的程序,TASKCTL都可支持调度;

应用功能:配置功能、流程设计功能、监控功能、各种查询功能以及诸如重跑、重置等人工干预功能;

高可用支持:支持高可用分布式集群调度,可跨平台调度,Linux可调度Windows平台作业;

预警支持:支持短信与邮件预警功能,可通过配置实现JOB的短信与邮件告警;

流程图支持:流程图采用有序无环图思想设计,可以根据作业自动绘制流程图拓扑。

(三) 主要创新

简易性: 整个软件安装可实现分钟级完成安装,一分钟即可上手完成“Hello World!”配置;

作业实时监控: 任务监控采用高效数据缓存算法,可对10万级作业进行统一实时监控和错误秒级定位;

无数据库设计 :国内首款专业无数据库调度技术平台;

插件机制 :业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台;

流程设计代码开发设计理念:调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比,操作更方便、设计更灵活、可读性更强。

(四)其它

主要文档

《TASKCTL1.0(开源版)快速使用指南》

《TASKCTL1.0(开源版)流程XML代码》

《TASKCTL1.0(开源版)任务驱动插件应用》

《TASKCTL1.0(开源版)技术白皮书》

《TASKCTL1.0(开源版)二次开发手册》

《TASKCTL1.0(开源版)源代码简要说明》

TASKCTL 官网

http://www.taskctl.com

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


DEFT(数字证据及取证工具箱)是一份定制的Xubuntu自启动运行Linux光盘发行。它是一份易于使用的系统,包含了最佳的硬件检测,以及一些专用于应急响应和计算机取证的最好的开源应用软件。
DFF (Digital Forensics Framework) 是一个简单但强大的数字取证工作辅助工具,它具有一个灵活的模块系统,具有多种功能,包括:恢复错误或崩溃导致的文件丢失,证据的研究和分析等。DFF提供了一个强大的体系结构和
BackTrack是基于Ubuntu的自启动运行光盘,它包含了一套安全及计算机取证工具。它其实是依靠融合Auditor Security
计算机取证时需要为计算机生成一个位镜像拷贝 , 这需要在系统还在运行的时候,或至少要在系统关闭之前进行。“位镜像拷贝”是指对硬件驱动器上每一位进行拷贝,它不考虑操作系统是如何解析这些位的,所以
CAINE(计算机辅助调查环境)是基于Ubuntu的GNU/Linux自启动运行发行,它作为安全研究部际中心(CRIS)的数字取证项目而创建,并
HackShark Linux是一个基于KDE环境的轻量级的发行版。用于渗透测试、网络取证调查和脆弱性评估。
Autopsy® 是数字取证平台,是TheSleuth Kit® 和其他数字取证工具的图形化界面。它可以用来执法,军事和公司的检察官调查过程,用来检测电脑的情况,甚至可以用来恢复你相机存储卡的照片。
OSX Auditor是一个免费的Mac OS X计算机取证工具,这个工具显示分析内核扩展、用户下载的文件等等,然后是提取用户的隔离文件、访问历史等等,最后就可以确认文件的可信度。
有时候你可曾想过,从一个Email,或者Twitter,或是网站,甚至姓名等等,能找到一个人千丝万缕的联系,并把这些联系整合,利用起
Metabase 是一个简单、开源的方式,通过给公司成员提问,从得到的数据中进行分析、学习。
该项目提供了更强大的取证工具集合,运行于命令行(The Sleuth Kit)或通过浏览器界面(Autopsy
OSXCollector 是 OS X 系统样本采集和分析工具。 采集脚本运行在相关的机器上,输出一个 JSON 文件,描述任务机器的相关情况。OSXCollector 会从 plists,SQLite
SFT (Safari Forensic Tools)包含了一系列的命令行实用工具,用于分析Safari WEB浏览器的一些相关文件。SFT使用Objective-C编写可以在Linux和windows及OSX下编译。另外这个项目的主页还包含了几个
Beagle是一个事件响应和数字取证工具,它将数据源和日志转换为图形。支持的数据源包括FireEye HX分类、Windows
GRR 是 Google 开发的远程现场事件取证系统。GRR 由一个代理(客户端)和服务器端组成,客户端可以部署在一个任务系统中,服务器可以管理客户端,跟客户端进行交互。
FileInfo是一款Ubuntu Linux下的文件信息取证分析工具,它是一个脚本但拥有一个图形界面,FileInfo可以从文件中提取有用的信息用于调查取证。
theHarvester是一款信息收集工具,它可以从不同的公开源中(例如:搜索引擎和PGP key服务器)收集e
MASCHE 全称是 Memory Analysis Suite for Checking the Harmony of Endpoints. 这是 Mozilla 开发的内存分析套件。这项技术能够帮你查看你的服务器里面的存储程序,Masche 作为 Mozilla
Matriux是一款功能齐全的安全工具包(套装),它包含了一系列强大、开源和免费的工具可以用于多种目的,但也不限于此。例如:渗透测试、ethical
伟大的Katana Forensics为我们带来了一款开放源代码的IOS设备取证分析工具 - Lantern Lite。Lantern