编程之家(jb51.cc)编程百科栏目主要推荐程序员常用编程技术介绍,以下是大数据开发相关编程语言,主要信息提供给程序员快速了解所需要学习的编程技术语言。
Blink 最初是阿里巴巴内部的 Apache Flink 版本代号,基于阿里的场景做了大量的优化和稳定性改造工作。在经过一些讨论之后,我们决定将Blink的所有代码捐赠给Flink社区,并将其开源从而成为Flink社区的一部分。我们
Cascading是一个新式的针对Hadoop clusters的数据处理API,它使用富于表现力的API来构建复杂的处理工作流,而不是直接实现Hadoop MapReduce的算法。
Cascalog 是 Hadoop 上的数据处理解决方案,无需 hassle。 Cascalog 是 Clojure 或者 Java 的全功能数据处理和查询库。Cascalog 主要的作用是处理 Hadoop
Hadapt 是个自适应分析平台,为 Apache Hadoop 开源项目带来了 SQL 实现。Hadoop 非常健壮,并且可伸缩。所以通过其合并了关联数据存储的混合存储层,Hadapt 允许进行基于 SQL 大数据集的交互分析。通过
Hazelcast Jet 是一个分布式计算平台,专为高性能流处理和快速批处理而构建。它在内存数据网格(IMDG)中嵌入Hazelcast,以提供轻量级的处理器包和可扩展的内存存储。
python 天气雷达数据处理包。weather radar data processing。 wradlib使用Travis CI进行持续集成。这意味着一旦将新代码推送到wradlib存储库,Travis将运行一组测试。万一测试顺利进行,将在readthedocs上构建新的
ROOT 是一个模块化的科学软件工具包,它是一个数据处理框架,提供了大数据处理、统计分析、可视化和存储所需的所有功能,主要使用 C++ 编写而成,同时可集成
Vespa 是雅虎开源的针对大数据集的低延迟计算引擎。它存储和索引数据,以便在服务时间对数据进行查询、选择和处理。
Scriptis是一款支持在线写SQL、Pyspark、HiveQL等脚本,提交给Linkis执行的数据分析Web工具,且支持UDF、函数、资源管控和智能诊断等企业级特性。
PackOne 致力于实现主流大数据软件在云端的快速弹性部署。通过对云 API 和 Apache Ambari API 的联合调用,完成
Annoy 是 Spotify 开源的高维空间求近似最近邻的库,在 Spotify 使用它进行音乐推荐。最邻近搜索(Nearest Neighbor
Pothos 项目是一个完善的数据流框架,用于创建互相连接的数据处理模块拓扑图。数据处理的拓扑图可以进行图形化的设计和测试,并应用到设备网络。
Faust 是一个流处理库,将想法从 Kafka Streams 移植到 Python。 它在 Robinhood 用于构建高性能的分布式系统和实时数据管道,每天处理数十亿个事件。
OpenCTI 即 Open Cyber Threat Intelligence Platform,开放网络威胁情报平台。它的创建是为了构建、存储、组织和可视化有关网络威胁的技术和非技术信息。
HAWQ 是一个Hadoop原生大规模并行SQL分析引擎,针对的是分析性应用。和其他关系型数据库类似,接受SQL,返回结果集。
SandDance 是微软研究院( Microsoft Research )微软车库( Microsoft Garage )推出的免费数据可视化应用。SandDance 是一款以 Web
xarray 是一个开源 Python 包,它可以使处理多维数组更加简单、高效并有趣。xarray 在原始类 NumPy
Linkis是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
AthenaX 是 Uber 的内部流分析平台,旨在满足以下需求并为每一个人提供可访问的流分析能力: