Apache Geode 数据管理平台

程序名称：Apache Geode

授权协议: Apache

操作系统: 跨平台

开发语言: Java

Apache Geode 介绍

概览

Apache Geode 是一个数据管理平台，提供实时的、一致的、贯穿整个云架构地访问数据关键型应用.

Geode 池化了服务器上的内存, CPU, 网络资源, 和本地磁盘，跨多个进程来管理应用对象和应用行为. 它使用了动态数据复制和分区技术来实现高可用,
高性能, 高可扩展性, 和容错. 另外, 对于一个分布式数据容器, Apache Geode 是一个基于内存的数据管理系统,
提供了可靠的异步事件通知和可靠的消息投递.

Apache Geode 是一个相当成熟, 强健的技术, 最初由GemStone Systems 公司开发(位于美国俄勒冈州的比弗顿市). 商标为
GemFire™, 此项技术初期被广泛应用在金融领域, 用于华尔街交易平台,作为事务性, 低延时的数据引擎. 那么今天Apache Geode
有超过600家大中型企业级用户, 主要是必须满足低延时和24x7 高可靠要求的，高可扩展的关键业务应用系统.

此工程目前在ASF下正处于孵化阶段, 通过孵化器来提供赞助. 孵化对于所有新加入的工程很重要,直到基础设施, 通信, 决策流程足够稳定,和其他成功的
ASF工程一致. 当孵化器状态完成或代码稳定时, 它提示此工程完全由 ASF 承认.

主要概念和模块

缓存 是一个抽象的概念, 在一个 Geode 分布式系统中用于描述一个节点.

在每个缓存中, 你定义数据 regions. 数据 regions 类似于传统关系型数据库中的’表’的概念, 以分布式的方式来管理数据 ,
表现为名/值对儿形式. 在分布式系统的每个缓存成员中, 一个 复制 region 保存数据的拷贝. 一个 分区 region 跨缓存成员来同步数据.
在系统配置后, 客户端应用能够访问regions 中的分布式数据, 而不需要知道系统整体架构的知识. 你能够定义监听器来接收通知, 当数据发生变化时,
同时你也能够定义超时标准来删除在一个 region 中的废弃掉的数据.

Locators 提供了发现和负载均衡服务. 你配置带有 locator 服务列表的客户端, 同时 locators 维护一个成员服务器的动态列表.
默认情况下, Geode 客户端和服务器使用端口 40404 和多播来互相发现.

Geode 包含了如下的特性:

  • 结合冗余, 复制, 和 “shared nothing” 的一致性架构来交付 ‘自动防故障’ 的可靠性和高性能.

  • 水平扩展到数千个缓存成员, 具有多种缓存拓扑结构来满足不同的企业级部署需求. 缓存能够跨多台机器进行分布.

  • 异步和同步缓存更新传播.

  • Delta 传播只分发新版本和旧版本的变化量 (delta) , 而不是整个对象, 从而可以节省大量的网络开销.

  • 通过经过优化的, 低延时的通信层进行可靠的异步事件通知, 高保障的消息投递.

  • 在没有额外硬件的辅助下, 应用可以加速4 到 40,000 倍.

  • 数据感知和实时BI. 当你查询时, 如果数据变化了, 你能够立刻在系统中看见数据的变化.

  • 集成 Spring 框架来加速和简化高可扩展、高并发和事务型企业级应用的开发复杂度.

  • JTA 兼容的事务支持.

  • 集群的配置可以写到文件中和导出到其他集群中.

  • 通过HTTP做 远程集群管理.

  • 基于REST应用开发的REST APIs.

  • 滚动升级是可行的, 但是需要服从新特性的限制问题.

Apache Geode 官网

http://geode.apache.org/

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

大数据处理

相关推荐

RedHadoop
RedHadoop 是一个持续优化的企业级Hadoop基础软件平台,让Hadoop大数据更简单! RedHadoop大数据工场企业版是RedHadoop公司第一款产品，简称BWE(RedHadoop BigData Works
Heka
来自 Mozilla 的 Heka 是一个用来收集和整理来自多个不同源的数据的工具，通过对数据进行收集和整理后发送结果报告到不同的目标用于进一步分析。
Apache HBase HFileHLogFile
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC
Mincemeat-node
Mincemeat-node 是使用Node.js实现的极简MapReduce框架，可以快速的部署投入工作，免去Hadoop繁琐的配置，享受随心大数据。
REEF
REEF 是微软开发的一个大数据框架。 REEF运行在YARN的上层。YARN是新一代Hadoop资源管理器，通过YARN，用户可以运行和管理同一个物理集群机上的多种作业，例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个
Scribe
Scribe旨在帮助Facebook处理服务器上的大量数据，正像Scribe网页所述“如经常访问Facebook，请使用Scribe。”具体而言，Scribe就是一台服务器，实时收集用网站日志信息。
HTools
HTools是一款专业的Hadoop管理工具，不管您是非专业IT人士，还是多年经验的技术人员，本工具都会为您提供优质的管理服务和轻松的操作过程，
Hive HA
hive让大数据飞了起来，不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive。
MapReduce
MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念”Map（映射）”和”Reduce（化简）”，和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。
Suro
Netflix 开源了一个叫做Suro的工具，它能够在数据被发送到不同的数据平台（如Hadoop、Elasticsearch）之前，收集不同应用服务器上的事件数据，这项创新技术具备成为大数据主流实践的潜力
Apache Kylin
Apache Kylin 是一个开源的分布式的 OLAP 分析引擎，来自 eBay 公司开发，基于 Hadoop 提供 SQL 接口和 OLAP 接口，支持
Hadoop
Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop
Themis
Themis 是小米公司开发的，为 HBase 提供了跨行/跨表的事务处理，基于 Google 的 percolator.
TDW
腾讯分布式数据仓库项目，在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法，支持PB级的存储和TB级的计算等。
Spring XD
Spring XD 是一个统一的，分布式，可扩展的系统用于数据摄取，实时分析，批量处理和数据导出。该项目的目标是简化大数据应用的开发。
Vertica
HP Vertica 基于列存储，相比传统面向行存储的数据库具有巨大的优势。同时 Vertica 支持 MPP（massively parallel
S3mper
S3mper 是通过一致的，二级索引对亚马逊 S3 索引做额外的一致性检查。 S3mper 利用面向方面编程和AspectJ 实现来引导Hadoop 文件系统实现（主要是实现
Crate
Crate Data 是一个开源的大规模的可伸缩的数据存储系统，无需任何系统管理需求。提供强大的搜索功能。用于存储各种表格数据、非结构化数据和二进制对象。并可通过 SQL
PrestoDB
Presto是Facebook最新研发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是Hive 的 10 倍以上。
Apache Hadoop YARN
YARN是新一代Hadoop资源管理器，通过YARN，用户可以运行和管理同一个物理集群机上的多种作业，例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个组织管理的系统数目，而且可以对相同的数据进行不同类型的数
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot