Confluent宣布企業(yè)版Kafka支持多數(shù)據(jù)中心復(fù)制功能

責(zé)任編輯:editor006

作者: Srini Penchikala

2016-10-12 16:51:06

摘自:INFOQ

多數(shù)據(jù)中心復(fù)制(Multi-datacenter replication):借助多數(shù)據(jù)中心(MDC)復(fù)制功能能夠?qū)崿F(xiàn)安全的多集群副本,并且能夠通過(guò)中心化的配置維護(hù)這些位于不同地理位置的集群。

最新的Confluent企業(yè)版支持多數(shù)據(jù)中心復(fù)制、自動(dòng)數(shù)據(jù)平衡和云遷移功能。Confluent是基于Apache Kafka的流平臺(tái)提供商,它宣布了Confluent企業(yè)版的新特性,這些特性有助于構(gòu)建流數(shù)據(jù)管道和開(kāi)發(fā)流處理應(yīng)用。

新的版本將會(huì)在本月底發(fā)布,其中包括了Confluent的兩個(gè)版本:

Confluent平臺(tái):這是開(kāi)源版本。它包括了Apache Kafka以及針對(duì)C、C++、Python和Go編程語(yǔ)言的客戶端,它還打包了針對(duì)JDBC、ElasticSearch和HDFS的連接器,一個(gè)用于管理Kafka主題元數(shù)據(jù)的模式注冊(cè)表(Schema Registry)以及與Web應(yīng)用進(jìn)行集成的REST代理; Confluent企業(yè)版:這是針對(duì)企業(yè)提供的版本,包含了開(kāi)發(fā)企業(yè)級(jí)流應(yīng)用的額外功能。它包括了監(jiān)控事件流的Confluent控制中心(Confluent Control Center)、MDC復(fù)制以及自動(dòng)化的數(shù)據(jù)平衡功能。

新的數(shù)據(jù)復(fù)制和數(shù)據(jù)平衡功能有助于更好地管理Kafka集群。

多數(shù)據(jù)中心復(fù)制(Multi-datacenter replication):借助多數(shù)據(jù)中心(MDC)復(fù)制功能能夠?qū)崿F(xiàn)安全的多集群副本,并且能夠通過(guò)中心化的配置維護(hù)這些位于不同地理位置的集群。每個(gè)數(shù)據(jù)中心的Kafka集群是同步的,所以不同數(shù)據(jù)中心上的應(yīng)用和配置能夠保持同步。

它提供了持久化的跨數(shù)據(jù)中心復(fù)制功能并且與安全進(jìn)行集成,能夠在Apache Kafka中加密和認(rèn)證復(fù)制的數(shù)據(jù)。我們可以針對(duì)整個(gè)集群或特定的主題子集進(jìn)行復(fù)制操作。

MDC副本自帶了完整的安全支持,包括跨數(shù)據(jù)中心對(duì)副本數(shù)據(jù)進(jìn)行自動(dòng)化的訪問(wèn)控制。認(rèn)證采用的是SASL機(jī)制,支持與Kerberos和Active Directory集成。授權(quán)能夠基于主題進(jìn)行MDC的流復(fù)制。加密是基于SSL和Mirror Maker的。

自動(dòng)化數(shù)據(jù)平衡:自動(dòng)化數(shù)據(jù)平衡特性允許從Kafka集群中添加和移除節(jié)點(diǎn),因此我們甚至可以創(chuàng)建跨集群的工作負(fù)載。它會(huì)監(jiān)控集群的統(tǒng)計(jì)數(shù)據(jù),比如節(jié)點(diǎn)的數(shù)量、分區(qū)(partition)的大小、分區(qū)的數(shù)量以及集群中l(wèi)eader的數(shù)量,并且會(huì)采用機(jī)架感知(rack aware)的算法來(lái)重平衡跨集群的分區(qū)。

云遷移: Confluent企業(yè)版產(chǎn)品對(duì)云功能的支持有助于將數(shù)據(jù)流創(chuàng)建到云端,并且能夠?qū)⒃萍号c內(nèi)部的Kafka集群進(jìn)行同步?;贑onfluent的復(fù)制功能,能夠允許組織從某種云策略轉(zhuǎn)換為將來(lái)的其他策略。

如果你對(duì)新特性感興趣的話,可以注冊(cè)即將開(kāi)始的webinar或者最近上線的免費(fèi)在線系列演講。

查看英文原文:Confluent Announces Kafka for the Enterprise with Multi-Datacenter Replication

鏈接已復(fù)制,快去分享吧

企業(yè)網(wǎng)版權(quán)所有?2010-2024 京ICP備09108050號(hào)-6京公網(wǎng)安備 11010502049343號(hào)