您当前的位置: 首页 >  大数据

wespten

暂无认证

  • 2浏览

    0关注

    899博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

大数据技术之Debezium

wespten 发布时间:2022-10-04 15:25:12 ,浏览量:2

Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入,更新和删除操作。Debezium依赖于kafka上,所以在安装Debezium时需要提前安装好Zookeeper,Kafka,以及Kakfa Connect。

一、Kafka Connect

Kafka Connect用于在Apache Kafka和其他系统之间可扩展且可靠地数据流传输数据的工具,连接器可以轻松地将大量数据导入或导出。

Kafka Connect当前支持两种模式,standalone和distributed两种模式。standalone主要用于入门测试,所以我们来实现distributed模式。

官网地址:https://kafka.apache.org/documentation.html#connect

Distributed,分布式模式可以在处理工作中自动平衡,允许动态扩展或缩减,并在活动任务以及配置和偏移量提交数据中提供容错能力。和standalone模式非常类似,最大区别在于启动的类和配置参数,参数决定了Kafka Connect流程如果存储偏移量,如何分配工作,在分布式模

关注
打赏
1665965058
查看更多评论
立即登录/注册

微信扫码登录

0.0490s