rocketmq-connector
  • Message Connector 简介
  • 架构设计
    • Woker
    • Runtime
    • Connector
    • Routing Task
    • 消费位点同步
    • 消息路由监控
  • Quick Start
    • 前期准备
      • RocketMQ单机环境
      • RocketMQ集群搭建
    • RocketMQ Runtime
    • File Connector
  • RocketMQ Connect
    • RocketMQ Connect 简介
    • 应用场景
    • RocketMQ Runtime
      • 启动流程
      • Runtime 参数配置
      • RESTful 接口
      • Connector生命周期
      • 负载均衡
    • RocketMQ Console
      • Console 简介
      • 安装和使用
      • 使用指南
  • RocketMQ Connector
    • RocketMQ Replicator
      • Replicator简介
      • Replicator快速开始
      • Replicator 参数配置
    • Connect-Mongo
    • Connect-MySQL
    • Connect-Redis
  • 开发者中心
    • RELEASE NOTE
    • mqadmin 操作指南
    • 最佳实践
    • 工业实践
      • connector-mongo实践
  • 贡献者指北
    • 参与告知
    • 文档贡献指北
    • 本地调试向导
    • 一个简单Connector的实现
    • Contributor二三言
Powered by GitBook
On this page
  • OpenMessaging Runtime
  • OpenMessaging 与消息队列的关系
  • 1. Runtime 链接MQ集群的 mqDriverUrl可配置化
  • 2. 利用Source/Target的RocketMQ集群保存待复制同步的中间数据

Was this helpful?

  1. 架构设计

Runtime

OpenMessaging Runtime 的概念模型与设计

PreviousWokerNextConnector

Last updated 5 years ago

Was this helpful?

OpenMessaging Runtime

OpenMessaging Runtime为其上运行的各种类型Connector及其关联的Task任务提供统一的运行时环境(包括负载均衡,实例间的调度,配置管理以及集群管理)。 因此,在RocketMQ的消息路由的特性设计与实现中,依然不会将涉及消息复制和同步的逻辑渗透至OpenMessaging Runtime层,该层仍然是一个具体Connector实现无关且高度抽象统一的中间层。这里,只需要将runtime 组件进行一定的参数可配置化改造即可。

OpenMessaging Connector Runtime 模型

OpenMessaging 与消息队列的关系

OpenMessaging 是一套消息中间件领域的规范。OpenMessaging Connect是Connect方面的api,OpenMessaging 还有其他各种消息中间件邻域的规范,例如mq客户端规范,存储规范,实现OpenMessaging 规范可以做到厂商无关。

**Connect规范的具体实现,实现这套规范的好处就是,只要是同样实现了OpenMessaging Connect的Source Connector或者Sink Connector都可以被RocketMQ Connect等 Runtime加载运行。

1. Runtime 链接MQ集群的 mqDriverUrl可配置化

对于 OpenMessaging Runtime来说,其链接的MQ集群逻辑上依然是三个,可以通过以下的配置参数来加载mqDriverUrl的驱动地址,这里举例来说 mqDriverUrl如下:

配置文件
a.source.rocketmq.server=xxx.xx:9876
b.runtime.rocketmq.server=xxx.xx:9876
c.sink.rocketmq.server=xxx.xx:9876

2. 利用Source/Target的RocketMQ集群保存待复制同步的中间数据

为了减少第三方的MQ集群部署增加的复杂性,这里可以借助 Source或者Target的RocketMQ集群来保存待复制同步的中间数据,这样的设计既可以实现SourceTask和Sink Task的解耦,同样可以保证Runtime组件的独立性。

缺点

在中间多了一次消息数据存储至MQ集群并拉取再转发至Target MQ集群