为什么已有Kafka,我们最终却选择了Apache Pulsar?

  • 操作更简单:使用 Apache Kafka,任何容量扩展都需要重新平衡分区,同时还需要将被平衡的分区重新拷贝到新添加的 Broker 上。使用 Pulsar,我们可以轻松添加和删除节点,而无需重新平衡整个集群。此外,使用 Pulsar,你永远不必担心一个分区是否会超过 Broker 的物理磁盘空间;但是在 Kafka 中,一个分区的容量不能超过一台 Broker 的物理磁盘空间。
  • 无限的数据保留期:我们的一些客户甚至需要在几个月后访问他们的文档。我们希望能够将数据保存在 Pulsar 中,而不会删除它,并在以后需要时使用它。这样我们不必重新从客户或者政府部门导入数据,我们也不必担心丢失消息。当我们需要使用新的一套系统来执行一个新的业务流程时,我们不需要访问数据库,我们可以简单地将文档从消息总线中拉取出并为新的业务流程重新处理它们即可。
  • 由于 Apache Pulsar 提供了太多无法忽视的优点,我们决定实施并部署了 Apache Pulsar,在使用的过程中也对 Apache Pulsar 非常满意。我们已经将超过 30%的生产数据流迁移到 Pulsar,并计划在未来六个月内将所有数据流都迁移到 Pulsar。

    相关资源:

    使用 Apache Pulsar 作为消息队列:

    https://pulsar.incubator.apache.org/docs/latest/cookbooks/message-queue/

    如何将 Apache Kafka 应用程序迁移到 Apache Pulsar:

    https://streaml.io/blog/kafka-pulsar-migration/


    分享到:


    相關文章: