Kafka

Kafka

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 1568 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 1094 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 1315 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

图解 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2354 次浏览 • 2021-04-30 08:28 • 来自相关话题


Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

基础

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。
[...
查看更多

下一代消息队列 Pulsar 到底是什么?

Andy_Lee 发表了文章 • 0 个评论 • 2507 次浏览 • 2021-01-23 17:26 • 来自相关话题


Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件,2018 年成为 Apache 的顶级项目。

在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢?

Pulsar 自从出身就不断的再和其他...
查看更多

因为一次 Kafka 宕机,我明白了 Kafka 高可用原理!

翔宇 发表了文章 • 0 个评论 • 2175 次浏览 • 2020-12-25 17:25 • 来自相关话题


Kafka宕机引发的高可用问题

问题要从一次Kafka的宕机开始说起。

笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的RabbitMQ,而是采用了设计之初就为日志处理而生的Kafka,所以我一直很好奇Kafka的高可用...
查看更多

Kafka端到端的延迟

阿娇 发表了文章 • 0 个评论 • 2377 次浏览 • 2020-10-25 14:15 • 来自相关话题


【编者的话】在大规模的使用Kafka过程中,我们通常会遇到各种各样的问题,比如说,通常会有一些大数据集群中的Job发现总有几个Task会比较慢,导致整体的任务迟迟不能完成运行,这种情况通常问题会比较复杂,想要知道具体延迟在哪里,我们需要知道在Kafka集群中哪...
查看更多

Kafka经典面试题详解

老马 发表了文章 • 0 个评论 • 4364 次浏览 • 2020-10-24 11:54 • 来自相关话题


【编者的话】无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大概用处,简单搭建和使用。我想说,虽然我们是SRE(可靠性工程师),但不论你是业务层的SRE还是基...
查看更多

Kafka都没整明白,还敢去面试?

翔宇 发表了文章 • 0 个评论 • 2317 次浏览 • 2020-09-23 21:38 • 来自相关话题


Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。

放眼当下数据为王的时代,深入了解 Apache Kafka 及其常见的部署应用,快速...
查看更多

Kafka的生产者原理及重要参数说明

aoxiang 发表了文章 • 0 个评论 • 2867 次浏览 • 2020-09-18 10:21 • 来自相关话题


上一篇说了一个案例是为了说明如何去考量一个Kafka集群的部署,算是一个参考吧,毕竟大家在不同的公司工作肯定也会有自己的一套实施方案。

这次我们再回到原理性的问题,这次会延续[第一篇]...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 1568 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 1094 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 1315 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

图解 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2354 次浏览 • 2021-04-30 08:28 • 来自相关话题


Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

基础

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。
[...
查看更多

下一代消息队列 Pulsar 到底是什么?

Andy_Lee 发表了文章 • 0 个评论 • 2507 次浏览 • 2021-01-23 17:26 • 来自相关话题


Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件,2018 年成为 Apache 的顶级项目。

在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢?

Pulsar 自从出身就不断的再和其他...
查看更多

Kafka端到端的延迟

阿娇 发表了文章 • 0 个评论 • 2377 次浏览 • 2020-10-25 14:15 • 来自相关话题


【编者的话】在大规模的使用Kafka过程中,我们通常会遇到各种各样的问题,比如说,通常会有一些大数据集群中的Job发现总有几个Task会比较慢,导致整体的任务迟迟不能完成运行,这种情况通常问题会比较复杂,想要知道具体延迟在哪里,我们需要知道在Kafka集群中哪...
查看更多

Kafka经典面试题详解

老马 发表了文章 • 0 个评论 • 4364 次浏览 • 2020-10-24 11:54 • 来自相关话题


【编者的话】无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大概用处,简单搭建和使用。我想说,虽然我们是SRE(可靠性工程师),但不论你是业务层的SRE还是基...
查看更多

Kafka都没整明白,还敢去面试?

翔宇 发表了文章 • 0 个评论 • 2317 次浏览 • 2020-09-23 21:38 • 来自相关话题


Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。

放眼当下数据为王的时代,深入了解 Apache Kafka 及其常见的部署应用,快速...
查看更多

Kafka的集群部署实践及运维相关

老马 发表了文章 • 0 个评论 • 2822 次浏览 • 2020-09-17 23:16 • 来自相关话题


上一篇 Kafka 的文章《大白话带你认识Kafka》中我们应该已经了解了一些关于基础角色和集群架构相关的问题,这时候我们应该很想了解一下如何构建生产中的Kafka集群或者一些相关的运维工具...
查看更多

大白话带你认识Kafka

aoxiang 发表了文章 • 0 个评论 • 2991 次浏览 • 2020-08-28 11:49 • 来自相关话题


Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

Kafka基础

消息系统的作用

应该大部份小伙伴都清楚,用机油装箱举个例子。

所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 1568 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 1094 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

Redis、Kafka和Pulsar消息队列对比

JetLee 发表了文章 • 0 个评论 • 1315 次浏览 • 2021-05-04 22:02 • 来自相关话题


市面上有非常多的消息中间件,RabbitMQ、Kafka、RocketMQ、Pulsar、 Redis等等,多得令人眼花缭乱。它们到底有什么异同,你应该选哪个?本文尝试通过技术演进的方式,以Redis、Kafka和Pulsar为例,逐步深入,讲讲它们架构和原理...
查看更多

图解 Kafka

guoaaaad 发表了文章 • 0 个评论 • 2354 次浏览 • 2021-04-30 08:28 • 来自相关话题


Kafka 是主流的消息流系统,其中的概念还是比较多的,下面通过图示的方式来梳理一下 Kafka 的核心概念,以便在我们的头脑中有一个清晰的认识。

基础

Kafka 是一套流处理系统,可以让后端服务轻松的相互沟通,是微服务架构中常用的组件。
[...
查看更多

下一代消息队列 Pulsar 到底是什么?

Andy_Lee 发表了文章 • 0 个评论 • 2507 次浏览 • 2021-01-23 17:26 • 来自相关话题


Pulsar 是一个由 Yahoo 公司于 2016 年开源的消息中间件,2018 年成为 Apache 的顶级项目。

在开源的业界已经有这么多消息队列中间件了,Pulsar 作为一个新势力到底有什么优点呢?

Pulsar 自从出身就不断的再和其他...
查看更多

因为一次 Kafka 宕机,我明白了 Kafka 高可用原理!

翔宇 发表了文章 • 0 个评论 • 2175 次浏览 • 2020-12-25 17:25 • 来自相关话题


Kafka宕机引发的高可用问题

问题要从一次Kafka的宕机开始说起。

笔者所在的是一家金融科技公司,但公司内部并没有采用在金融支付领域更为流行的RabbitMQ,而是采用了设计之初就为日志处理而生的Kafka,所以我一直很好奇Kafka的高可用...
查看更多

Kafka端到端的延迟

阿娇 发表了文章 • 0 个评论 • 2377 次浏览 • 2020-10-25 14:15 • 来自相关话题


【编者的话】在大规模的使用Kafka过程中,我们通常会遇到各种各样的问题,比如说,通常会有一些大数据集群中的Job发现总有几个Task会比较慢,导致整体的任务迟迟不能完成运行,这种情况通常问题会比较复杂,想要知道具体延迟在哪里,我们需要知道在Kafka集群中哪...
查看更多

Kafka经典面试题详解

老马 发表了文章 • 0 个评论 • 4364 次浏览 • 2020-10-24 11:54 • 来自相关话题


【编者的话】无论是作为面试官,还是应聘者,我都接触过很多Kafka面试题。而在最近面试了很多候选人,发现写了熟悉Kafka,但是对于Kafka相关的知识却是只知道大概用处,简单搭建和使用。我想说,虽然我们是SRE(可靠性工程师),但不论你是业务层的SRE还是基...
查看更多

Kafka都没整明白,还敢去面试?

翔宇 发表了文章 • 0 个评论 • 2317 次浏览 • 2020-09-23 21:38 • 来自相关话题


Apache Kafka 被誉为时下热门的企业级消息传递系统,其初衷是一个分布式流系统,用于发布和订阅记录流,以其快速,高可扩展性以及较完美的容错效果备受业内人士青睐。

放眼当下数据为王的时代,深入了解 Apache Kafka 及其常见的部署应用,快速...
查看更多

Kafka的生产者原理及重要参数说明

aoxiang 发表了文章 • 0 个评论 • 2867 次浏览 • 2020-09-18 10:21 • 来自相关话题


上一篇说了一个案例是为了说明如何去考量一个Kafka集群的部署,算是一个参考吧,毕竟大家在不同的公司工作肯定也会有自己的一套实施方案。

这次我们再回到原理性的问题,这次会延续[第一篇]...
查看更多

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。