Kafka

Kafka

石墨文档 Websocket 百万长连接技术实践

尼古拉斯 发表了文章 • 0 个评论 • 4042 次浏览 • 2021-11-26 15:04 • 来自相关话题


引言

在石墨文档的部分业务中,例如文档分享、评论、幻灯片演示和文档表格跟随等场景,涉及到多客户端数据同步和服务端批量数据推送的需求,一般的 HTTP 协议无法满足服务端主动 Push 数据的场景,因此选择采用 WebSocket 方案进行业务开发。

...
查看更多

一篇文章彻底搞懂 Kafka 的存储架构

大卫 发表了文章 • 0 个评论 • 7601 次浏览 • 2021-10-29 22:34 • 来自相关话题


今天我就来聊聊 Kafka 的存储系统架构设计,说到存储系统,大家可能对 MySQL 比较熟悉,也知道 MySQL 是基于 B+ tree 来作为它的索引数据结构。

**Kafka 又是基于什么机制来存储?为什么要设计成这样?它解决了什么问题?又是如何解决的...
查看更多

Kafka 3.0重磅发布,都更新了些啥?

Andy_Lee 发表了文章 • 0 个评论 • 4599 次浏览 • 2021-09-24 19:47 • 来自相关话题


【编者的话】Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。

Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。

Kafka 具有...
查看更多

Kafka原理以及分区分配策略剖析

阿娇 发表了文章 • 0 个评论 • 3221 次浏览 • 2021-09-24 12:35 • 来自相关话题


简介

Apache Kafka是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列(Message Queue))。

流处理平台有以下3个特性:
  • 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
  • 可以...
查看更多

一篇文章把RabbitMQ、RocketMQ、Kafka三元归一

guoaaaad 发表了文章 • 0 个评论 • 9550 次浏览 • 2021-09-22 15:19 • 来自相关话题


三大主流MQ的组织结构

RabbitMQ

RabbitMQ各组件的功能
  • Broker:一个RabbitMQ实例就是一个Broker
  • Virtual Host:虚拟主机。**相当于MySQL的Data...
查看更多

浅谈 RocketMQ、Kafka、Pulsar 的事务消息

aoxiang 发表了文章 • 0 个评论 • 6867 次浏览 • 2021-09-15 21:02 • 来自相关话题


事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不...
查看更多

避坑指南:Kafka集群快速扩容的方案总结

玻璃樽 发表了文章 • 0 个评论 • 4336 次浏览 • 2021-08-21 17:39 • 来自相关话题


【编者的话】熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出现迁移不动的情况。同时...
查看更多

深入理解零拷贝技术

翔宇 发表了文章 • 0 个评论 • 4719 次浏览 • 2021-08-06 10:58 • 来自相关话题



注意事项:除了 Direct I/O,与磁盘相关的文件读写操作都有使用到 page cache 技术。

数据的四次拷贝与四次上下文切换

很多应用程序在面临客户端请求时,可以等价为进行如下的系统调用:
  1. File.r...
查看更多

2万字长文搞懂Kafka

guoaaaad 发表了文章 • 0 个评论 • 5626 次浏览 • 2021-07-06 12:10 • 来自相关话题


【编者的话】之前学过一点点Kakfa,不过不是系统的学习,这次学习还是参照视频来的,主要是学习Kafka的使用以及整体的知识,以及面试的相关知识点。

Kafka简介

Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 4340 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

一篇文章彻底搞懂 Kafka 的存储架构

大卫 发表了文章 • 0 个评论 • 7601 次浏览 • 2021-10-29 22:34 • 来自相关话题


今天我就来聊聊 Kafka 的存储系统架构设计,说到存储系统,大家可能对 MySQL 比较熟悉,也知道 MySQL 是基于 B+ tree 来作为它的索引数据结构。

**Kafka 又是基于什么机制来存储?为什么要设计成这样?它解决了什么问题?又是如何解决的...
查看更多

Kafka 3.0重磅发布,都更新了些啥?

Andy_Lee 发表了文章 • 0 个评论 • 4599 次浏览 • 2021-09-24 19:47 • 来自相关话题


【编者的话】Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。

Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。

Kafka 具有...
查看更多

Kafka原理以及分区分配策略剖析

阿娇 发表了文章 • 0 个评论 • 3221 次浏览 • 2021-09-24 12:35 • 来自相关话题


简介

Apache Kafka是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列(Message Queue))。

流处理平台有以下3个特性:
  • 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
  • 可以...
查看更多

一篇文章把RabbitMQ、RocketMQ、Kafka三元归一

guoaaaad 发表了文章 • 0 个评论 • 9550 次浏览 • 2021-09-22 15:19 • 来自相关话题


三大主流MQ的组织结构

RabbitMQ

RabbitMQ各组件的功能
  • Broker:一个RabbitMQ实例就是一个Broker
  • Virtual Host:虚拟主机。**相当于MySQL的Data...
查看更多

浅谈 RocketMQ、Kafka、Pulsar 的事务消息

aoxiang 发表了文章 • 0 个评论 • 6867 次浏览 • 2021-09-15 21:02 • 来自相关话题


事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不...
查看更多

避坑指南:Kafka集群快速扩容的方案总结

玻璃樽 发表了文章 • 0 个评论 • 4336 次浏览 • 2021-08-21 17:39 • 来自相关话题


【编者的话】熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出现迁移不动的情况。同时...
查看更多

深入理解零拷贝技术

翔宇 发表了文章 • 0 个评论 • 4719 次浏览 • 2021-08-06 10:58 • 来自相关话题



注意事项:除了 Direct I/O,与磁盘相关的文件读写操作都有使用到 page cache 技术。

数据的四次拷贝与四次上下文切换

很多应用程序在面临客户端请求时,可以等价为进行如下的系统调用:
  1. File.r...
查看更多

2万字长文搞懂Kafka

guoaaaad 发表了文章 • 0 个评论 • 5626 次浏览 • 2021-07-06 12:10 • 来自相关话题


【编者的话】之前学过一点点Kakfa,不过不是系统的学习,这次学习还是参照视频来的,主要是学习Kafka的使用以及整体的知识,以及面试的相关知识点。

Kafka简介

Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 4340 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

零拷贝及一些引申内容

老马 发表了文章 • 0 个评论 • 3368 次浏览 • 2021-05-09 23:13 • 来自相关话题


这个属于高频面试题的一个,很可能是作为 Kafka 的延伸出来,之前一直没有详细的去总结一下。被许多读者问过,同事也问过,在当时理解比较模糊的情况下我回答的并不好。现在这几天我可能刷其它作者的内容比较多,在看了的部分相关内容后,现在再回过头去提一下子,应该算是...
查看更多

石墨文档 Websocket 百万长连接技术实践

尼古拉斯 发表了文章 • 0 个评论 • 4042 次浏览 • 2021-11-26 15:04 • 来自相关话题


引言

在石墨文档的部分业务中,例如文档分享、评论、幻灯片演示和文档表格跟随等场景,涉及到多客户端数据同步和服务端批量数据推送的需求,一般的 HTTP 协议无法满足服务端主动 Push 数据的场景,因此选择采用 WebSocket 方案进行业务开发。

...
查看更多

一篇文章彻底搞懂 Kafka 的存储架构

大卫 发表了文章 • 0 个评论 • 7601 次浏览 • 2021-10-29 22:34 • 来自相关话题


今天我就来聊聊 Kafka 的存储系统架构设计,说到存储系统,大家可能对 MySQL 比较熟悉,也知道 MySQL 是基于 B+ tree 来作为它的索引数据结构。

**Kafka 又是基于什么机制来存储?为什么要设计成这样?它解决了什么问题?又是如何解决的...
查看更多

Kafka 3.0重磅发布,都更新了些啥?

Andy_Lee 发表了文章 • 0 个评论 • 4599 次浏览 • 2021-09-24 19:47 • 来自相关话题


【编者的话】Apache Kafka 是一个分布式开源流平台,被广泛应用于各大互联网公司。

Kafka 设计之初被用于消息队列,自 2011 年由 LinkedIn 开源以来,Kafka 迅速从消息队列演变为成熟的事件流处理平台。

Kafka 具有...
查看更多

Kafka原理以及分区分配策略剖析

阿娇 发表了文章 • 0 个评论 • 3221 次浏览 • 2021-09-24 12:35 • 来自相关话题


简介

Apache Kafka是一个分布式的流处理平台(分布式的基于发布/订阅模式的消息队列(Message Queue))。

流处理平台有以下3个特性:
  • 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。
  • 可以...
查看更多

一篇文章把RabbitMQ、RocketMQ、Kafka三元归一

guoaaaad 发表了文章 • 0 个评论 • 9550 次浏览 • 2021-09-22 15:19 • 来自相关话题


三大主流MQ的组织结构

RabbitMQ

RabbitMQ各组件的功能
  • Broker:一个RabbitMQ实例就是一个Broker
  • Virtual Host:虚拟主机。**相当于MySQL的Data...
查看更多

浅谈 RocketMQ、Kafka、Pulsar 的事务消息

aoxiang 发表了文章 • 0 个评论 • 6867 次浏览 • 2021-09-15 21:02 • 来自相关话题


事务是一个程序执行单元,里面的所有操作要么全部执行成功,要么全部执行失败。RocketMQ、Kafka和Pulsar都是当今业界应用十分广泛的开源消息队列(MQ)组件,笔者在工作中遇到关于MQ选型相关的内容,了解到关于“事务消息”这个概念在不同的MQ组件里有不...
查看更多

避坑指南:Kafka集群快速扩容的方案总结

玻璃樽 发表了文章 • 0 个评论 • 4336 次浏览 • 2021-08-21 17:39 • 来自相关话题


【编者的话】熟悉Apache Kafka的同学都知道,当Kafka集群负载到达瓶颈或者出现突发流量需要紧急扩容时,新加入集群的节点需要经过数据迁移才能均分集群压力。而数据迁移会因为数据堆积量,节点负载等因素的影响,导致迁移时间较长,甚至出现迁移不动的情况。同时...
查看更多

深入理解零拷贝技术

翔宇 发表了文章 • 0 个评论 • 4719 次浏览 • 2021-08-06 10:58 • 来自相关话题



注意事项:除了 Direct I/O,与磁盘相关的文件读写操作都有使用到 page cache 技术。

数据的四次拷贝与四次上下文切换

很多应用程序在面临客户端请求时,可以等价为进行如下的系统调用:
  1. File.r...
查看更多

2万字长文搞懂Kafka

guoaaaad 发表了文章 • 0 个评论 • 5626 次浏览 • 2021-07-06 12:10 • 来自相关话题


【编者的话】之前学过一点点Kakfa,不过不是系统的学习,这次学习还是参照视频来的,主要是学习Kafka的使用以及整体的知识,以及面试的相关知识点。

Kafka简介

Kafka是一种消息队列,主要用来处理大量数据状态下的消息队列,一般用来做日志的处理。...
查看更多

一文入门 Kafka

guoaaaad 发表了文章 • 0 个评论 • 4340 次浏览 • 2021-05-28 20:33 • 来自相关话题


Kafka 由 LinkedIn 公司推出的一个高吞吐的分布式消息系统,通俗的说就是一个基于发布和订阅的消息队列,官网地址:https://kafka.apache.org/intro

应用场景

  • 异步解构:在上下游没有强依赖的业务关系或...
查看更多

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。