kafka
  1. 首页
  2. kafka

列表

大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset

大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset

Spark Streaming Kafka Offset管理详解：Scala自定义Offset在大数据处理中，Kafka和Spark Streaming是两项非常重要的技术。Kafka作为高吞吐量的消息队列，广泛应用于实时数据传输，而Spark Streaming则用于实时数据处理。在他们的组合使
后端 2024年10月01日
kafka配置多个消费者groupid kafka多个消费者消费同一个partition（java）

kafka配置多个消费者groupid kafka多个消费者消费同一个partition（java）

在Apache Kafka中，消费者组（consumer group）是一个重要的概念。消费者组可以让多个消费者共同消费同一个主题（topic）中的消息。每个消费者组可以拥有多个消费者，但在同一个消费者组内，每个分区（partition）只能被一个消费者消费。为了实现多个消费者消费同一个分区，我们需
后端 2024年09月23日
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计

大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计

使用Apache Druid进行订单统计的案例实战在现代的数据分析和实时数据处理场景中，Apache Druid作为一个高性能的实时分析数据库，越来越受到欢迎。它的高吞吐量、快速查询能力与灵活的数据建模，非常适合用于时序数据分析。本文将通过一个实际案例，使用Scala和Kafka，结合Apache
后端 2024年10月07日
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构

大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构

大数据：Flink 基本概述概述Apache Flink 是一个开源的流处理框架，能够处理大规模的数据流。它最初由德国柏林工业大学开发，并于2014年成为Apache顶级项目。Flink 最主要的特点是提供了低延迟、高吞吐量的实时数据处理能力，同时也支持批量数据处理。其设计理念是优雅地处理复杂的
后端 2024年10月04日
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案： jconsole、Kafka Eagle

大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案： jconsole、Kafka Eagle

Kafka 集群监控方案Kafka 是一个高吞吐量、分布式的消息队列系统，广泛应用于大数据处理和实时数据流处理。在生产环境中，监控 Kafka 集群的状态和健康状况非常重要。良好的监控方案能够帮助我们及时发现和解决问题，从而保证系统的稳定性和可靠性。本文将探讨如何通过 Java API 获取 Ka
后端 2024年09月24日
大数据-78 Kafka 集群模式 集群的应用场景与Kafka集群的搭建 三台云服务器

大数据-78 Kafka 集群模式 集群的应用场景与Kafka集群的搭建 三台云服务器

Kafka集群模式及其应用场景Kafka是一种高吞吐量的分布式消息队列系统，广泛应用于大数据实时处理和数据传输的场景。在现代企业中，Kafka的集群模式通过将多个Kafka broker连接在一起，提供了更高的可用性和扩展性。以下是关于Kafka集群的应用场景及其搭建过程的详细说明。应用场景
后端 2024年09月24日
Kafka是什么，以及如何使用SpringBoot对接Kafka

Kafka是什么，以及如何使用SpringBoot对接Kafka

Kafka是一个分布式流平台，是用于构建实时数据管道和流式应用程序的开源软件。Kafka最初由LinkedIn开发，并后来成为Apache软件基金会的一部分。它的核心功能包括消息发布和订阅、消息存储以及实现流处理等。Kafka能够处理每秒数百万条消息，广泛应用于日志收集、数据集成、流处理等场景。K
后端 2024年09月25日