hadoop
  1. 首页
  2. hadoop

列表

【大数据】Hadoop里的“MySQL”——Hive，干货满满

【大数据】Hadoop里的“MySQL”——Hive，干货满满

Hive是一个建立在Hadoop之上的数据仓库工具，它提供了一种方便的手段来查询、分析大规模的数据集。Hive使用类似于SQL的查询语言（称为HiveQL），使得用户可以用熟悉的SQL语法进行大数据的处理，而不必深入到MapReduce的细节中。因此，Hive也常被形容为Hadoop里的“MySQL
后端 2024年09月22日
从0开始搭建分布式Hadoop+Spark+Flink+Hbase+Kafka+Hive+Flume+Zookeeper+Mysql等

从0开始搭建分布式Hadoop+Spark+Flink+Hbase+Kafka+Hive+Flume+Zookeeper+Mysql等

在大数据处理领域，Hadoop、Spark、Flink、HBase、Kafka、Hive、Flume、Zookeeper和MySQL等技术栈被广泛应用。这些技术虽然功能各异，但通过它们的有效结合，可以实现大规模数据的高效处理与分析。本文将介绍如何从零开始搭建这一套分布式系统，并给出相关代码示例。1
后端 2024年10月15日
深入解析HDFS：定义、架构、原理、应用场景及常用命令

深入解析HDFS：定义、架构、原理、应用场景及常用命令

HDFS（Hadoop分布式文件系统）是Apache Hadoop生态系统的重要组成部分，专为大规模数据存储和处理而设计。它能够以高效、可靠的方式存储海量数据，并且支持分布式计算，成为大数据处理的关键技术之一。本文将深入解析HDFS的定义、架构、原理、应用场景以及常用命令。一、HDFS定义及架构
后端 2024年09月24日
Hadoop的安装和使用-2024年08月01日

Hadoop的安装和使用-2024年08月01日

Hadoop的安装和使用Hadoop是一个开源的分布式计算框架，广泛用于大数据处理。它能够处理海量数据并以高效的方式进行存储和分析。本文旨在介绍Hadoop的安装与基本使用，适合初学者。一、安装前的准备系统要求：Hadoop可以在Linux、Windows等操作系统上运行，但通常推荐使用Li
后端 2024年10月15日
SpringBootWeb 篇-深入了解 Filter 过滤器与 Interceptor 拦截器（实现登录校验 Filter + Interceptor + JWT 令牌）

SpringBootWeb 篇-深入了解 Filter 过滤器与 Interceptor 拦截器（实现登录校验 Filter + Interceptor + JWT 令牌）

在Spring Boot应用开发中，Filter和Interceptor是两个重要的机制，它们用于请求的预处理和后处理，广泛应用于安全、日志记录、性能监控及其他功能的实现中。本文将对此进行深入探讨，并通过登录校验的例子来演示如何使用Filter、Interceptor和JWT令牌。Filter与I
前端 2024年09月26日
基于大数据爬虫+Python+数据可视化大屏的慧游数据爬虫与推荐分析系统(源码+论文+PPT+部署文档教程等)

基于大数据爬虫+Python+数据可视化大屏的慧游数据爬虫与推荐分析系统(源码+论文+PPT+部署文档教程等)

慧游数据爬虫与推荐分析系统概述随着大数据和人工智能技术的快速发展，旅游行业也越来越多地依赖数据分析来优化服务、提升用户体验。慧游数据爬虫与推荐分析系统正是基于大数据爬虫技术，通过Python语言实现的数据采集与分析工具，旨在为用户提供个性化的旅游推荐。系统架构该系统主要由以下几个部分构成：
后端 2024年09月29日
Hadoop使用javaAPI操作HDFS，maven配置等

Hadoop使用javaAPI操作HDFS，maven配置等

使用Java API操作HDFS的Maven配置与示例Hadoop是一个流行的开源框架，用于大规模数据的存储和处理。其中，Hadoop分布式文件系统(HDFS)是一个核心组件，负责存储大量数据文件。在Java中，我们可以通过Hadoop的Java API来操作HDFS。下面将介绍如何进行Maven
后端 2024年10月19日