Flink-02 Flink Java 3分钟上手 Stream SingleOutputStreamOpe ExecutionEnvironment DataSet FlatMapFunction

Apache Flink 是一个强大的流处理框架，能够处理实时数据流和批处理数据。在这一篇文章中，我们将以 Java 语言为例，深入讲解如何在 Flink 中使用 ExecutionEnvironment 和 FlatMapFunction 进行数据流处理。我们将逐步完成一个简单的应用，以帮助开发者更轻松地上手 Flink。

创建 Flink Java 项目

首先，确保你已经在本地安装了 Maven 和 JDK。然后可以创建一个 Maven 项目，并在 pom.xml 中添加 Flink 的依赖：

<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-java-8</artifactId>
        <version>1.15.0</version> <!-- 请根据实际情况调整版本 -->
    </dependency>
</dependencies>

Flink 程序结构

Flink 程序的基本结构包括以下几个步骤： 1. 设置执行环境 2. 创建数据源 3. 数据转换 4. 输出结果 5. 执行程序

示例代码

下面我们将使用 FlatMapFunction 对输入的数据进行平坦化处理，示例代码如下：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class FlinkFlatMapExample {
    public static void main(String[] args) throws Exception {
        // 1. 创建执行环境
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2. 创建数据源
        DataStream<String> text = env.fromElements(
                "Hello Flink",
                "Apache Flink is a stream processing framework",
                "FlatMap is a powerful transformation"
        );

        // 3. 数据转换使用 FlatMapFunction
        DataStream<String> words = text.flatMap(new Tokenizer());

        // 4. 输出结果
        words.print();

        // 5. 执行程序
        env.execute("Flink FlatMap Example");
    }

    // 定义平坦化函数
    public static final class Tokenizer implements FlatMapFunction<String, String> {
        @Override
        public void flatMap(String value, Collector<String> out) {
            // 使用空格分割字符串，提取单词
            String[] words = value.toLowerCase().split("\\W+");
            // 收集每个单词
            for (String word : words) {
                if (word.length() > 0) {
                    out.collect(word);
                }
            }
        }
    }
}

代码解析

1. 创建执行环境：通过 StreamExecutionEnvironment 获取执行环境，这个环境用于设置数据流处理的上下文。

2. 创建数据源：我们使用 fromElements 方法创建了一些示例字符串数据。这是我们要进行平坦化处理的原始数据。

3. FlatMap 转换：我们定义了一个内部类 Tokenizer，实现了 FlatMapFunction 接口。在 flatMap 方法中，我们将每一行字符串分割为单词，并通过 Collector 收集这些单词。此操作的目的是将每一行的多个单词“扁平化”成单独的单词流。

4. 输出结果：使用 print() 方法将结果输出到控制台。

5. 执行程序：调用 execute 方法开始执行 Flink 作业，在程序中必须要有一行代码触发执行。

总结

通过以上代码示例，我们展示了如何使用 Apache Flink 的 ExecutionEnvironment 和 FlatMapFunction 对数据进行处理。Flink 以其高效的处理能力和丰富的 API，成为流处理和批处理领域的优秀选择。希望本文对你快速上手 Flink 提供了帮助，可以开始构建更复杂的流处理应用。