flink入门程序(一)

05-01 1223阅读

Flink中提供了3个组件,包括DataSource、Transformation和DataSink。

flink入门程序(一)
(图片来源网络,侵删)

DataSource:表示数据源组件,主要用来接收数据,目前官网提

供了readTextFile、socketTextStream、fromCollection以及一些第三方的Source。

Transformation:表示算子,主要用来对数据进行处理,比如Map、FlatMap、Filter、Reduce、Aggregation等。

DataSink:表示输出组件,主要用来把计算的结果输出到其他存

储介质中,比如writeAsText以及Kafka、Redis、Elasticsearch

等第三方Sink组件。

因此,想要组装一个Flink Job,至少需要这3个组件。

以下来看一个flink的入门程序

首先项目里面引入依赖

        
        
            org.apache.flink
            flink-java
            1.13.1
        
        
            org.apache.flink
            flink-streaming-java_2.11
            1.13.1
        
        
            org.apache.flink
            flink-clients_2.11
            1.13.1
        

在这里我使用的是1.13.1版本

开发 Flink 程序有固定的流程

(1)获得 一个执行环境

(2)加载/创建初始化数据

(3)指定操作数据的 Transaction算子

(4)指定计算好的数据的存放位置

(5)调用 execute()触发执行程序

入门案例:flink从文件中读取数据,并统计word的个数,具体代码如下

    public static void main(String[] args) throws Exception{
        //获得执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //加载或创建具体数据源
        DataStream dataStream =
                 env.readTextFile("C:\\d_disk\\zq_project\\interesting\\src\\main\\resources\\22.txt")
                .flatMap(new Splitter())
                .keyBy(value -> value.f0) //按照元组里面的第一个元素分组
                //.window(TumblingProcessingTimeWindows.of(Time.seconds(5))) //时间窗口
                .sum(1);//按照元组里面的第二个元素求和
        dataStream.print();
        env.execute("wordCount");
    }
    public static class Splitter implements FlatMapFunction {
        @Override
        public void flatMap(String sentence, Collector out) throws Exception {
            //根据空格切割行文本
            for (String word: sentence.split(" ")) {
                //把每个切割后的word放到一个二维元组里面,并计数为1
                out.collect(new Tuple2(word, 1));
            }
        }
    }

txt文本内容如下

apple iphone
orange text
apple orange
dog dog cat pig

控制台打印效果如下

1> (cat,1)
5> (orange,1)
7> (apple,1)
2> (text,1)
3> (dog,1)
3> (dog,2)
3> (pig,1)
5> (orange,2)
6> (iphone,1)
7> (apple,2)
VPS购买请点击我

文章版权声明:除非注明,否则均为主机测评原创文章,转载或复制请以超链接形式并注明出处。

目录[+]