idea搭建flink环境

摘要:
之后,您可以添加以下代码来测试Java和scala之间的相互调用。

1.打开idea,选择new project,跳转至如下界面:

idea搭建flink环境第1张

2.单击next 下一步,输入项目名称,单击finish完成

idea搭建flink环境第2张

3.在项目main项目下新建scala目录,并新建文件,文件名称为 hello.scala

 idea搭建flink环境第3张

4.新建文件之后,进入helllo.scala文件,会弹出添加sdk,添加自己版本的scala就可以。完成之后可以新建添加如下代码,测试Java和scala之间的互相调用。

idea搭建flink环境第4张

 idea搭建flink环境第5张

5. 在maven项目下引入如下配置:

<properties>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
    <encoding>UTF-8</encoding>
    <scala.version>2.11.12</scala.version>
    <scala.binary.version>2.11</scala.binary.version>
    <flink.version>1.6.1</flink.version>
</properties>
<dependencies>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
    <dependency>
        <groupId>org.apache.flink</groupId>
        <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
        <version>${flink.version}</version>
        <scope>provided</scope>
    </dependency>
</dependencies>

6.新建一个flink测试:

package it.bigdata.flink.study

import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment

import org.apache.flink.streaming.api.scala._

//流处理 word count
object SteamWordCount {
  def main(args: Array[String]): Unit = {
    //创建流处理的执行环境
    val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
    env.setParallelism(8)

    //接受一个socket文本流
    val inputDataStream: DataStream[String] = env.socketTextStream("10.18.35.155", 777)
//        进行转换处理统计
        inputDataStream
          .flatMap(_.split(" "))
          .filter(_.nonEmpty)
          .map((_,1))
          .keyBy(0)
          .sum(1)
          .print()
    env.execute("word count")
  }
}

6.1问题一

若出现 StreamExecutionEnvironment 类没有发现时,将此处,改为compile

idea搭建flink环境第6张

6.2问题二

若还报错,java.lang.ClassNotFoundException: org.apache.flink.runtime.state.StateBackend

打开edit configuration ,在此处勾选即可

idea搭建flink环境第7张

7. 提前进入服务器,使用nc -lk 777,然后运行第一个flink,运行效果如下

idea搭建flink环境第8张

免责声明:文章转载自《idea搭建flink环境》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇C# ManagedDataAccess 操作oracle数据库jsrsasign 进行 RSA 加密、解密、签名、验签下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

sqoop2的相关配置,启动,停止命令(转)

原博客地址:http://blog.csdn.net/u012772782/article/details/52949181 sqoop2配置: 一、添加sqoop2到系统环境变量中: export SQOOP2_HOME=/opt/application/sqoop/sqoop-1.99.7/ export CATALINA_BASE=$SQOO...

Scala学习(八)---Scala继承

Scala继承 摘要: 在本篇中,你将了解到Scala的继承与Java和C++最显著的不同。要点包括: 1. extends、final关键字和Java中相同 2. 重写方法时必须用override 3. 只有主构造器可以调用超类的主构造器 4. 你可以重写字段 在本篇中,我们只探讨类继承自另一个类的情况。继承特质的内容后面会详细介绍 扩展类...

禅道安装在不同系统下搭建步骤

一.Linux下禅道安装及运行zentao官网的几个网址 http://www.zentao.net/ http://www.zentao.net/article-view-79863.html 搭建环境需要下载两个文件 1)Linux下禅道项目管理软件源码下载 http://sourceforge.net/projects/zentao/files/5....

HDP 3.1.0 集成 Sqoop2

HDP 3.1.0 集成 Sqoop2 本文原始地址:https://sitoi.cn/posts/65261.html 环境 由三台主机组成的 HDP 3.1.0 集群 配置好时间同步 步骤 下载 Sqoop2 的安装包 解压安装包到 /usr/lib 目录下 修改 sqoop.sh 环境变量 修改 sqoop.properties 配置 导入第三...

技术基础 | 重要指标和告警

本文节选自DataStax Cassandra文档,点击这里查看更多相关信息。 监控Apache Cassandra®和DataStax Enterprise(DSE)集群是一项非常重要的工作,它帮助您识别集群中的问题并及时地应对并缓解问题。 Apache Cassandra和DSE都公开了用于观察和分析的指标。Cassandra通过使用Java管理扩展...

Apache DBUtils

Apache DBUtils 下载Commons-dbutils-1.7.jar,其中包含一下几个重点类:Dbutils、QueryRunner、ResultSetHandler 1.DuUtils:辅助 2.QueryRunner:增删改查 update() query()oracle:dml,commitmysql:dml自动提交 3.如果是查询,则需...