您当前的位置: 首页 >  ar

段智华

暂无认证

  • 2浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Spark Streaming 2.2.1 处理TCP数据源的案例与解读

段智华 发布时间:2018-02-22 21:43:41 ,浏览量:2

Spark Streaming 2.2.1 处理TCP数据源的案例与解读

本节讲解Spark Streaming处理TCP数据源的案例。

(一)准备工程,并构建测试类。构建程序打包的两种方式:

  •  基于IDEA的Artifacts构建打包。
  • 基于SBT的命令打包。

1)  基于IDEA构建应用程序。

在第2章构建的工程上,参考章节2.4.2 基于IDEA构建Spark应用程序的实例部分,继续添加依赖包如图4-4所示。

图 4 - 4 IDEA中的Project Structure…菜单

    在IDEA中添加依赖包如图所示。

图 4 - 5 IDEA中添加的依赖包

                  

图 4 - 6 IDEA中添加spark-examples_2.11-2.2.1源码依赖

本节案例基于Spark 2.2.1Examples提供的NetworkWordCount 类来实战TCP流数据的处理。如图4-6所示,可以为spark-examples_2.11-2.2.1.jar添加源码关联。在IDEA中查找examples中的NetworkWordCount 类,查找结果如图4-7

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1477s