Spark Streaming 2.2.1 处理TCP数据源的案例与解读
本节讲解Spark Streaming处理TCP数据源的案例。
(一)准备工程,并构建测试类。构建程序打包的两种方式:
- 基于IDEA的Artifacts构建打包。
- 基于SBT的命令打包。
1) 基于IDEA构建应用程序。
在第2章构建的工程上,参考章节2.4.2 基于IDEA构建Spark应用程序的实例部分,继续添加依赖包如图4-4所示。
图 4 - 4 IDEA中的Project Structure…菜单
在IDEA中添加依赖包如图所示。
图 4 - 5 IDEA中添加的依赖包
图 4 - 6 IDEA中添加spark-examples_2.11-2.2.1源码依赖
本节案例基于Spark 2.2.1Examples提供的NetworkWordCount 类来实战TCP流数据的处理。如图4-6所示,可以为spark-examples_2.11-2.2.1.jar添加源码关联。在IDEA中查找examples中的NetworkWordCount 类,查找结果如图4-7