第114课加强版:SparkStreaming+Kafka+createDirectStream
前传:
第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本) http://blog.csdn.net/duan_zhihua/article/details/51590390
114课程的高级版:
1. spark streaming 使用 direct方式直接读取 kafka的数据,offset 没有经过zookeeper。因此在KafkaOffsetMonitor中也监控不到数据 。
2. 我们通过sparkstreaming操作offset,然后kafkacluster将offset更新到zookeeper中。
3.将KafkaOffsetMonitor从master迁移到woker2上运行
final AtomicReference
offsetRanges = new AtomicReference
();
adClickedStreaming.transformToPair( new Function
, JavaPairRDD
>() { private static final long serialVersionUID = 1L; @Override public JavaPairRDD