您当前的位置: 首页 >  ar

段智华

暂无认证

  • 3浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第114课加强版:SparkStreaming+Kafka+createDirectStream+KafkaOffsetMonitor解决内幕

段智华 发布时间:2016-07-23 20:15:57 ,浏览量:3

第114课加强版:SparkStreaming+Kafka+createDirectStream 

 

 

前传:

第114课:SparkStreaming+Kafka+Spark SQL+TopN+Mysql+KafkaOffsetMonitor电商广告点击综合案例实战(详细内幕版本) http://blog.csdn.net/duan_zhihua/article/details/51590390

 

114课程的高级版:

1. spark streaming 使用 direct方式直接读取 kafka的数据,offset 没有经过zookeeper。因此在KafkaOffsetMonitor中也监控不到数据 。

2. 我们通过sparkstreaming操作offset,然后kafkacluster将offset更新到zookeeper中。

3.将KafkaOffsetMonitor从master迁移到woker2上运行 

final AtomicReference
  
    offsetRanges = new AtomicReference
   
    ();
		 adClickedStreaming.transformToPair( new Function
    
     
      , JavaPairRDD
      
       >() { private static final long serialVersionUID = 1L; @Override public JavaPairRDD
 
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1522s