您当前的位置: 首页 >  段智华 ar

《Spark商业案例与性能调优实战100课》第13课:商业案例之纯粹通过DataSet进行电商交互式分析系统中特定时段段访问次数TopN

段智华 发布时间:2017-01-21 20:52:57 ,浏览量:4

《Spark商业案例与性能调优实战100课》第13课:商业案例之纯粹通过DataSet进行电商交互式分析系统中特定时段段访问次数TopN


  明晚起课程频道改变,只有加入课程的学员才可以听课。


import org.apache.spark.sql.functions._


第一个作业:通读functions.scala的源代码
第二个作业:手动造出数据

json 读入文件直接转换为dataSet
通用模式: join =〉groupby => agg =>sort => show



val userInfo=spark.read.format("json").json("Json file's path ...")
val userAccessLog=spark.read.format("json").json("Json file's path ...")
userAccessLog.filter("time >= 2017-1-1 and time

关注
打赏
查看更多评论

段智华

暂无认证

  • 4浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录