您当前的位置: 首页 >  大数据

段智华

暂无认证

  • 3浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

大数据Spark “蘑菇云”行动第47课程 Spark 2.0实战之Dataset:collect_list、collect_set、avg、sum、countDistinct等

段智华 发布时间:2016-09-17 22:25:15 ,浏览量:3

大数据Spark “蘑菇云”行动第47课程 Spark 2.0实战之Dataset:collect_list、collect_set、avg、sum、countDistinct等

 

Dataset API:
http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions$
 
people.json

{"name":"Michael", "age":16} {"name":"Andy", "age":30} {"name":"Justin", "age":19} {"name":"Justin", "age":29} {"name":"Michael", "age":46}

运行结果

 

16/09/17 22:22:15 INFO CodeGenerator: Code generated in 20.317672 ms +-------+--------+--------+--------+--------+-------------------+--------+--------------+ |   name|sum(age)|avg(age

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0547s