您当前的位置: 首页 >  ar

段智华

暂无认证

  • 4浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第46课程 Spark 2.0实战之Dataset:sort、join、joinWith、randomSplit、sample、select、groupBy、agg、col等

段智华 发布时间:2016-09-17 08:23:28 ,浏览量:4

第46课程 Spark 2.0实战之Dataset:sort、join、joinWith、randomSplit、sample、select、groupBy、agg、col等

people.json

{"name":"Michael", "age":16} {"name":"Andy", "age":30} {"name":"Justin", "age":19}

 

package com.dt.spark200

import org.apache.spark.sql.SparkSession import scala.collection.mutable.ArrayBuffer

object DataSetsops {

 

 case class Person(name:String,age:Long)    case class Score(n:String,score:Long)   def main(args: Array[String]): Unit = {          val spark = SparkSession        .builder()        .appName("DatasetOps")        .master("local")        .config("spark.sql.warehouse.dir", "file:///G:/IMFBigDataSpark2016/IMFScalaWorkspace_spark200/Spark200/spark-warehouse")        .getOrCreate

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0757s