大数据Spark “蘑菇云”行动第71课： 基于Spark 2.0.1项目开发分析与实战

大数据Spark “蘑菇云”行动第71课： 基于Spark 2.0.1项目开发分析与实战

 

 

package com.dt.spark200

import org.apache.spark.sql.SparkSession

object UserBehaviorsAnalysis {
  def main(args: Array[String]): Unit = {

    val spark = SparkSession
      .builder()
      .appName("UserBehaviorsAnalysis")
      .master("local")
      .config("spark.sql.warehouse.dir", "file:///G:/IMFBigDataSpark2016/IMFScalaWorkspace_spark200/Spark200/spark-warehouse")
      .getOrCreate()

    import spark.implicits._
    import org.apache.spark.sql.types._
    import org.apache.spark.sql.functions._

    val userInfo = spark.read.format("parquet").parquet("G:\\IMFBigDataSpark2016\\spark-2.0.0-bin-hadoop2.6\\examples\\src\\main\\resources\\userparquet")
    val userLog = spark.read.format("parquet").pa