大数据Spark “蘑菇云”行动补充内容第69课： Spark SQL案例之分析电影评分系统.

import org.apache.spark.sql.types._ import org.apache.spark.sql.Row val PATH = "/data/moviesData/" val moviesData = sc.textFile(PATH + "movies.dat") val ratingsData = sc.textFile(PATH + "ratings.dat") val usersData = sc.textFile(PATH + "users.dat") val userSchemaString = "USERID::GENDER::AGE" val userSchema = StructType(userSchemaString.split("::").map(field => StructField(field, StringType, true))) val userDataFrame = sqlContext.createDataFrame(usersData.map(_.split("::")).map(line => Row(line(0),line(1), line(2))), userS