第3期Spark纯实战公益大讲坛：通过案例实战掌握Spark内核运行内幕
sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)). sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")
深入剖析运行的stage
sc.textFile("hdfs://...").faltMap(_.split("")).map(_,1).reduceByKey(_+_).map(x=>(x._2),x._1)). sortByKey(false).map(x=>(x._2),x._1)).saveASTextFile(hdfs://...")
1 Driver program (sc)->cluster manager - worker executor 2 block 为128M,大的文件拆分成几个block，block最后的一行记录如分布在前后2个block，前面一个block会多处理一些记录 3 在spark 可视化视图可以查看stage的流程
DT大数据微信公众账号：DT_Spark
DT大数据梦工厂scala的所有视频、PPT和代码在百度云盘的链接地址：http://pan.baidu.com/share/home?uk=4013289088&view=share#category/type=0&qq-pf-to=pcqq.group
