第46课：Spark中的新解析引擎Catalyst源码初探 SQLContext、Catalog、SqlParser 、analyzer、optimizer、QueryExecution、RDD

第46课：Spark中的新解析引擎Catalyst源码初探

1、入口 val  sc =new SparkContext(conf) val  sqlcontext =new SQLContext(sc) //sql子框架基于spark context。处理结构化数据的入口。 sqlcontext.scala 2、Catalog初步的处理，例如查询一个表，表中的列开始是不知道的，从unrecognized Logic Plan 到 Logic Plan 中间有一个Catalog的过程。    @transient   protected[sql] lazy val catalog: Catalog = new SimpleCatalog(conf)