大数据Spark “蘑菇云”行动第57课： Spark 2.0.1稳定版本解析及广告点击案例数据库和动态黑名单过滤代码

大数据Spark “蘑菇云”行动第57课： Spark 2.0.1稳定版本解析及广告点击案例数据库和动态黑名单过滤代码

 

1 spark 2.0.1 稳定版本解析 2 数据库实现 3 黑名单代码实现

spark 2.0.1 2016年10月3日发布了，意味着spark 2.0 时代的到来！！但目前还不适用于生产环境！

https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12336857

如果一定要使用spark 2.x，1.5 ，1.6的版本不用修改可以运行在spark 2.x，但不要使用spark2.x的新功能API。就可以使用spark2.x新的引擎带来的速度的提升！

最好不要冒险来使用spark 2.x。