大数据Spark “蘑菇云”行动第77课：Spark Streaming性能调优思考和实践方法，发现磁盘空间没有了，怎么办

大数据Spark “蘑菇云”行动第77课：Spark Streaming性能调优思考和实践方法

Spark使用一段时间后，发现磁盘空间没有了，尤其是运行SparkStreaming Spark streaming在不断的写日志，日志将磁盘撑满了。无论磁盘空间多大，都会撑破的。有时运行一个晚上，有时运行一个上午，磁盘写满了。 1、配置log最大的保存文件大小！！最多保存多少文件！ 2、配置每一个文件的最大的大小！ 3、executor roll的间隔时间interval按天、小时、分钟设置 4、按时间长短 或size大小设置rolling大小。spark.executor.logs.rolling.maxSize

http://blog.csdn.net/u011291159/article/details/50344517

下面三个日志rolling参数记得设置： spark.executor.logs.rolling.strategy size spark.executor.logs.rolling.maxSize 134217728 #default byte spark.executor.logs.rolling.maxRetainedFiles

超时的时间一律调大！！更大的范围内跑通！！一律调大3到5倍！&