高频数据实时流处理

一、项目架构

本文主要介绍flume->kafka->storm

二、flume+kafka+store整合之各个组件介绍

2.1、三个组件的安装

• flume安装部署
• kafka安装部署
• storm安装部署

2.2、flume source及sink的选择

• flume Source之SpoolDir
• flume 自定义Sink之kafkaSink

2.3、kafka自测以及kafka整合flume

• kafka自测
• kafka整合flume

2.4、storm整合kafka之kafkaSpout

三、flume+kafka+store联调

3.1、整合中出现的问题

3.2、完整实现