您当前的位置: 首页 >  大数据

wespten

暂无认证

  • 2浏览

    0关注

    899博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

大数据技术之Griffin

wespten 发布时间:2022-10-08 11:37:02 ,浏览量:2

一、Griffin概述 1、Griffin 简介

Apache Griffin是一个开源的大数据数据质量解决方案,它支持批处理和流模式两种数据质量检测方式,可以从不同维度度量数据资产,从而提升数据的准确度和可信度。例如:离线任务执行完毕后检查源端和目标端的数据数量是否一致,源表的数据空值等。

2、Griffin 架构原理

但由于Griffin有着较为严重的版本依赖,因此无法在最新版本的数据仓库架构中兼容进去。目前只能使用2.x版本的Spark和hadoop,进行数据质量监控。

二、Griffin安装及使用 1、安装前环境准备

1)安装ES5.2

上传elasticsearch-5.2.2.tar.gz到hadoop102的/opt/software目录,并解压到/opt/module目录:

[yyds@hadoop102 software]$ tar -zxvf elasticsearch-5.2.2.tar.gz -C /op
关注
打赏
1665965058
查看更多评论
立即登录/注册

微信扫码登录

0.2594s