700字范文,内容丰富有趣,生活中的好帮手!
700字范文 > HAProxy + Keepalived + Flume 构建高性能高可用分布式日志系统

HAProxy + Keepalived + Flume 构建高性能高可用分布式日志系统

时间:2019-10-08 23:17:06

相关推荐

HAProxy + Keepalived + Flume 构建高性能高可用分布式日志系统

一、HAProxy简介

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代 理,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。 HAProxy运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。

二、Keepalived简介

它是一个基于VRRP协议来实现的WEB服务高可用方案,可以利用其来避免单点故障。一个WEB服务至少会 有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发 送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候,备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。

三、Flume简介

Flume是Apache提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。

注:根据我们公司具体业务需求,对其进行二次开发满足跨国跨机房日志数据完整传输录入到hadoop,同时确保高性能(tps:10k),当前已经有部分业务线上介入,日收集日志条数2亿+(日志大小约30G)。

四、Keepalived安装&配置

(1) keepalived依赖环境

yum install -y openssl-devel openssl;

yum install -y popt-devel;

(2) 从keepalived官网下载最新的版本:/download.html

(3) 安装与编译:

./configrure;

make&&makeinstall

(4) 设置service启动服

(5) 配置文件

五、HAProxy安装&配置

(1) 从官网下载最新版本haproxy:http://haproxy.1wt.eu/#down

(2) 安装

make TARGET=linux26 PREFIX=/usr/local/haproxy#将haproxy安装到/usr/local/haproxy

make install PREFIX=/usr/local/haproxy

(3) 配置文件

(4) 平滑重启haproxy

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/haproxy_tcp.cfg -p /usr/local/haproxy/ha.pid -st `cat /usr/local/haproxy/ha.pid`

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。