软件介绍
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案，适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。
keepalived可提供vrrp以及health-check功能，可以只用它提供双机浮动的vip（vrrp虚拟路由功能），这样可以简单实现一个双机热备高可用功能，类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换，作 用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当 web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的 web服务器
实验环境
keepalived+Haproxy 192.168.40.144
keepalived+Haproxy 192.168.40.135
vip: 192.168.40.100
web01: 192.168.40.144:80
web02: 192.168.40.135:80
操作
1.安装Keepalived
[root@server01 ~]# cd /usr/local/src/;wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz[root@server01 src]# tar zxvf keepalived-1.2.15.tar.gz [root@server01 keepalived-1.2.15]# ./configure --prefix=/usr/local/keepalived-1.2.15.....configure: error: !!! OpenSSL is not properly installed on your system. !!! !!! Can not include OpenSSL headers files. !!![root@server01 keepalived-1.2.15]# yum -y install openssl-devel [root@server01 keepalived-1.2.15]# ./configure --prefix=/usr/local/keepalived-1.2.15....编译安装成功Keepalived configuration------------------------Keepalived version : 1.2.15Compiler : gccCompiler flags : -g -O2Extra Lib : -lssl -lcrypto -lcrypt Use IPVS Framework : YesIPVS sync daemon support : YesIPVS use libnl : Nofwmark socket support : YesUse VRRP Framework : YesUse VRRP VMAC : YesSNMP support : NoSHA1 support : NoUse Debug flags : No[root@server01 keepalived-1.2.15]# make && make install[root@server01 ~]# cp /usr/local/keepalived-1.2.15/etc/rc.d/init.d/keepalived /etc/init.d/keepalived[root@server01 ~]# cp /usr/local/keepalived-1.2.15/sbin/keepalived /usr/sbin/[root@server01 ~]# cp /usr/local/keepalived-1.2.15/etc/sysconfig/keepalived /etc/sysconfig/[root@server01 ~]# mkdir -v /etc/keepalivedmkdir: created directory `/etc/keepalived'[root@server01 ~]# cp /usr/local/keepalived-1.2.15/etc/keepalived/keepalived.conf /etc/keepalived/[root@server01 ~]# chmod a+x /etc/init.d/keepalived [root@server01 ~]# chkconfig --add /etc/init.d/keepalived [root@server01 ~]# cat /etc/keepalived/keepalived.conf ! Configuration File for keepalivedglobal_defs { notification_email { kaibintest@126.com } notification_email_from keepalived@test.com smtp_server 192.168.40.144 smtp_connect_timeout 30 router_id HAPROXY_MASTER}vrrp_script chk_haproxy { script "/usr/local/keepalived-1.2.15/check_haproxy.sh" interval 2 weight 2 }vrrp_instance VI_1 { state MASTER interface eth0 virtual_router_id 51 priority 101 advert_int 1 authentication { auth_type PASS auth_pass 1111 }track_script { chk_haproxy } virtual_ipaddress { 192.168.40.100 }} 检测脚本
#!/bin/bashif [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /etc/init.d/haproxy startecho "haproxy start"fisleep 2if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /etc/init.d/keepalived stopecho "keepalived stop"fi
2.安装Haproxy
[root@centos-node1 src]wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.24.tar.gz[root@server01 src]# tar zxvf haproxy-1.4.24.tar.gz[root@server01 haproxy-1.4.24]# make TARGET=linux26 ARCH=x84_64 PREFIX=/usr/local/haproxy-1.4.24[root@server01 haproxy-1.4.24]# make install PREFIX=/usr/local/haproxy-1.4.24[root@server01 haproxy-1.4.24]# mkdir /etc/haproxy[root@server01 haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/[root@server01 haproxy-1.4.24]# cp examples/haproxy.init /etc/init.d/haproxy[root@server01 haproxy-1.4.24]# ln -svf /usr/local/haproxy-1.4.24/sbin/haproxy /usr/sbin/haproxy`/usr/sbin/haproxy' -> `/usr/local/haproxy-1.4.24/sbin/haproxy'[root@server01 haproxy-1.4.24]# chmod a+x /etc/init.d/haproxy [root@server01 haproxy-1.4.24]# chkconfig --add haproxy[root@server01 haproxy-1.4.24]# chkconfig haproxy on[root@server01 haproxy-1.4.24]# chkconfig --list haproxyhaproxy 0:off 1:off 2:on 3:on 4:on 5:on 6:off[root@server01 haproxy]# cat haproxy.cfg# this config needs haproxy-1.1.28 or haproxy-1.2.1global log 127.0.0.1 local2 #log loghost local0 info maxconn 4096 chroot /usr/local/haproxy-1.4.24 uid 99 gid 99 #user haproxy #group haproxy daemon #debug #quiet nbproc 1 pidfile /usr/local/haproxy-1.4.24/haproxy.piddefaults log global mode http option httplog option dontlognull option redispatch option forwardfor retries 3 maxconn 2000 contimeout 5000 clitimeout 50000 srvtimeout 50000listen stats stats enable mode http bind 192.168.40.144:80 stats uri /haproxy-status stats auth haproxy:123.com stats hide-version stats realm no\ entrance frontend web bind *:80 mode http option httplog log global default_backend web_nginx backend web_nginx option forwardfor header wm-client-ip #设置wm-client-ip变量http头将客户端IP传递到nginx中 balance roundrobin server web-node1 192.168.40.144:8888 check inter 3000 rise 5 fall 5 server web-node2 192.168.40.135:8888 check inter 3000 rise 5 fall 5
登陆状态页面
状态信息
Haproxy配置文件说明
来源
####################全局配置信息######################## #######参数是进程级的，通常和操作系统（OS）相关######### global maxconn 20480 #默认最大连接数 log 127.0.0.1 local3 #[err warning info debug] chroot /var/haproxy #chroot运行的路径 uid 99 #所属运行的用户uid gid 99 #所属运行的用户组 daemon #以后台形式运行haproxy nbproc 1 #进程数量(可以设置多个进程提高性能) pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 ulimit-n 65535 #ulimit的数量限制 #####################默认的全局设置###################### ##这些参数可以被利用配置到frontend，backend，listen组件## defaults log global mode http #所处理的类别 (#7层 http;4层tcp ) maxconn 20480 #最大连接数 option httplog #日志类别http日志格式 option httpclose #每次请求完毕后主动关闭http通道 option dontlognull #不记录健康检查的日志信息 option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器 option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接 stats refresh 30 #统计页面刷新间隔 retries 3 #3次连接失败就认为服务不可用，也可以通过后面设置 balance roundrobin #默认的负载均衡的方式,轮询方式 #balance source #默认的负载均衡的方式,类似nginx的ip_hash #balance leastconn #默认的负载均衡的方式,最小连接 contimeout 5000 #连接超时 clitimeout 50000 #客户端超时 srvtimeout 50000 #服务器超时 timeout check 2000 #心跳检测超时 ####################监控页面的设置####################### listen admin_status #Frontend和Backend的组合体,监控组的名称，按需自定义名称 bind 0.0.0.0:65532 #监听端口 mode http #http的7层模式 log 127.0.0.1 local3 err #错误日志记录 stats refresh 5s #每隔5秒自动刷新监控页面 stats uri /admin?stats #监控页面的url stats realm itnihao\ itnihao #监控页面的提示信息 stats auth admin:admin #监控页面的用户和密码admin,可以设置多个用户名 stats auth admin1:admin1 #监控页面的用户和密码admin1 stats hide-version #隐藏统计页面上的HAproxy版本信息 stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本) errorfile 403 /etc/haproxy/errorfiles/403.http errorfile 500 /etc/haproxy/errorfiles/500.http errorfile 502 /etc/haproxy/errorfiles/502.http errorfile 503 /etc/haproxy/errorfiles/503.http errorfile 504 /etc/haproxy/errorfiles/504.http #################HAProxy的日志记录内容设置################### capture request header Host len 40 capture request header Content-Length len 10 capture request header Referer len 200 capture response header Server len 40 capture response header Content-Length len 10 capture response header Cache-Control len 8 #######################网站监测listen配置##################### ###########此用法主要是监控haproxy后端服务器的监控状态############ listen site_status bind 0.0.0.0:1081 #监听端口 mode http #http的7层模式 log 127.0.0.1 local3 err #[err warning info debug] monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503 acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true acl site_dead nbsrv(server_blog) lt 2 acl site_dead nbsrv(server_bbs) lt 2 monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503 monitor-net 192.168.16.2/32 #来自192.168.16.2的日志信息不会被记录和转发 monitor-net 192.168.16.3/32 ########frontend配置############ #####注意，frontend配置里面可以定义多个acl进行匹配操作######## frontend http_80_in bind 0.0.0.0:80 #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似 mode http #http的7层模式 log global #应用全局的日志配置 option httplog #启用http的log option httpclose #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式 option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP ########acl策略配置############# acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$ #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写 acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn #如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写 #acl itnihao hdr(host) -i itnihao.cn #如果请求的域名满足itnihao.cn返回true -i是忽略大小写 #acl file_req url_sub -i killall= #在请求url中包含killall=，则此控制策略返回true,否则为false #acl dir_req url_dir -i allow #在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false #acl missing_cl hdr_cnt(Content-length) eq 0 #当请求的header中Content-length等于0时返回true ########acl策略匹配相应############# #block if missing_cl #当请求中header中Content-length等于0阻止请求返回403 #block if !file_req || dir_req #block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求 use_backend server_web if itnihao_web #当满足itnihao_web的策略时使用server_web的backend use_backend server_blog if itnihao_blog #当满足itnihao_blog的策略时使用server_blog的backend #redirect prefix http://blog.itniaho.cn code 301 if itnihao #当访问itnihao.cn的时候，用http的301挑转到http://192.168.16.3 default_backend server_bbs #以上都不满足的时候使用默认server_bbs的backend ##########backend的设置############## #下面我将设置三组服务器 server_web，server_blog，server_bbs##################backend server_web####################backend server_web mode http #http的7层模式 balance roundrobin #负载均衡的方式，roundrobin平均方式 cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义 option httpchk GET /index.html #心跳检测的文件 server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1 #服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， #fall 3是3次失败认为服务器不可用，weight代表权重 server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 #服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， #fall 3是3次失败认为服务器不可用，weight代表权重 ###################backend server_blog######################backend server_blog mode http #http的7层模式 balance roundrobin #负载均衡的方式，roundrobin平均方式 cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义 option httpchk GET /index.html #心跳检测的文件 server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1 #服务器定义，cookie 1表示serverid为blog1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2 #服务器定义，cookie 1表示serverid为blog2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 ##################backend server_bbs######################## backend server_bbs mode http #http的7层模式 balance roundrobin #负载均衡的方式，roundrobin平均方式 cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义 option httpchk GET /index.html #心跳检测的文件 server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1 #服务器定义，cookie 1表示serverid为bbs1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 #服务器定义，cookie 1表示serverid为bbs2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
3.修改本地日志格式
# yum install rsyslog[root@server01 ~]# grep -v ^\# /etc/rsyslog.conf|sed '/^$/d'$ModLoad imuxsock # provides support for local system logging (e.g. via logger command)$ModLoad imklog # provides kernel logging support (previously done by rklogd)$ModLoad imudp$UDPServerRun 514$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat$IncludeConfig /etc/rsyslog.d/*.conf*.info;mail.none;authpriv.none;cron.none;local2.none /var/log/messagesauthpriv.* /var/log/securemail.* -/var/log/maillogcron.* /var/log/cron*.emerg *uucp,news.crit /var/log/spoolerlocal7.* /var/log/boot.loglocal2.* /var/log/haproxy.log[root@server01 ~]# /etc/init.d/rsyslog restartShutting down system logger: [ OK ]Starting system logger: [ OK ]
4.安装nginx
[root@server01 src]# yum -y install zlib zlib-devel openssl openssl-devel pcre-devel gcc gcc-c++[root@server01 src]# wget http://softlayer-sng.dl.sourceforge.net/project/pcre/pcre/8.36/pcre-8.36.tar.gz[root@server01 src]# tar zxvf pcre-8.36.tar.gz[root@server01 pcre-8.36]# ./configure && make && make install[root@server01 pcre-8.36]# useradd -s /sbin/nologin nginx[root@server01 src]# wget [root@server01 src]# tar zxvf nginx-1.6.2.tar.gz [root@server01 nginx-1.6.2]# ./configure --prefix=/usr/local/nginx-1.6.2 --user=nginx --group=nginx --with-http_stub_status_module --with-http_sub_module --with-http_ssl_module --with-pcre=/usr/local/src/pcre-8.36 --with-http_gzip_static_module[root@server02 conf]# cat /usr/local/nginx-1.6.2/conf/nginx.conf#user nobody;worker_processes 1;events { worker_connections 1024;} http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; log_format subuy '$remote_addr $http_wm_client_ip [$time_local] "$request" ' '$status $body_bytes_sent $request_time "$http_referer" ' '"$http_user_agent"'; server { listen 8888; server_name www.server02.com; #charset koi8-r; access_log logs/host.access.log subuy; error_log logs/error.log info; location / { root html; index index.html index.htm; } #error_page 404 /404.html; # redirect server error pages to the static page /50x.html error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } }} 查看nginx访问日志
192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:24 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
http://bbotte.blog.51cto.com/6205307/1606877
http://siriusz.blog.51cto.com/8150455/1368188