大数据就业实战培训 Oracle就业实战培训
PostgreSQL从小白到专家，是从入门逐渐能力提升的一个系列教程，内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容，希望对热爱PG、学习PG的同学们有帮助，欢迎持续关注CUUG PG技术大讲堂。
第35讲：中间件PgBouncer部署
第35讲：11月25日(周六)19:30-20:30，往期公开课的文档及视频，联系CUUG
内容1 : PgBouncer 简介
内容2 : PgBouncer 安装
内容3 : PgBouncer 启动与关闭
内容4 : 通过PgBouncer 连接到数据库
PgBouncer简介
· PgBouncer 是 PostgreSQL的轻量的连接池，支持三种模式
->Session pooling/会话连接池
最礼貌的方法。在客户端连接的时候，在它的连接生命期内，会给它赋予一个服务器连接。在客户端断开的时候，服务器连接会放回到连接池中。
->Transaction pooling/事务连接池
服务器连接只有在一个事务里的时候才赋予客户端。在 PgBouncer 注意到事务结束的时候，服务器将会放回连接池中。这是一个 hack，因为它打破了应用对后端连接的看法。只有在应用配合这样的使用模式，没有使用会破坏这种使用模式的时候才能用这个连接方式。
->Statement pooling/语句连接池 最激进的模式。这是事务连接池的一个扭曲的变种 - 不允许多语句的事务。这就意味着是在客户端强制 “autocomit”模式，主要是给 PL/Proxy 用的。
· PgBouncer 特点
内存需求低(缺省的时候每个连接 2k)。
它不是和单个后端服务器绑定的，目标数据库可以位于不同的主机上。
对大多数设置，都支持在线的重新配置，无需重启。
支持在线的重启/升级，而不会退出客户端的连接。
应用程序如果直接与PostgreSQL连接,每次连接pg都会克隆出一个服务进程来为应用程序提供服务，关闭连接后pg会自动将服务进程给停掉.频繁的创建和销毁进程，会消耗比较多的系统资源，pgbouncer会将与pg的连接缓存住,当有请求进来,只是分配一个空闲的连接,这样降低了系统资源的消耗。
使用pgbouncer可以控制住数据库上的活动连接,一般配置为CPU核数的1.5-2.5倍之间。
pgbouncer使用libevent进行socket通信,效率很高。
PgBouncer部署
· Pgbouncer 安装
1、安装libevent(root用户)：
/soft/libevent-2.1.12-stable
./configure --prefix=/usr/local/libevent
make
makeinstall
2、安装pgbouncer (postgres用户)
export PKG_CONFIG_PATH=/usr/local/libevent/lib/pkgconfig
cd /soft/pgbouncer-1.17.0
./configure --prefix=/usr/local/pgbouncer
make && make install
· Pgbouncer 配置
1、创建/usr/local/pgbouncer/conf目录，把pgbouncer.ini文件放在此目录下
2、复制模板文件
cp /usr/local/pgbouncer/share/doc/pgbouncer/pgbouncer.ini /usr/local/pgbouncer/conf/pgbouncer.ini
3、编辑pgbouncer.ini文件
logfile = /var/log/pgbouncer/pgbouncer.log #目录需要root用户创建，然后授权
pidfile = /var/run/pgbouncer/pgbouncer.pid #目录需要root用户创建，然后授权
listen_addr = *
listen_port = 6432
auth_type = md5
auth_file = /etc/pgbouncer/userlist.txt
admin_users = postgres
stats_users = hr
编辑/etc/pgbouncer/userlist.txt文件
该文件包含将来通过中间件连接到数据库的用户名和密码，登录时需要用它来验证，如果修改，需要重启pgbouncer生效。
1)、先查询密码：
select usename, passwd from pg_shadow order by 1;
2)、编辑userlist.txt
"hr" "md5e661e439b4757f4595b811b4a196182d"
"postgres" "md53175bce1d3201d16594cebf9d7eb3f9d“
"c1" "md574fc5f6f852574d24cbca8153258784c"
Pgbouncer 启动与关闭
· 启动pgbouncer
/usr/local/pgbouncer/bin/pgbouncer -d /usr/local/pgbouncer/conf/pgbouncer.ini
· 关闭pgbouncer
目前pgbouncer还没有自主停止的脚本或者命令，只能通过kill命令来停止。格式是：
cat /var/run/pgbouncer/pgbouncer.pid | xargs kill -9
· 重启pgbouncer
/usr/local/pgbouncer/bin/pgbouncer -R -d /usr/local/pgbouncer/conf/pgbouncer.ini
参数：
-d ：后台运行
-R ：重启进程
Pgbouncer 连接
· 登录pgbouncer
pgbouncer对外提供了一个虚拟数据库pgbouncer，之所以成为虚拟数据库，是因为它可以提供像PostgreSQL那样的数据库操作界面，但是这个数据库却并不是真实存在的。而是pgbouncer虚拟出来的一个命令行界面。
$ psql -p 6432 -d pgbouncer -U postgres
帮助命令，用show命令查看当前的配置
Show help;
pgbouncer.ini配置文件详解
· 配置主要分为两部分：
第一部分是[databases]区域，是用来配置数据库连接相关信息的。
第二部分是[pgbouncer]，是pgbouncer自身的配置。
· [databases]部分的配置
它的基本格式是：
对外提供的数据库名 = host=主机IP port=端口 user=用户 password=密码
其他的规则都类似，数据库名后面的等号旁边要有空格隔开，后面每个成对的数值之间用空格隔开。这里面的主机和端口指的是PostgreSQL监听的地址和端口，而用户和密码就是用来连接PostgreSQL数据库的用户名和密码。
testdb = host=127.0.0.1 port=1922 user=hr password=hr connect_query='SELECT 1 '
pool_size 用来配置连接池的大小。如果没有这个值则使用[pgbouncer]部分的default_pool_size的值。
connect_query ：后面跟一个SQL语句字符串，用于探测这个连接是否正常，如果执行SQL语句出错，则换一个连接。
client_encoding：指定连接的客户端使用的字符集编码
datestyle：指定日期类型
timezone：指定时区。
· 使用中间件来连接到testdb数据库
$ psql -p 6432 -d testdb -U hr
-p ：指定pgbouncer监听的端口
-d ：指定在配置文件中声明的数据库，如果要切换到其它数据库，则需要在配置文件中声明。
· [pgbouncer]部分的配置
logfile：指定日志文件，默认值是/var/log/pgbouncer/pgbouncer.log
pidfile：指定pid文件位置，默认值是/var/run/pgbouncer/pgbouncer.pid
listen_addr：监听的地址，默认值是127.0.0.1，可以使用*号表示监听所有IP地址。
listen_port：监听的端口，默认值是6432
unix_socket_dir：指定unix socket文件的目录，默认为/tmp目录
unix_socket_mode：指定unix socket文件的权限，默认值为0777
unix_socket_group：指定unix socket文件的组，默认无
user：指定启动PgBouncer的用户名，windows系统不支持此设置
auth_type：认证的类型，默认是trust，其他值包括md5，crypt，plain，any。用得较多的是md5
auth_file：认证文件的位置，默认值是/etc/pgbouncer/userlist.txt
pool_mode：指定池的模式，默认是session模式，还可以是transaction和statement
max_client_conn：允许的最大连接数
default_pool_size：默认的池大小，默认值20
min_pool_size：最小的池大小，每个连接池至少会向后端数据库保持多少个连接
reserve_pool_size：连接池的保留连接数
reserve_pool_timeout：保留连接的超时时间
· 日志配置项：
syslog：是否打开syslog，windows下打开eventlog，默认值为0，表示不打开。
syslog_ident：默认为PgBouncer
syslog_facility
log_connections：是否记录连接成功的日志，默认值为1，表示记录
log_disconnection：是否记录断开连接的日志，默认值为1，表示记录
log_pooler_errors：连接池法网客户端的错误是否记录在日志中，默认值为1，表示记录
stats_period：把汇总的统计信息写入日志的时间周期，默认是60s
· 控制界面访问控制配置项：
admin_users：管理用户名，默认值是postgres
stats_users：允许连接到控制界面，查看连接池只读信息的用户列表。可以执行除“SHOW FDS”以外的其他“SHOW”命令
server_reset_query
server_check_delay：空闲的连接多长时间进行一次健康检测，判断连接是否可用。如果设置为0，则立即检测，默认值为30s
server_check_query：进行健康检查的SQL语句，如果为0，表示不检测，默认值为“select 1;”
server_lifetime：连接的存活时间，连接超过这个时间就会被关闭，默认为3600，设置为0表示只使用一次。
server_idle_timeout：连接的idle时间，超过此时间，连接会被关闭。默认为600
server_connect_timeout：后端数据库的login时间超过这个值就会被关闭。默认为15s
server_login_retry：传送到后端数据库的连接失败后，等多长时间后重试，默认为15s
client_login_timeout：客户端与PgBouncer建立连接后，如果无法在这段时间内完成登录，那么连接会断开，默认为60s
· 危险超时配置项：
指的是为防止一些未知错误或者原因导致系统卡住的针对性配置。
query_timeout：允许超过该时间值的SQL会被断开，应该比SQL实际的执行时间稍长，也需要比数据库的statement_timeout参数值更大。为了应付一些未知的网络问题。默认为0.0，禁止使用
query_wait_timeout：请求在队列中等待被执行的最长时间，如果超过该时间还没有分配到连接，就会断开。默认为0，禁止使用。
client_idle_timeout：客户端连接空闲，超过该时间，则断开连接。默认值为0，禁止使用
idle_transaction_timeout：客户端启动事务后，超过这个时间没有结束事务，则关闭这个客户端连接。默认值为0，禁止使用。
· 底层网络连接配置：
pkt_buf：用于网络包的内部缓冲区大小，会影响发出的TCP包的大小即内存的使用，默认值为2048，一般保持默认值。
max_packet_size：通过PgBouncer最大的包大小，包可以是一个SQL，也可以是返回的结果，默认值是2147483647。
listen_backlog：TCP监听函数listen的Backlog参数，默认值为128。
sbuf_loopcnt：处理过程中，每个连接处理多少数据就切换到下一个连接。默认为5，如果设置为0，表示不限制。不限制时，一个连接发送大量数据，另外的连接可能就会空闲，导致被结束掉。
tcp_defer_accept：linux下，默认为45，其他平台为0。tcp_socket_buffer 默认没有设置。
tcp_keepalive：是否以操作系统的默认值打开基本的keepalive 设置，在linux下，操作系统的keepalive里，默认值是tcp_keepidle=7200, tcp_keepintvl-75,tcp_keepcnt=9，其他操作系统类型，默认值为1
tcp_keepcnt：默认未设置。
tcp_keepidle：默认未设置。
tcp_keepintvl：默认未设置。
CUUG PostgreSQL技术大讲堂系列公开课，往期视频及文档，请联系CUUG客服。
