Não vou entrar na discussão se o pgbouncer ou o pg_pool2 é isso ou aquilo, melhor ou pior, cada um tem suas qualidades e cada um sabe onde aperta o calo.

A ideia desse post é mostrar que é possível montar uma estrutura de shard de cache para o pg_pool2 para poder ter balanceamento do pool e conseguir alguma consistência do cache ganhar proveito com isso.

Começando pelo básico… O pg_pool2 tem uma configuração de cache, ele pode usar um serviço próprio ou o memcached (com tanta opção por aí eles continuam batendo nisso). Ele faz um controle até que bom do cache, invalida se alguma tabela sofre DML, não faz cache se vc escolher algum schema ou tabela específica, no final ele é bem honesto não garante 100% mas tenta entregar alguma coisa.

Qual seria a vantagem desse cache? se sua aplicação é mais antiga, você não tem como alterar o fonte ou seus devs são preguiçosos e não entendem o porque de usar um cache você consegue fazer isso de forma precária no meio do caminho, diminuindo a carga de consultas repetitivas contra seu banco de dados.

Existem outras formas de resolver? Até que sim, mas nesse post só vai ter essa.

Como vamos trabalhar com uma configuração de dois #poolers de conexão, cada #pooler vai executar dois serviços do #memcached.

O serviço na porta padrão 11211 vai trabalhar como um proxy de conexão enquanto o serviço executando na porta 11212 vai ser o serviço que vai realmente hospedar a chave valor.

Como o serviço do #pgpool é responsável por criar, consultar e apagar as chaves ele precisa ser capaz de invalidar uma chave devido a uma operação de DML/DDL que passe por ele, se cada pool tiver seu próprio #memcached um não sabe que o outro existe e não tem como invalidar uma possível chave que possa gerar inconsistência.

O serviço de #proxy do #memcached que vamos usar é o do próprio #memcached
https://docs.memcached.org/features/proxy/examples/

mas precisamos ajustar o arquivo de configuração para executar a subida do serviço em uma porta diferente da porta padrão, neste caso vamos fazer a configuração para usar a porta 11212.

arquivo de configuração do memcached:

# memcached default config file
# 2003 - Jay Bonci <jaybonci@debian.org>
# This configuration file is read by the start-memcached script provided as
# part of the Debian GNU/Linux distribution.

# Run memcached as a daemon. This command is implied, and is not needed for the
# daemon to run. See the README.Debian that comes with this package for more
# information.
-d
# Log memcached's output to /var/log/memcached
logfile /var/log/memcached.log

# Be verbose
-v

# Be even more verbose (print client commands as well)
-vv

# Start with a cap of 64 megs of memory. It's reasonable, and the daemon default
# Note that the daemon will grow to this size, but does not start out holding this much
# memory
#-m 64
-m 12288
# Default connection port is 11211
-p 11212

# Run the daemon as root. The start-memcached will default to running as root if no
# -u command is present in this config file
-u memcache

# Specify which IP address to listen on. The default is to listen on all IP addresses
# This parameter is one of the only security measures that memcached has, so make sure
# it's listening on a firewalled interface.
#-l 127.0.0.1
-l 0.0.0.0
# Limit the number of simultaneous incoming connections. The daemon default is 1024
# -c 1024

# Lock down all paged memory. Consult with the README and homepage before you do this
# -k

# Return error when memory is exhausted (rather than removing items)
# -M

# Maximize core file limit
# -r

# Use a pidfile
-P /var/run/memcached/memcached.pid

agora para o ajuste de configuração de proxy, vamos fazer o seguinte:

instalar dependências

apt-get install gcc make libevent-dev

baixar a versão compilável

wget https://memcached.org/latest

copiar, remover a versão baixada que ficou com um nome estranho e descompactar

cp latest memcached-1.6.39.tar.gz
rm latest
tar xzvf memcached-1.6.39.tar.gz

acessar o diretório e configurar a nova versão

cd memcached-1.6.39.tar.gz
./configure --enable-proxy

executar o make, make test e make install (esse processo demora)

make
make test
make install

confirmar que foi habilitado o proxy

memcached --help | grep proxy

criar um arquivo mc1proxy.lua com o seguinte conteúdo

pools{
    main = {
        backends = {
            "127.0.0.1:11212",
            "OUTRO_IP:11212",
        }
    }
}


routes{
    default = route_direct{
        child = "main"
    }
}

**Esse OUTRO_IP é o IP usado no outro nó do instance group do #pgbouncer

iniciar os serviços do #memcached nos 2 ou mais nós, na porta 11212

Baixar o protocolo de roteamento no diretório do #memcached

wget https://raw.githubusercontent.com/memcached/memcached-proxylibs/main/lib/routelib/routelib.lua

iniciar o serviço para ver se tudo funciona

memcached -o proxy_config=routelib,proxy_arg=mc1proxy.lua -p 11211 -u root

até esse momento os serviços devem estar rodando.
para testar executar telnet no IP do servidor do pgbouncer na porta 11211

telnet IP_BOUNCER 11211

a tela deve ficar escura, executar o comando

watch proxyevents

caso alguma coisa não esteja funcionando ele vai começar a colocar na tela as mensagens de erro
para parar pressione CTRL + ]

Então, basicamente, o seu NLB vai fazer sua aplicação acessar um dos pools, esse pool vai acessar o endereço local na porta padrão do memcached que é o proxy e quando ele fizer cache de alguma consulta ele vai fazer o shard desse cache em algum memcached.

Bonus 1

O script abaixo é para ser usado na GCP, ele deve ser colocado na secret para ser carregado na maquina caso você use Instance Groups, para ter flexibilidade em adicionar ou remover maquinas do pool.

A ideia dele é ser executado de forma cíclica a cada X minutos ou segundos, ele vai identificar se existe maquina nova no pool de maquinas do Instance Group, adicionar, remover ou não fazer nada no arquivo Lua do proxy e recarregar o serviço caso precise.

https://github.com/bigleka/gcp/blob/main/gcp_memcached_balancer.sh