Re: Migración

Horacio:

On Sun, Jul 5, 2020 at 4:22 AM Horacio Miranda <hmiranda(at)gmail(dot)com> wrote:
> 40GB no es mucho, lo que puedes hacer es un respaldo a un archivo, luego lo comprimers en paralelo con pbzip2 ( debes tener muchas CPU para que valga la pena ) y luego cargas la base en la nueva versión.
> ( la clave para velocidad es descomprimir el archivo primero y luego cargarlo, si haces un pipe, pbzip2 solo funciona con un solo thread.

Para un escenario de cambio de proveedor tienes que tener en cuenta
mas cosas. Yo para esas cosas suelo hacer dump-local, copiar dump a
remoto, restore loca. pg_dump con el -Fc me va mas rapido con que sin
compresion a la que me descuide ( las CPU de ahora son ridiculamente
rapidas con el gzip y similares, en todos mis programas en los que
puedo le meto la zlib para escribir / leer de disco y va mas rapido, y
eso sin el truco, que aqui no se puede, de comprimir/descomprimir en
un thread aparte que aprovecha los multicores y me usos de cpu de
hasta el 280% en algunos casos ).

En esos casos lo que suelo hacer es pgdump/restore con el setting
normal o un poco mas BAJO para maxima velocidad, y, para pasar los
datos, usar un compresor en pipe en la red, para paralelizar. Aunque
un pbzip2 sea mas rapido que un bzip2 puede que hacer..

bzcat archivo | ssh maquina "bunzip2 > archivo

..te vaya mejor porque hace que la red y los dos compresores trabajen
en paralelo. A mi me ha pasado que puedo comprimir en 2 segundos,
transmitir en 30, descomprimir en 1 o comprimir en 8 en paralelo con
transmitir en 30 y descomprimir en 4.

Por ultimo, un comentario sobre el bzip2 y las compresiones que igual
interesa. Yo usaba mucho bzip2 en mi epoca de gentoo, hace 15 años.
Ahora se esta empezando a usar mucho. Pero hace ya años que hice un
benchmark gzip-bzip2-xz y encontre que el xz siempre gana al bzip2. Es
decir, para cualquier nivel de compresion de bzip2 el xz tenia uno que
comprimia MAS y MAS rapido ( aunque fuera poco ). El gzip sin embargo
seguia teniendo su uso, ya que era mas rapido que todos en algunas
condiciones ( de ahi que lo suela usar para comprimir a disco, en los
niveles normales es tan rapido que puedo comprimir al vuelo Y saturar
el disco, al menos cuando tiro de platos, e igualmente con la red ).

Cuando tenga algo de tiempo he de repetir las pruebas con el zstd (
mis pruebas con mis datos, porque los indicativos lo dan como muy
bueno para este tipo de cosas, compresion de datos en transito ( hacia
disco o red ) ).

Francisco Olarte.