Re: insert eficiente

From: Gerardo Herzig <gherzig(at)fmed(dot)uba(dot)ar>
To: Fernando Rodiño <frodinom(at)gmail(dot)com>
Cc: Ayuda <pgsql-es-ayuda(at)postgresql(dot)org>
Subject: Re: insert eficiente
Date: 2015-10-02 15:33:02
Message-ID: 723238653.732013.1443799982328.JavaMail.root@fmed.uba.ar
Views: Raw Message | Whole Thread | Download mbox | Resend email
Thread:
Lists: pgsql-es-ayuda

----- Mensaje original -----
> De: "Fernando Rodiño" <frodinom(at)gmail(dot)com>
> Para: "Ayuda" <pgsql-es-ayuda(at)postgresql(dot)org>
> Enviados: Jueves, 1 de Octubre 2015 19:45:08
> Asunto: [pgsql-es-ayuda] insert eficiente
>
>
> Buenas tardes a todos
>
>
>
> Acudo a su amable ayuda para lo siguiente:
>
>
> Tenemos una implementación de Postgres 9.3 y estamos en un proceso
> con Pentaho Data Integration donde se hace un mapeo de unos archivos
> planos a una tabla, se realiza una adecuación de estos datos y se
> hace un insert masivo a una tabla destino X, hasta ahí todo
> funciona, el problema que tenemos es que es mucha información y la
> tabla destino tiene varios indexes que hacen más demorada la
> operación, en Postgres 8.4 uno podía inactivar los indexes mientras
> ejecutaba la operación, pero en Postgres 9.3 no funciona esa
> estrategia o almenos como se hacia en Postgres 8.4 no funciona:
> update pg_index set indisvalid = false where indexrelid =
> 'i_nombre_index'::regclass; Alguien conoce una estrategia para
> realizar este tipo de operaciones que funcione en postgres 9.3
>
>
> Muchas gracias por su ayuda.
>

Para los bulk inserts suele ayudar:
* borrar los indices (y recrearlos luego de la insercion)
* set maintenance_work_mem TO 'una buena porcion de la RAM' (para acelerar la creacion de los indices)
* set syncronous_commit to 'OFF' (si puedes tomar el riesgo de perder alguna transaccion)
* deshabilitar (temporalmente) autovacuum para la tabla que recibe esos datos

HTH
Gerardo

-
Enviado a la lista de correo pgsql-es-ayuda (pgsql-es-ayuda(at)postgresql(dot)org)
Para cambiar tu suscripcin:
http://www.postgresql.org/mailpref/pgsql-es-ayuda

In response to

Responses

Browse pgsql-es-ayuda by date

  From Date Subject
Next Message Alvaro Herrera 2015-10-02 15:47:36 Re: insert eficiente
Previous Message Horacio Miranda 2015-10-01 22:51:45 Re: insert eficiente