Re: traitement par lots et sequence

je confirme avec ce genre de technique : ddBatch() et executeBatch()
gain de perf d'un facteur 10

Daniel Verite <daniel(at)manitou-mail(dot)org> a écrit :

> CRUMEYROLLE Pierre wrote:
>
>> en fait j'analyse une enorme usine à gaz code en hibernate/jpa codé
>> par des adeptes de l'object
>
> Effectivement ça complique beaucoup l'affaire, je compatis...
>
> Juste une piste qui peut mériter un coup d'oeil si une refactorisation
> n'est pas possible: JDBC a un mode batch qui permet d'accélerer
> ce genre d'INSERTs à la file.
> Ca s'utilise avec les méthodes addBatch() et executeBatch()
> de Statement, cf [1].
>
> L'effet est que les INSERT d'après sont envoyés par le client
> alors que les INSERT d'avant sont encore en train de s'exécuter
> sur le serveur, ce qui accélère globalement l'ensemble
> (effet pipeline, comme COPY).
>
> D'ailleurs un patch a été proposé pour faire ça dans libpq (en C) [2],
> je l'avais testé avec pgbench il y a quelque temps et les résultats
> étaient impressionnants.
> Malheureusement il est resté tanké dans le processus de validation
> (mais je ne désespère pas qu'il pourrait revivre pour une intégration
> dans Postgres 13).
> Le driver JDBC de PostgreSQL n'est pas basé sur libpq et a déjà
> cette fonctionnalité.
>
>
> [1]
> https://stackoverflow.com/questions/3784197/efficient-way-to-do-batch-inserts-with-jdbc/
> [2] https://commitfest.postgresql.org/10/634/
>
>
> Cordialement,
> --
> Daniel Vérité