Re: Numero de archivos en Schemas vs Bases

Ivan Perales M. escribió:

> Si fue una decisión que pensamos mucho en su momento, inicialmente optamos
> por un modelo de una tabla. Sin embargo uno de los requerimientos iniciales
> fue que el sistema debería poder crear backups solo de un solo cliente, por
> que ese cliente se debe poder cargar en otra instalación del mismo
> software, incluso el software debe permitir cargar el mismo cliente varias
> veces (de respaldos de diferentes épocas) para poder hacer comparativos.
> Encontramos muy complicado mantener este modelo ya que el mismo software
> sufre actualizaciones constantemente, y había errores en los scripts (por
> que no se puede usar pg_dump). Si separamos físicamente la información
> simplemente nos olvidamos de mantener scripts. Inicialmente nos fuimos con
> bases de datos, pero en algunas ocasiones el SO necesitaba ser formateado,
> por lo que hacer un backup en un equipo casero de por ejemplo 100 bases de
> datos tardaba mas de una hora y hacer el restore tardaba el doble, sin
> mencionar que teniamos que ajustar algunos parámetros en postgres para que
> agüantara la memoria y una vez finalizado regresarlos, cuando la idea es
> que este proceso lo hiciera un usuario sin conocimientos técnicos, lo cual
> no era posible por lo que teniamos que atenderlo. Decidimos migrar a
> schemas y usar pg_dump y pg_restore, pero también era un poco tardado y
> afortunadamente encontramos una herramienta opensource para hacer dumps de
> schemas (embebible en la aplicación) y la adaptamos a nuestras necesidades,
> esto, incluso en un equipo casero, mejoro el tiempo en mas de 1000%,
> estamos hablando que si antes se tardaba casi dos horas en 100 bases de
> datos, ahora se tarda 10 minutos. Esta situación es rara pero se da, lo que
> es mas común son dumps de un solo cliente y llevarse a otra instalación, lo
> cual lleva segundos.

Hmm, ya veo .. esta forma de uso es totalmente diferente de lo nosotros
estábamos haciendo en su momento.

> Sin embargo teníamos contemplados que como máximo habría 150 clientes en
> una instalación del software y la semana pasada vimos que uno tenia 305, lo
> cual me puso a pensar sobre el rendimiento por los archivos, hasta ahorita
> ningún cliente ha tenido problemas de performance y este en cliente en
> particular tampoco, pero bueno me entró la espinita y quize salir de dudas.

Claro. Hace 20 años los filesystems eran más ineficientes .. el listado
de los archivos en un directorio era una lista plana, así que buscar un
archivo dentro era lento; programas como sendmail o nntpd ponían uno o
dos niveles de subdirectorios para no tener tantos archivos en un mismo
directorio. Ahora son árboles, es mucho más eficiente, esos trucos ya
no son necesarios.

Éxito

--
Álvaro Herrera https://www.2ndQuadrant.com/
PostgreSQL Development, 24x7 Support, Remote DBA, Training & Services