Re: Informacion archivos base de datos

From: Edwin Quijada <listas_quijada(at)hotmail(dot)com>
To: Miguel Beltran R(dot) <yourpadre(at)gmail(dot)com>, "pgsql-es-ayuda(at)lists(dot)postgresql(dot)org" <pgsql-es-ayuda(at)lists(dot)postgresql(dot)org>
Subject: Re: Informacion archivos base de datos
Date: 2017-12-14 19:52:54
Message-ID: BN6PR15MB120345977D5376151FFCE4F2E30A0@BN6PR15MB1203.namprd15.prod.outlook.com
Views: Raw Message | Whole Thread | Download mbox | Resend email
Thread:
Lists: pgsql-es-ayuda

________________________________
From: Miguel Beltran R. <yourpadre(at)gmail(dot)com>
Sent: Wednesday, December 13, 2017 10:19 PM
To: pgsql-es-ayuda(at)lists(dot)postgresql(dot)org
Subject: Re: Informacion archivos base de datos

Lo que serviria si decides guardar en la base de datos es tenerlos en otra tabla

create table datos_generales (
id int ,
...,
otro_dato varchar ,
primary key (id)
);

table imagenes(
id int,
id_datos_generales int,
imagen bytea[],
primary key (id),
foreign key (id_datos_generales) references datos_generales(id)
)

La verdad ya no importa que este en la misma tabla porque de todas formas va a la tabla TOAST , y por que un vector de imagenes ? Solo necesita ser bytea no bytea[]

El 31 de octubre de 2017, 10:03, Edwin Quijada <listas_quijada(at)hotmail(dot)com<mailto:listas_quijada(at)hotmail(dot)com>> escribió:

Relamente , hice algunos scripts para mover todo a esturcturas de directorios dia/mes/year pero aun asi se vuelve comolicado manejarlo y mas cuando necesitan buscar algunos audios por eso la idea de moverlos a una BD.

________________________________
From: Luis Muro <luis(dot)muro(at)xmarts(dot)com<mailto:luis(dot)muro(at)xmarts(dot)com>>
Sent: Tuesday, October 31, 2017 12:29 AM
To: Edwin Quijada
Cc: Horacio Miranda; Daniel Carrero; Gerardo Herzig; Ricardo Alvarado; pgsql-es-ayuda(at)lists(dot)postgresql(dot)org<mailto:pgsql-es-ayuda(at)lists(dot)postgresql(dot)org>

Subject: Re: Informacion archivos base de datos

Edwin

No se si te sirva, pero nosotros también manejamos callcenter, lo que hacemos es guardar el path del audio en postgres pero el archivo si lo dejamos fuera de la base de datos, esto es porque luego la base crece cientos de megas por dia.
Para otro cliente con 300 posiciones lo implementamos adicionalmente un bash script que reorganizabas las grabaciones con el comando mv y las acomodaba en carpetas año/mes/dia de esta manera cuando el sysadmin baja eso a CD o discos externos solo movia por samba el año o mes a respaldar y nuestra interfaz web si no lo encontraba en el HDD les daba en que carpeta estaba para que lo buscaran en los respaldos

Saludos

El lun., 30 oct. 2017 a las 14:48, Edwin Quijada (<listas_quijada(at)hotmail(dot)com<mailto:listas_quijada(at)hotmail(dot)com>>) escribió:

A ver si me das una idea con un problema parecido que tengo.

Tengo en un callcenter alrededor de 1M de archivos de grabaciones y se esta volviendo imposible manejar todos estos archivos. Esta es la razon por la cual estoy pensando seriamente en crear una BD y mover todos los archivos de grabaciones a bytea para almacenarlos en Postgres.

Alguna idea acerca de performance que pudiera tener con respecto a esto. Estas grabaciones deben ser guardadas por un minimo de 5 años, actualemnte tengo uno y 91GB de archivos , no se cuantos son porque es imposible entrar en esa carpeta

________________________________
From: Horacio Miranda <hmiranda(at)gmail(dot)com<mailto:hmiranda(at)gmail(dot)com>>
Sent: Sunday, October 29, 2017 10:22 PM
To: Daniel Carrero
Cc: Gerardo Herzig; Ricardo Alvarado; pgsql-es-ayuda(at)lists(dot)postgresql(dot)org<mailto:pgsql-es-ayuda(at)lists(dot)postgresql(dot)org>
Subject: Re: Informacion archivos base de datos

Quieres tener replicado 15 Teras RAW de disco ?

On 30/10/2017 11:21 AM, Daniel Carrero wrote:
> Hola y que tal una combinación de 3? En base de datos, archivos y cloud?
> Mucha paranoia?
> Como lo harán casos como una base de datos documental como la de BCN ?
> Saludos
>
> El oct 29, 2017 7:54 PM, "Horacio Miranda" <hmiranda(at)gmail(dot)com<mailto:hmiranda(at)gmail(dot)com>
> <mailto:hmiranda(at)gmail(dot)com>> escribió:
>
> Hace mucho tiempo el Storage se corrompió, que cosa había en la base
> de datos, fotos de los Chilenos, huellas digitales etc, 3 semanas
> recuperando el 2% corrupto, si las fotos no hubieran estado en una
> base de datos, ni hablar de la integridad de un FS vs DB.
>
> Eran 10Teras de datos en el 2006 o 2005.
>
> Por lo que sí recomiendo tener las cosas en una base de datos y
> tener respaldos :D
>
> On 28/10/2017 10:50 AM, Gerardo Herzig wrote:
>
>
>
> El 27 de octubre de 2017, 11:48, Ricardo Alvarado
> <alvaradoricardo2(at)gmail(dot)com<mailto:alvaradoricardo2(at)gmail(dot)com> <mailto:alvaradoricardo2(at)gmail(dot)com>
> <mailto:alvaradoricardo2(at)gmail(dot)com<mailto:alvaradoricardo2(at)gmail(dot)com>
> <mailto:alvaradoricardo2(at)gmail(dot)com>>> escribió:
>
> Buenos días compañeros, me gustaría saber si se puede guardar
> archivos o imagenes en base de datos, cuales son su pro y
> contras.
>
> Gracias
>
> -- *Ricardo Alvarado*
>
>
>
> En un foro de postgres, calculo que la opinion general es que lo
> guardes en la base :)
>
> En general, para estas cuestiones estan los datatypes "bytea"
> (array de bytes). Ahora bien, estos campos se suelen comprimir
> por default, y si, por ejemplo, estas cargando pfds (que ya
> tienen compresion), entonces probablemente quieras omitir la
> propia compresion que postgres hace para esos campos, con algo asi:
>
> ALTER TABLE datos ALTER COLUMN archivo set storage PLAIN;
>
> Mas info:
> https://www.postgresql.org/docs/10/static/storage-toast.html#storage-toast-ondisk
> <https://www.postgresql.org/docs/10/static/storage-toast.html#storage-toast-ondisk>
> https://wiki.postgresql.org/wiki/TOAST
> <https://wiki.postgresql.org/wiki/TOAST>
>
> --
> Gerardo Herzig
> Postgres Consultant at Ayres Data Team
> root at Via Postgres Argentina
>
>
> ---
> This email has been checked for viruses by Avast antivirus software.
> https://www.avast.com/antivirus <https://www.avast.com/antivirus>
>
>
>

--
--
[https://docs.google.com/uc?export=download&id=0B2ZWV1URzClUSUFMS1dFOUdXRnc&revid=0B2ZWV1URzClUaHA0YjY1SGJBVEZUKzdiZitBa2lMbXZ3V0w0PQ]

--
________________________________________
Lo bueno de vivir un dia mas
es saber que nos queda un dia menos de vida

In response to

Browse pgsql-es-ayuda by date

  From Date Subject
Next Message mauricio pullabuestan 2017-12-15 13:57:27 Re: Herramienta de monitoreo PG Budget
Previous Message Eduardo Arenas C. 2017-12-14 05:07:35 Re: Increible omnidb 2.4 y pgadmin 4 ver 2 parecen locomotoras antiguas frente el viejo phpPgAdmin que parece un ferrari