RE: CONSEJO tablas grandes

From: "\(Syswarp\) Carlos Enrique Perez" <carlos(dot)perez(at)syswarp(dot)com(dot)ar>
To: "'Gabriel Ferro'" <gabrielrferro(at)yahoo(dot)com(dot)ar>, <pgsql-es-ayuda(at)postgresql(dot)org>
Subject: RE: CONSEJO tablas grandes
Date: 2008-11-26 12:07:15
Message-ID: F5ECE3DCD1774A51AC0922CF187528DF@cocot
Views: Raw Message | Whole Thread | Download mbox | Resend email
Thread:
Lists: pgsql-es-ayuda

Echale un ojo a esto:
http://www.postgresql.org/docs/8.3/static/textsearch.html
La idea es que con esta herramienta podes hacer busquedas del tipo buscador
de internet y si no entendi mal se parece mucho a lo que necesitas.
Saludos.

-----Mensaje original-----
De: pgsql-es-ayuda-owner(at)postgresql(dot)org
[mailto:pgsql-es-ayuda-owner(at)postgresql(dot)org] En nombre de Gabriel Ferro
Enviado el: miércoles, 26 de noviembre de 2008 7:57
Para: pgsql-es-ayuda(at)postgresql(dot)org
Asunto: Re: [pgsql-es-ayuda] CONSEJO tablas grandes

mmm.. arme un topic que hizo furor...jee..
bueno la cosa es que les simplifique la realidad... la idea que tenia es
tener en distintos esquemas distintos tipos de tablas, por ejemplo esquema
padrones con datos de personas esquema rentas con datos de autos e
inmobiliario esquema servicios con datos de disitntos servicios, como luz,
cable, etc.
esquema delitos con infromacion delictual... (sip.. soy poli)...

y por supuesto todo esta interrelacionado

Hice un programita que realiza consultas complejas por ejemplo buscar una
persona que --se llama hugo
-- tatuaje en hombro derecho
--que tiene un renault 9
--una casa en Parana

y todo lo que se les antoje complicarlo...

pensando solo en personas, por mi experiencia las consultas en un 99% o son
por numero de documento (no hay repetidos, al menos en su mismo tipo, no
recuerdo alguie dijo que tenia casos,la verdad no me ha pasado) o bien por
nombres (generalmente el apellido y un nombre), el resto sera mas complejo
como el ejemplo anterior.

Diego me dice que 20millones no es tanto, si es asi las dejo como esta.
Lo de saparar en dos el nombre y el apellido, es buena idea, creo, ......

Lo de realizar pruebas, estoy en eso, pero se me ha complicado, antes de
pasar al server linux, lo estoy haciendo sobre un postgres sobre XP y solo
para el padron tengo que cargar 5 archivos de 400Mb de texto plano, por si
las moscas, los separe en archivos de 50Mb (unas 650000 personas) y aun asi
para pasar uno de ellos a postgre me tardo 27Hs. y porsup. me deja la
maquina inservible hasta terminar... y... es XP !!!.
La demora se debe a que el archivo plano tiene la forma
docu clase nombre direccion ocupa localidad provincia
tipodoc sexo

asi que saco la localidad, la busco en su tabla, obtengo su clave...
saco la provincia.... obtengo su clave...
saco el tipodoc, obtengo su clave
busco la persona, sino esta la cargo, si esta comparo los datos con los
cargados y agrego los nuevos, por ejemplo otro domicilio, u otro nombre,
etc...

Ademas tengo que controlar algunos campos porque tienen errores, hay tipodoc
con cualquier cosa a los que debo ponerle un "OTROTIPO", etc...

Como veran es complicadito....

Yahoo! Cocina
Recetas prácticas y comida saludable
http://ar.mujer.yahoo.com/cocina/
--
TIP 9: visita nuestro canal de IRC #postgresql-es en irc.freenode.net

__________ Information from ESET NOD32 Antivirus, version of virus signature
database 3642 (20081126) __________

The message was checked by ESET NOD32 Antivirus.

http://www.eset.com

__________ Information from ESET NOD32 Antivirus, version of virus signature
database 3642 (20081126) __________

The message was checked by ESET NOD32 Antivirus.

http://www.eset.com

In response to

Browse pgsql-es-ayuda by date

  From Date Subject
Next Message Santiago Zarate 2008-11-26 12:16:20 Re: PGCon Latin America 2009
Previous Message Emanuel CALVO FRANCO 2008-11-26 12:06:44 Re: CONSEJO tablas grandes