Re: Fwd: Actualizar o insertar datos en postgres de SQL Server

Muchas gracias, ya voy a ver la documentación para hacerlo con pentaho. Se
ve prometedor.
Aunque un web service es una alternativa, voy a analizar cual es la mejor
opción.

Muchas gracias

El 13 de julio de 2016, 9:32, jvenegasperu . <jvenegasperu(at)gmail(dot)com>
escribió:

> David
> Buen dia cuando tuve que lidiar con algo parecido al igual que tu pensaba
> conectar directamente a Oracle en mi caso para tomar solo lo que necesito
> pero finalmente opte por migrar toda la data a postgres ya que me permitia
> mayores capacidades de analisis y reportes al trabajar con otras tablas en
> mis sistemas.
>
> Quiza tu preocupación sea el hecho de que habria que esperar a que
> postgres este actualizado para poder trabajar y podrias evitar la espera
> conectando directamente.
>
> Yo diria que evalues la necesidad de tener la información online o si
> puedes esperar un par de minutos es decir en mi caso por ejemplo migro de
> oracle a postgres con pentaho aproximadamente 200 mil registros mensual.
> OJO los datos se actualizan en ambos en algunos casos se actualiza de
> oracle a postgres en otros de postgres a oracle.
>
> En hardware no tengo mucho el equipo con postgres que lee de oracle tiene
> este hardware
> Servidor con 8 Gb de RAM procesador core i5 de 3 Ghz
>
> El trabajo lo hace en tan solo 70 segundos usando JAVA a 64 bits dandole
> un Giga de RAM para uso del pentaho.
>
> Por otro lado como dice Gilberto probablemente un web service tambien te
> sirva aunque cuando son datos en bloque yo particularmente prefiero
> pentaho. la unica pega es que probablemente tendras que ver los tipos de
> datos a mano en alguno que otro caso
>
>
>
>
>
>
>
>
>
>
>
>
> El 13 de julio de 2016, 8:34, david buenaño <davidbuenanio(at)gmail(dot)com>
> escribió:
>
>> Hola, muchas gracias por la ayuda, ya voy a hacer lo que me indicas.
>>
>> efectivamente puede ser que esté subvalorando pentaho o quizás estoy
>> explicando mal mi necesidad.
>>
>> El negocio básicamente es que tengo un sistema que administra el pago de
>> un bono o subsidio en mi país para lo cual de acuerdo a la normativa que
>> tiene este bono, tengo que realizar cruces de datos mensualmente con
>> diferentes instituciones como por ejemplo para saber si la persona ha
>> fallecido, entre mucha otra información que posee de otras instituciones.
>> Sin embargo, en el mismo sistema parte del negocio, van ingresando
>> información que recopilan en visitas domiciliarias que también influye para
>> el pago o no.
>>
>> Actualmente las instituciones nos entregan en un archivo plano txt y
>> manualmente cargo en una tabla y de esa tabla actualizo en las tablas que
>> requiero.
>>
>> La razón por la cual planteo la consulta de la interconexión con sql
>> server es que donde llegan directamente esos archivos es a otra instancia
>> de esta institución, que ellos cargan en su base de datos y para no
>> realizar un doble proceso de carga quiero consumir desde mi base de datos
>> solo lo que requiero.
>>
>> Y con toda la información que se actualiza una vez por mes trabajan a
>> diario todos los responsables vinculados a la gestión de este bono,
>> verificando información de cada uno de los registros.
>>
>> Finalmente, expuesto lo anterior, creo que para lo que requiero, debido a
>> que la necesidad es actualizar la información para el trabajo por cada uno
>> de los registros que opera con mi aplicativo, no me serviría pentaho, pues
>> necesitaría que la información esté actualizada en postgres para el consumo
>> de la informació
>>
>> Espero haber aclarado más mi problema.
>>
>> PD: Tal vez por mi desconocimiento de pentaho, puede ser que esté
>> equivocado y lo mejor sea utilizar esa herramienta, voy a leer la
>> información proporcionada y les contaré como me fue. Muchas gracias
>> nuevamente
>>
>> El 12 de julio de 2016, 23:45, jvenegasperu . <jvenegasperu(at)gmail(dot)com>
>> escribió:
>>
>>> Hola David
>>> Me sorprende que digas que Pentaho no te sirve o te estoy entendiendo
>>> mal quiza
>>>
>>> Veras yo tengo una situación similar mensualmente debo actualizar mi
>>> base de datos postgres de una base de datos oracle.de hecho en algunos
>>> casos hago actualizaciones diarias otras semanales quincenales y mensuales
>>>
>>> Creo que lo que te sugiere Francis seria lo ideal pentaho es excelente
>>> para estas situaciones.
>>>
>>> aqui te dejo el link de pentaho
>>> http://community.pentaho.com/projects/data-integration/
>>>
>>> y aqui un buen manual
>>> http://wiki.pentaho.com/display/EAIes/Manual+del+Usuario+de+Spoon
>>>
>>> Si te planteas las transformaciones y los jobs de pentaho como si fueran
>>> capas o clases en programación de seguro migrar los datos a postgres te
>>> resultara super facil seria mas o menos asi:
>>>
>>> 0.- Crea tus scripts con los datos que quieres obtener haciendo pruebas
>>> primero dentro del propio motor de BD origen y destino luego usaras esos
>>> scripts como primeros y ultimos pasos en las transformaciones
>>>
>>> 1.- crea las transformaciones en pentaho trabajando con pocas tablas
>>> digamos unas 4 o 5 no importa si tienes que procesar 30 tablas te sugiero
>>> hacer pequeñas transformaciones es como si en programacion estuvieras
>>> separando en archivos para mejorar su mantenimiento.
>>>
>>> 2.- Crea un trabajo donde vayas juntando las transformaciones. esto debe
>>> ser asi por si cambia la logica de negocio el trabajo seguira siendo el
>>> mismo y probablemente solo tengas que alterar alguna de las
>>> transformaciones sin tener que buscar dentro de todo un archivo complejo
>>>
>>> 3.- Genera una tarea programada para que ejecute el trabajo segun la
>>> frecuencia que necesitas mientras te tomas un cafe ;-)
>>>
>>> saludos y espero te sirva
>>>
>>> PD: hay casos en los que pentaho te da tipo de dato UNKNOW y no se puede
>>> migrar directo es decir alguien crea su propio tipo de dato que pentaho no
>>> entiende pero que si lo revisas finalmente es un dato cadena fecha etc en
>>> esos casos debes poner manualmente el tipo de dato que recibiras y luego si
>>> quieres al recibirlo lo parseas con un trigger o algun otro mecanismo y ya
>>> lo tienes igual que en el origen saludos.
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>>
>>> El 12 de julio de 2016, 11:07, david buenaño <davidbuenanio(at)gmail(dot)com>
>>> escribió:
>>>
>>>> Hola, Muchas gracias por la respuesta, sin embargo, para lo que
>>>> requiero no me sirve, debido a que para las reglas del negocio y los
>>>> controles puestos requiero que sea actualizado mes a mes la base de datos
>>>> de postgres.
>>>>
>>>> Actualmente se realiza el el cruce y actualización de información en mi
>>>> base de datos cargando varios archivos, básicamente un procesamiento por
>>>> lotes. Pero para el negocio institucional, se alojarán todos los archivos
>>>> de otras instituciones (7) en una base de datos en SQL Server (maneja un
>>>> sistema más grande) y de ahí necesito actualizar en postgres.
>>>>
>>>> Muchas gracias nuevamente
>>>>
>>>>
>>>>
>>>> El 12 de julio de 2016, 10:31, Francis Santiago <santiagocfc(at)gmail(dot)com>
>>>> escribió:
>>>>
>>>>> David!
>>>>>
>>>>> Haz pensado en utilizar herramientas adicionales como Pentaho? son
>>>>> bastante buenas para resolver este tipo de inconvenientes. Creas una ETL y
>>>>> listo. Creo es la solución más optima. Yo la he usado con MySQL, Oracle
>>>>> hacia PostgreSQL, por ejemplo.
>>>>>
>>>>> Saludos;
>>>>>
>>>>> El 12 de julio de 2016, 11:14, david buenaño<davidbuenanio(at)gmail(dot)com>
>>>>> escribió:
>>>>>
>>>>>> Hola, deseo actualizar algunos campos que tengo en una base de datos
>>>>>> de postgres de una base de datos de SQL server que se encuentra en otro
>>>>>> servidor.
>>>>>>
>>>>>> Actualmente, lo realizo manualmente descargandome un reporte de la
>>>>>> base de datos de SQL server y manualmente lo cargo en una tabla que creo en
>>>>>> postgres y actualizo los campos que requiero combinando según coincida, sin
>>>>>> embargo, este es un proceso mensual que deseo automatizar.
>>>>>>
>>>>>> Adicionalmente hay que considerar que de la base de datos en SQL
>>>>>> server solamente tengo privilegios de consulta, mientras que en la de
>>>>>> postgres soy el DBA.
>>>>>>
>>>>>> Aproximadamente los registros a actualizar serían unos 70.000
>>>>>>
>>>>>> Me he planteado tres posibilidades:
>>>>>>
>>>>>> 1) Linkear de alguna manera entre las dos bases de datos y mediante
>>>>>> procesos almacenados en postgres actualizar todos los campos que requiero y
>>>>>> mediante un job o simplemente llamando a la función que crearía para
>>>>>> actualizar o insertar los datos que requiero.
>>>>>>
>>>>>> 2) Mediante un aplicativo por ejemplo realizado en JAVA crear el
>>>>>> procedimiento para que actualicen los registros.
>>>>>>
>>>>>> 3) Seguir realizando todo manualmente.
>>>>>>
>>>>>> Agradezco mucho su ayuda orientandome cual sería la mejor posibilidad
>>>>>>
>>>>>>
>>>>>
>>>>>
>>>>> --
>>>>> *Francis del Carmen Santiago Cermeño*
>>>>> *Ingeniero en Informática *
>>>>> *Certification PostgreSQL Associate*
>>>>> *Certification **PostgreSQL 9.4 Professional*
>>>>> *Twiter:* sancfc
>>>>> *Celular: +56952456172 <%2B56952456172>*
>>>>> [image: LinkedIn]
>>>>> *https://www.linkedin.com/in/sancfc
>>>>> <https://www.linkedin.com/in/sancfc>*
>>>>>
>>>>>
>>>>>
>>>>
>>>
>>>
>>> --
>>> José Mercedes Venegas Acevedo
>>> cel Mov RPC 964185205
>>>
>>> skype jvenegasperu
>>> facebook jvenegasperu
>>> <jvenegasperu(at)gmail(dot)com>
>>>
>>
>>
>
>
> --
> José Mercedes Venegas Acevedo
> cel Mov RPC 964185205
>
> skype jvenegasperu
> facebook jvenegasperu
> <jvenegasperu(at)gmail(dot)com>
>