RE: BigData con PostgreSQL

From: Edwin Quijada <listas_quijada(at)hotmail(dot)com>
To: Lennin Caro <lennin(dot)caro(at)yahoo(dot)com>, "pgsql-es-ayuda(at)postgresql(dot)org" <pgsql-es-ayuda(at)postgresql(dot)org>
Subject: RE: BigData con PostgreSQL
Date: 2015-11-03 23:27:54
Message-ID: BAY168-W29CCEA496D91ED3D8A9BB5E32B0@phx.gbl
Views: Raw Message | Whole Thread | Download mbox | Resend email
Thread:
Lists: pgsql-es-ayuda

So pena de ser fusilado, que diferencias encontrarias entre BigData y DataWarehouse, solamente el uso de JSON ??
La pregunta viene porque he implementado warehouse con Postgres y Mondrian y me ha ido bien pero ahora este concepto aun no acabo de digerirlo por mas que lo leo, sigo pensando que es warehouse con JSON, ignorancia mia talvez, pero ahora como todo es nuevo pues no se

Date: Tue, 3 Nov 2015 22:08:02 +0000
From: lennin(dot)caro(at)yahoo(dot)com
To: listas_quijada(at)hotmail(dot)com; pgsql-es-ayuda(at)postgresql(dot)org
Subject: Re: [pgsql-es-ayuda] BigData con PostgreSQL

On Tuesday, November 3, 2015 4:41 PM, Edwin Quijada <listas_quijada(at)hotmail(dot)com> wrote:

Estoy tratando de implementar BigData en un cliente usando Postgres. Su bases de ddatos estan en MSSQL y PostgreSQL necesito informacion sobre BigData con Postgres. Anteriormente use mucho Mondrian para Warehouse con Postgres pero al parecer hay diferencias con BigData. Alguien tiene algun material sobre Postgres con BigData que me pueda facilitar o algun caso de exito sobre esto.


Voy arriesgarme a responder en base a mi experiencia.
He trabajado con PostgreSQL para tener algo parecido a BigData, no es realmente BigData en PostgreSQL ya que muchas de las cosas que se necesitan para el analisis de los datos los hago con herramientas externas como pyhton. Ahora he usado tipos de datos JSONB para almacenar los datos en tablas logrando mezclar SQL con NoSQL, esto me a dado muy buenos resultados en cuestion de tiempos de respuesta, los problemas que he encontrado hasta el momento son:
Los indices en los campos tipo JSON no siempre son eficientesNo he enontrado una manera de aplicar procesamiento en cluster al estilos MongoDB o HadoopLos objetos JSONB no tiene un metodo de actualizcion por nodos del arreglo, hay que actualizar el campo completo lo cual genera una recarga de I/O

Para la version 9.5 hay mejoras para estos puntos ademas de funciones (ROLLUP, CUBE y GROUPING SETS) para manipular los datos OLAP, adicionalmente un nuevo tipo de indices de nombre BRIN aportado por Alvaro Herrera con lo cual mejorara el consumo de recursoso al usar los indices.
Aun sigo trabajando e investigando con esto, cualquier cosa te ayudo en lo posible

Responses

Browse pgsql-es-ayuda by date

  From Date Subject
Next Message Horacio Miranda 2015-11-03 23:41:50 Re: BigData con PostgreSQL
Previous Message Edwin Quijada 2015-11-03 23:23:20 RE: BigData con PostgreSQL