RE: Estrategias de Optimizacion

> -----Mensaje original-----
>
> Hola,
>
> Necesito ideas sobre posibles estrategias que puedan mejorar
> los tiempos de respuesta. Estoy trabajando en un sistema
> empotrado y los tiempos son críticos.
>
> - El sistema debe ser capaz de insertar 1000 registros en
> menos de 1
> segundo, con una frecuencia de 1 segundo.(Datos de sensores,
> el tiempo es crítico)
> - Debe ser capaz de atender a consultas sobre estos datos de forma
> concurrente a las inserciones.(El tiempo para estas consultas no es
> crítico)
>
> He conseguido que las inserciones se hagan en un promedio de
> 630 milisegundos, de forma estable. Pero el problema es que
> al realizar consultas de forma concurrente a las inserciones,
> éstas sufren una latencia y se demoran en más de un segundo.
>
> ...
>
> En este punto es donde necesito ayuda, alguna idea que pueda
> solucionar esta latencia.
>

Lo que te sugiero es hacer asincrónicas las lecturas de las mediciones con la inserción en una base de datos relacional.
El esquema más simple que se me ocurre es guardar las mediciones en archivos planos y tener n procesos en background que vayan subiendo estos archivos en al Postgres con copy.

Si necesitas tener las mediciones inmediatamente disponibles para consulta, entonces te recomiendo te olvides de una base relacional salvo que puedas invertir en un excelente storage, algo dificilmente viable en sistemas embebidos.

Como te recomendaron en otra respuesta BerkleyDB se ajusta muy bien a tu requerimiento.

Saludos.