archivos bytea en postgres ¿se produce el overhead aun usando la tabla solo para consultas individuales?

Buenas tardes a todos

Estoy desarrollando una funcion para subir archivos en mi aplicacion este
caso pense guardarlos en la BD

consultando y revisando foros algunos comentan que subir archivos a la bd
produce mucho overhead innecesario

de hecho si hago un select * from se tardan mis consultas si excluyo el
campo bytea va muy veloz.

Asi que se me ocurrio lo siguiente:

crear una tabla exclusiva para guardar los archivos en mi caso los archivos
no pasaran de 10 Megas sino con mi ancho de banda no subirian nunca ;-)

ahora bien en las tablas que necesite guardar archivos pondre un id como
referencia al id de la tabla que guarda los archivos

es decir mis selects de listados nunca pasaran por la tabla que tiene los
archivos.

digamos un listar documentos en una pagina de 25 registros por decir voy
avanzando en un pagina de 25 en 25.

ahora si el usuario quiere bajar el archivo paso el id como parametro y ahi
recien voy a la tabla de archivos para obtener este unico archivo.

Un amigo me comenta que basta con hacer una consulta una vez postgresql
tiene un cache de memoria que aunque el tipo de dato no entra en la memoria
si tendra que leerlo y si hay mucha carga quizas se producira errores de
locking y overhead.

Aqui apelo a su experiencia ¿se produciria de todos modos el el overhead
aun usando la tabla que contendria los archivos de la manera que describo?

saludos

José Mercedes Venegas Acevedo
cel: Mov. 949808846

mails: jvenegasperu(at)gmail(dot)com