Obtener fechas mas cercanas

Hola estimados, tengo una consulta. Lo que sucede es que tengo dos tablas
ambas tienen un key y una fecha, entonces lo que debo hacer es traer la
fecha mas cercana de la otra tabla
Ejemplo
tabla b
key hora
1 20:15
1 20:16
1 21:16
1 22:16
1 23:16
tabla a
key hora
1 21:15
1 20:17
1 22:15
resultado
a.key a.hora b.hora anterior
1 21:45 21:16
1 20:30 20:16
1 22:18 22:16
Para cada registro de la tabla a obtengo la fecha mas cercana anterior de
la tabla b y que tengan el mismo key.
Estoy tratando con windows funtions, pero hay algo en lo que fallo. ¿ Esta
bien que las utilice o existe algo mejor ?.

Las tablas tiene aproximadamente 1 millon de registros cada una.
Si tuvieran alguna sugerencia.

Saludos y gracias

--
Max