Robust audiovisual techniques for identity verification

Resumo

Esta tesis se centra en el desarrollo de métodos que incrementen la robustez de los sistemas biométricos audiovisuales. Estas medidas de robustez están encaminadas a incrementar la fiabilidad de los resultados de verificación proporcionados por los sistemas biométricos audiovisuales en condiciones realistas. La tesis comienza introduciendo al lector a la tecnología biométrica, haciendo énfasis en la tecnología biométrica audiovisual. Posteriormente se aborda la verificación de locutor. Tras una revisión del estado del arte en verificación de locutor, se desarrolla un marco de trabajo que permite introducir medidas de calidad a los procesos de verificación de identidad. Se propone la relación señal a ruido (SNR del inglés Signal to Noise Ratio) como medida de calidad y se dedarrolla una normalización de puntuación de verificación basada en la calidad, que incrementa la robustez de la verificación de locutor en entornos con diferentes niveles de ruido de fondo. Después se trata la verificación de rostro, concentrándose en aquellos métodos basados en características locales de Gabor. Se proponen tres medidas para incrementar la robustez de la verificación de rostro. En primer lugar, una adecuada estrategia de fusión de la información discriminante proporcionada por caa una de las componentes locales del rostro. Se propone una técnica nueva basada en análisis lineal discriminante (LDA, del inglés Linear Discriminant Analysis). En segundo lugar, se propone el uso de una secuencia completa de video para realizar tanto el modelado del usuario como el proceso de verificación. La tercera medida para incrementar la robustez de la verificación de rostro es la incorporación de medidas de calidad al proceso de verificación. Se propone una medida de calidad para verificación de rostro y y se incorpora al proceso de verificación mediante la normalización de puntuación de verificación. Por último, se propone el uso de la sincronización entre el audio y el video para verificar la presencia del usuario. En cuanto a la parte experimental, se han realizado experimentos para la comprobación de la efectividad de las diversas técnicas presentadas. En ellos se comparan las técnicas propuestas con los resultados obtenidos con otros métodos y sistemas estado del arte en dos conocidas bases de datos multimodales: XM2VTS y BANCA.