Face modelling across pose and expression

Resumo

No campo do procesado facial, o modelado facial recibiu unha especial atención nos últimos anos debido á popularización dalgúns algoritmos estatísticos de modelado facial, como por exemplo Active Shape Models e Active Appearance Models en 2D e 3 D Morphable Models. Os algoritmos estatísticos de modelado facial constan de dúas etapas, etapa de análise e etapa de síntese. Na etapa de análise, créase un modelo mediante a extracción das """"principais"""" variacións dun conxunto de imaxes de exemplo. Na fase de síntese, tratamos de rexistrar unha nova imaxe no modelo. Este proceso de rexistro permítenos recuperar información descoñecida da imaxe. Por exemplo, se o modelo coñece como a localización de puntos significativos (comisuras da boca, pupilas...) varia nas imaxes de adestramento, o proceso de rexistro permitiranos recuperar a posición destes puntos significativos na nova imaxe. Tamén, o modo de seleccionar as """"principais"""" variacións pódenos axudar a caracterizar unha nova imaxe. Por exemplo, se coñecemos como o modelo representa as variacións de pose, tales como rotacións en profundidade, o ángulo de rotación dunha nova imaxe pódese calcular coñecendo a representación da cara no modelo. Nesta tese, imos centrarnos no estudo de modelos estatísticos en 2D. Trataremos de mellorar a robustez destes algoritmos frente a cambios en pose e expresión.En el campo del procesado facial, el modelado facial ha recibido una especial atención en los últimos años debido a la popularización de algunos algoritmos estadísticos de modelado facial, como por ejemplo Active Shape Models y Active Appearance Models en 2D y 3D Morphable Models. Los algoritmos estadísticos de modelado facial constan de dos etapas, etapa de análisis y etapa de síntesis. En la etapa de análisis, se crea un modelo mediante la extracción de las """"principales"""" variaciones de un conjunto de imágenes de ejemplo. En la fase de síntesis, tratamos de registrar una nueva imagen en el modelo. Este proceso de registro nos permite recuperar información desconocida de la imagen. Por ejemplo, si el modelo conoce como la localización de puntos significativos (comisuras de la boca, pupilas,...) varia en las imágenes de entrenamiento, el proceso de registro nos permitirá recuperar la posición de estos puntos significativos en la nueva imagen. También, el modo de seleccionar las """"principales"""" variaciones nos puede ayudar a caracterizar una nueva imagen. Por ejemplo, si conocemos como el modelo representa las variaciones de pose, tales como rotaciones en profundidad, el ángulo de rotación de una nueva imagen se puede calcular conociendo la representación de la cara en el modelo. En esta tesis, vamos a centrarnos en el estudio de modelos estadísticos en 2D. Trataremos de mejorar la robustez de estos algoritmos frente a cambios en pose y expresión. Un algoritmo de modelado facial robusto a pose y expresión nos ayudará a mejorar el funcionamiento de sistemas de reconocimiento facial y detección de expresiones.In the field of face processing, face modelling has recently received significant attention due to the popularization of 2D statistical models like Active Shape Models, Active Appearance Models,... and 3D statistical models like 3D Morphable Moldels. Face modelling algorithms consist of two stages analysis and synthesis. On the analysis stage, the model is created by extracting the main variations of a collection of example images. On the synthesis stage, new images are registered to the model. This registration process let us recover unknown information of the new image. For instance, if the model knows how the location of the relevant features (mouth corners, pupils centres,...) varies in the example images, the exact location of this features on the new image, can be recovered by registering the new image to the model. Also, the way of selecting the model main variations can help us to characterize the new image. For instance, if we know how the model represents pose variations like yaw rotation, the rotation angle of the new image can be learnt by knowing the representation of the face in the model. In this thesis, we are going to focus on the study 2D statistical models. We will try to increase the robustness of these models against changes in pose and expression. A face modelling algorithm robust to pose and expression will improve the performance of facial recognition and expression understanding systems.