Modulo 8 Seguimiento de Objetos

Module 8.1

Introduction to Object Tracking

Table of Contents

What is Object Tracking ? 2

Tracking versus Detection 3

Tracking is faster than Detection 3

Tracking can help when detection fails 4

Tracking preserves identity of objects 4

En este modulo, Se presenta el tema de seguimiento de objetos. Se mencionan de forma sucinta los métodos principales usados para hacer el seguimiento de objetos:

1. Dense Optical flow : Flujo óptico denso

2. Sparse optical flow : Flujo óptico disperso

3. Kalman Filtering : Filtro Kalman

4. Meanshift and Camshift : Meanshift  y  Camshift

5. Single object trackers : Seguimiento de objetos únicos

6. Multiple object track finding algorithms : Algoritmos para encontrar y seguir múltiples objetos.

Comparativa “Seguimiento”  versus  “Detección”

.- El Seguimiento es más rápido que la Detección

.- El Seguimiento puede ayudar cuando falla la Detección.

.- El Seguimiento preserva la identidad de los objetos.

Module 8.2

Kalman Filtering

Table of Contents

Overview 2

What is a Kalman Filter? 3

State Transition Equation 3

Modeling Uncertainties 5

Control Input 6

Uncontrolled uncertainties 6

Measurements 7

Fusing information 8

Summary 10

Code and Tutorial 10

Results 22

References and Further Reading 22

En este modulo, se explica lo que es un filtro Kalman y su funcionamiento como herramienta de seguimiento.

Para hacer el seguimiento, el Filtro Kalman adopta la siguiente estrategia:

1.- Predecir: Hacer predicciones sobre el estado interno del sistema (por ejemplo la posición y la velocidad de un drone) basado en un estado interno previo y cualquier entrada de control (por ejemplo la fuerza de propulsión).

2.- Actualización: Cuando nuevas medidas (por ejemplo información de GPS) sobre parte del estado interno están disponibles, las usa para actualizar la predicción hecha en el paso uno.

La ecuación de transición de estado

La etapa de predecir del filtro de Kalman, supone que no hay aceleración, luego la posición actual es la posición previa mas la velocidad por el tiempo transcurrido. Esto se puede representar matricialmente así:

Modelado de las incertidumbres:

Las incertidumbres se modelan usualmente usando una distribución Gaussiana con una media y una varianza. Eso significa un vector de 6x1 para la media y una matriz de 6x6 para la covarianza.

La entrada de control:

Esta se representa por la llamada matriz de control. Muestra el mecanismo por el cual u_k influencia el estado de x_k, si u_k  fuese el vector aceleración en 3D, la matriz de control seria:

Hay además cosas que están más allá de nuestro control y que afectan al estado del drone. Por ejemplo la navegación del drone podría verse afectada por una racha de viento. Estas incertidumbres son modeladas como un ruido Gaussiano de media cero y con covarianza Q_k.

Resumiendo la etapa de predicción del filtro Kalman.

.- Un estado previo donde conocemos posiciones y velocidades.

.- Una entrada de control conocida.

.- Unas incertidumbres aleatorias que modelamos como ruido.

Las ecuaciones de la etapa de predicción del filtro Kalman serán:

X_k = F_kx_k-1 + B_ku_k

P_k = F_kP_k-1F_k^T+Q_k

Vamos a tratar ahora de la etapa de actualización basándonos por ejemplo en un GPS.

Sea el vector de posición z_k y las incertidumbres las modelamos con la matriz de covarianza R_k. Deberíamos combinar esta información con el estimado logrado en la sección previa. Para ello necesitamos variables compatibles y usamos una matriz de observación (H_k) que hace un mapeado del estado actual al espacio de observación. Así H_kz_k  y z_k son cantidades que podemos comparar.

Fundiendo la información:

Aquí nos encontramos dos informaciones probabilísticas que tienen diferente media y varianza. Resulta que podemos combinar las dos fuentes de información simplemente multiplicando las dos distribuciones Gaussianas y normalizando para que el área sea uno.

Tenemos:

1. Prediccion H_kx_k con matriz de covarianza H_kP_kH_k^T
2. Medida z_k con matriz de covarianza R_k

Podemos combinar las dos fuentes de información de exactamente la misma manera que dijimos antes.

OpenCV, implementa el filtro Kalman como la clase KalmanFilter.

Module 8.3

Object Tracking using

Meanshift and CAMshift

Table of Contents

Overview 2

Object Tracking using Meanshift 2

What is Meanshift? 2

A simple example 2

The equations 3

What about Object tracking 4

What is Histogram Backprojection? 5

Object Tracking using Meanshift in OpenCV 6

Step 1 : Find the histogram of the face region 6

Step 2 : Find Back Projected image 6

Step 3 : Apply Meanshift 6

Meanshift Tracking Code and Tutorial 8

Discussion on performance 14

Object Tracking using CAMshift 15

Object Tracking using CAMshift in OpenCV 16

Improvements over Meanshift 17

CAMshift Tracking Code and Tutorial 17

References and Further Reading 24

En este modulo, se abordan los seguidores de objetos Meanshift y Camshift.

Meanshift es un método no paramétrico para encontrar la moda de un conjunto de puntos, dicho de otra forma, encuentra el máximo de una función de densidad. Su funcionamiento es iterativo, supongamos que tenemos un conjunto de puntos con alguna masa y elegimos un área circular con centro en el punto Pci que los encierra, calculamos el centro de masas de los puntos Pmi, lo normal es que Pci y Pmi sean diferentes, entonces consideramos un nuevo recinto circular con centro desplazado en Pci=Pmi y repetimos el cálculo del centro de masas para los puntos encerrados en el nuevo recinto y así sucesivamente hasta que converja y Pci==pmi.

El parámetro más importante de este algoritmo es el radio del circulo, si es muy pequeño, obtenemos un máximo local y si es muy grande so permite encontrar el máximo verdadero. Un método de cálculo mejorado es uno que da más importancia a los puntos que están más cercanos a x  y disminuyen al apartarse. Esto se consigue con un kernel Gaussiano (K_G) o un kernel de Epanechnikov (K_E).

¿Cómo se usa esto para el seguimiento de objetos?

1.- Encontrar el histograma del objeto de interés.

2.- Para cada nuevo fotograma, encontrar una imagen de probabilidad (que es similar a una función de densidad). Esta imagen de probabilidad puede ser obtenida mediante la retro proyección del histograma.

3.- Use Meanshift para encontrar el máximo de esta función de densidad acumulativa de imagen de probabilidad.

¿Qué es retro proyección de histograma?

Es una manera de encontrar la similitud entre dos imágenes. Puede ser definido vagamente como un método de re aplicar un histograma pre calculado a una nueva imagen para encontrar la similitud entre la distribución de color de la nueva imagen y el objeto de interés. Digamos que tenemos un histograma del objeto de interés dado por H. Entonces, por cada pixel en la nueva imagen, encuentra el “bin” en H al que él debería pertenecer y crea una imagen nueva con el valor del pixel siendo el valor de conteo del bin.

Seguimiento de objetos usando Meanshift en OpenCV

Paso 1: Encontrar el histograma de la región de la cara.

.- Detectar la cara usando Dlib.

.- Computar el histograma de la región de la cara usando el canal H del espacio de color HSV, usamos la función calcHist() de OpenCV para computarlo y normalizarlo al rango [0,255].

.- Encontrar la imagen retro-proyectada usando la función calcBackProject() de OpenCV

.- Aplicar Meanshift para encontrar el máximo en la imagen retro-proyectada en el vecindario de la nueva posición. Usamos meanShift() de OpenCV.

Seguimiento de objetos usando CAMshift (Continuamente Adaptable Meanshift)

1.- Se especifica la ventana inicial de seguimiento de altura h y ancho w centrada en (x_c,y_c).

2.- Usar Meanshift para obtener la localización actualizada de (x_c,y_c) y almacene el momento cero que es la suma de todos los pixeles en la ventana de la imagen retro proyectada.

3.- Mover el centro de la ventana al nuevo centro de masas e incremente el ancho de la ventana y la altura a valores pautados.

4.- Repita los pasos 2 y 3 hasta la convergencia.

Module 8.4

OpenCV Object Tracking API

Table of Contents

OpenCV 3 Tracking API 2

Object Tracking Algorithms 2

BOOSTING Tracker 4

MIL Tracker 4

KCF Tracker 5

TLD Tracker 5

MEDIANFLOW Tracker 6

GOTURN tracker 6

Code and Tutorial 7

Combining Detection and Tracking 11

Reference and Further Reading 12

En este modulo, se da cobertura a la nueva API de seguimiento que viene con OpenCV 3. De hecho 6 “seguidores” diferentes disponibles en OpenCV 3.2.

El principio general de todos es encontrar en el fotograma presente el objeto seguido a partir de los datos de seguimiento obtenidos en fotogramas anteriores. Asia tenemos:

.- Un modelo de movimiento, donde sabemos la localización y la velocidad en fotogramas anteriores y con esos datos podemos predecir donde estará localizado el objeto.

.- Un modelo de apariencia que codifica como luce el modelo, esto puede usarse para buscar en un pequeño entorno de la localización predicha para predecir con más precisión la localización del objeto. Dado que la apariencia de un objeto puede cambiar de forma significativa, en muchos de los “seguidores” modernos, este modelo de apariencia es un “clasificador” que ha sido entrenado “online”.

Veamos los “seguidores” que vienen con OpenCV 3.2:

 1.- Seguidor BOOSTING

Está basado en una versión online de AdaBoost. Este clasificador necesita ser entrenado en tiempo de ejecución con ejemplos positivos y negativos del objeto. El rectángulo envolvente suministrado por el usuario o por otro algoritmo de detección, es tomado como el ejemplo positivo para el objeto y muchos recortes de imagen externos al rectángulo envolvente son tratados como “fondo”. Recibido un fotograma nuevo, se ejecuta el clasificador sobre cada pixel en el vecindario de la localización previa y se guarda la puntuación del clasificador. La nueva localización del objeto es aquella donde la puntuación es máxima, Aportándonos un ejemplo positivo nuevo para el clasificador. Cada nuevo fotograma actualiza el clasificador.

Pros: Ninguno. Trabaja bien pero tiene una década de antigüedad y hay disponible seguidores más avanzados.

Cons: El rendimiento del seguimiento es mediocre y no sabe cuando falla el seguimiento.

2.- Seguidor MIL

Similar al seguidor BOOSTING con la diferencia de que en lugar de solo considerar la localización actual del objeto como un ejemplo positivo, mira en un pequeño entorno alrededor de la localización actual para generar varios ejemplos positivos. Es obvio que estos ejemplos estarán desplazados, pero aquí es donde actúa MIL (Múltiple Instance Learning) Aprendizaje de Instancias Múltiples donde no especificas ejemplos positivos y negativos, sino “bolsas” positivas y negativas y la “bolsa” es etiquetada como positiva si cualquier instancia en la bolsa esta etiquetada como positiva por el clasificador. En caso contrario la “bolsa” es etiquetada como negativa.

Pros: El rendimiento es muy bueno. No tiene tanta deriva como el seguidor BOOSTING y es razonable bajo oclusión parcial. Lo supera el KCF.

Cons: El fallo de seguimiento no es reportado con confianza. No se recupera de la oclusión total.

Seguidor KCF

Significa Filtros de Correlación Kernelizada. Esta construido sobre las ideas de los dos seguidores anteriores. Este seguidor usa el hecho de que múltiples muestras positivas usadas en el seguidor MIL tienen regiones de solapamiento mayores. Este data solapado es aprovechado por este seguidor para hacer un seguimiento más rápido y más preciso al mismo tiempo.

Pros: Precisión y velocidad son mejores que el MIL y reporta el fallo en el seguimiento mejor que BOOSTING y MIL.

Cons: No se recupera de oclusión total.

Seguidor TLD

TLD (Tracking, learning and detection). Como su nombre sugiere, descompone el seguimiento en tres componentes. El seguidor sigue al objeto de fotograma a fotograma. El detector localiza todas las apariencias que han sido observadas hasta el momento y corrige el seguidor si es necesario. El aprendizaje estima los errores del detector y los actualiza para evitar estos errores en el futuro.

Pros: Es el mejor cuando hay oclusión sobre múltiples fotogramas. También hace el mejor seguimiento sobre cambios de escala.

Cons: Muchos falsos positivos haciéndolo casi inusable.

Seguidor MEDIANFLOW

Internamente, este seguidor sigue el objeto en ambas direcciones temporales, hacia adelante y hacia atrás y mide las discrepancias entre estas dos trayectorias. Minimizando ese error “Adelante/Atrás” lo capacita a detectar los fallos de seguimiento y seleccionar trayectorias confiables en secuencias de video. Este seguidor “sabe” cuando ha fallado el seguimiento.

Pros: Excelente reporte de fallo de seguimiento. Trabaja muy bien cuando el movimiento es predecible y no hay oclusión.

Cons: Falla cuando gran movimiento.

Seguidor GOTURN

Es el único de los presentes basado en CNN (Convolutional Neural Network) y también es el único que usa un modelo entrenado “offline” por lo cual es más rápido que otros seguidores. Por la documentación de OpenCV, conocemos que es robusto a cambios de punto de vista, cambios de iluminación, y a las deformaciones. Pero no maneja la oclusión muy bien. Hay un fallo en la implementación actual que hace “CRASH” cuando se usa.

Combinando Detección y Seguimiento

En la implementación actual, no hay manera de actualizar los métodos init para indicarle al seguidor los datos procedentes de un detector. La única manera es empezar un nuevo seguidor usando el método create.

Module 8.5

Object Tracking using Multiple Instance Learning

Table of Contents

Overview 2

Object Tracking using MIL 2

Image representation 2

Motion model 2

Appearance Model 3

Multiple Instance Learning -- In words 3

Training data creation 3

Multiple Instance Learning -- In equations 5

Online Boosting 5

References and Further Reading 6

En este modulo, se habla sobre el seguimiento de objetos usando MIL (Múltiple Instance Learning).

Los métodos tradicionales basados en aprendizaje supervisado entrenan un clasificador discriminativo para separar los objetos del fondo. Al primer fotograma de la secuencia se le dota con el rectángulo envolvente del objeto que será seguido. A continuación, ejemplos positivos y negativos son extraídos de esta ventana del objeto. Errores en la posición de la ventana seleccionada pueden conducir a ejemplos de entrenamiento etiquetados incorrectamente. Si los ejemplos de entrenamiento no son buenos en un montaje de aprendizaje supervisado, el clasificador entrenado no funcionara como es esperado. Más aun, data que este bien “anotada” puede ser costosa de obtener.

Teniendo esto presente. Una aproximación de aprendizaje supervisado débilmente llamado “Múltiple Instance Learning” es usado donde no tenemos confianza plena en los datos de entrenamiento. El sistema propuesto consiste de tres componentes:

1. Representación de imagen.
2. Modelo de movimiento.
3. Modelo de apariencia.

Representación de imagen

Para cada recorte de imagen, características de tipo Haar son computadas lo cual ha sido discutido en gran detalle en el modulo previo. Estas características también son usadas como clasificadores débiles para el algoritmo “en línea” como se discutirá mas tarde.

Modelo de movimiento

Un modelo simplista es usado, donde la localización de la ventana de seguimiento en el tiempo t es igualmente probable que aparezca dentro de un radio s de la localización del seguidor en el tiempo t-1.

Modelo de Apariencia

Un clasificador discriminativo basado en “Múltiple Instance Learning” es usado como modelo de apariencia.

“Múltiple Instance Learning” – En palabras.

En MIL, no especificamos ejemplos positivos y negativos, sino conjuntos positivos y negativos llamados bolsas (“bags”). La colección de imágenes en la bolsa positiva no son ejemplos estrictamente positivos. En su lugar, una bolsa es etiquetada positiva si al menos una imagen en la bolsa es un ejemplo positivo y negativa si todos los ejemplos en la bolsa son negativos.

Creación de datos de entrenamiento

Module 8.6

Tracking Multiple Objects

Table of Contents

Multi-object Tracking 2

Code and Tutorial - MultiTracker 2

References 6

En este modulo, se presenta la implementación de un seguidor de varios objetos por OpenCV. Este seguidor procesa los objetos seguidos independientemente sin ninguna optimización. Un ejemplo de construcción en OpenCV seria:

cv::MultiTraker trackers(algoritmo de seguimiento)

Los algoritmos de seguimiento disponibles son: BOOSTING, MIL, TLD, KCF, MEDIANFLOW.

El algoritmo de seguimiento por defecto es KCF.