En el marco del congreso, los investigadores del CVC y de la UB plantearon el reto, al que concurrieron 151 participantes que enviaron más de 1.800 posibles soluciones, que posteriormente se analizaron. Los resultados del estudio, que se publicaron en la revista “Computer Vision - ECCV 2020 Workshops”, muestran la precisión de los algoritmos presentados en la tarea de verificación facial en presencia de otros elementos de confusión.
Los participantes trabajaron con inteligencia artificial datos de un banco de imágenes no equilibrado, en el que había una cantidad considerablemente mayor de imágenes de hombres blancos que de mujeres de color, y que simulaban un escenario real.
Las imágenes se clasificaron en dos atributos protegidos: género y color de piel; y en otros cinco atributos: grupo de edad (0-34, 35-64, 65+) , pose de la cabeza (frontal, otra), fuente de la imagen (imagen fija, fotograma de video) , uso de gafas y tamaño del marco delimitador.
Las mejores soluciones superaron el 99,9 % de precisión y obtuvieron puntuaciones muy bajas en la aparición de sesgos o errores sistemáticos y no aleatorios, por lo que los investigadores han considerado los resultados como “un paso hacia el desarrollo de métodos de reconocimiento facial más justos”.
En concreto, el análisis de los algoritmos de los 10 mejores equipos mostró tasas más altas de falsos positivos para las mujeres con tono de piel oscuro y tasas más altas de falsos negativos en el colectivo de hombres con tono de piel claro. Por otra parte, para todo el conjunto de datos, las personas menores de 35 años usan gafas con menos frecuencia que las personas mayores, un dato que, según los investigadores, “demuestra que la precisión general no es suficiente cuando el objetivo es construir métodos justos de reconocimiento facial”.