Visualización de emociones a través del diseño generativo.
¿Cómo podemos visualizar las emociones de los demás con ayuda del diseño generativo?
Materia Errante es un experimento enfocado en visualizar las emociones de los usuarios en tiempo real, para poder analizar los cambios basados en temas de conversación predeterminados, estímulos y variables externas, sin tener control sobre el resultado.
Fases del Proyecto
Sub-fases del Desarrollo
Percepción
Le preguntamos a 28 jóvenes universitarios que dibujaran lo que para ellos representa cada emoción (alegría, ira. miedo, asco, desprecio, sorpresa, tristeza) para comenzar a rastrear patrones que indicaran características importantes de cada emoción.
Stable Diffusion
A partir de la percepción de los usuarios en el focus group, se desarrollaron alrededor de 300 imágenes representativas de las emociones desde cero, utilizando un modelo de Inteligencia Artificial conocido como Stable Diffusion.
Prueba Piloto
Con las imágenes desarrolladas, se hicieron 16 experimentos con 32 jóvenes universitarios. En estos experimentos había dos personas que acomodan las imágenes en la emoción donde pensaban que pertenecía.
En base a los resultados de la prueba piloto se hizo un análisis para encontrar los colores más repetidos y las palabras clave de cada emoción, como se observa en la siguiente imagen.
Asimismo, se analizó el nivel de abstracción en las imágenes utilizadas en cada emoción en la prueba piloto. Se encontró que en todas las emociones dominaban las imágenes figurativas; la única excepción fue sorpresa, en la que había mayoría de abstractas.
Análisis de resultados
Análisis de resultados
Después, se desarrolló desde cero un nuevo data set de alrededor de 5,000 imágenes con Google Collaboratory, usando el modelo de Clip Guided Diffusion.
Colorización
Se transfirieron los colores elegidos por los usuarios en la prueba piloto a las imágenes generadas por Clip Guided Diffusion para mejor representación de cada emoción.
Se entrenó un modelo con técnicas de filtrado por máscara de convolución y segmentación para que pueda reconocer al humano del fondo y aplicar las imágenes detrás del usuario en el resultado final.
Máscaras de Segmentación
Modelo de Reconocimiento de Emociones
Utilizamos un modelo creado por p5.js el cuál reconoce puntos claves del rostro constantemente para medir cómo van cambiando las emociones de los usuarios.
Modelo entrenado para reconocer las emociones de los usuarios y capaz traducirlas visualmente en tiempo real.
Modelo Final
Entrenamiento del modelo
Se entrenó el modelo con Pix2Pix a través de Redes Generativas Antagónicas (GAN), el cual consiste en una red generativa y otra discriminadora. La red generativa desarrolla imágenes irreales desde cero, y después esas imágenes pasan el filtro del discriminador.
Conforme se va entrenando el modelo y más imágenes son generadas, el discriminador es engañado por el generador, logrando hacer cada vez archivos más parecidos a la realidad.
EXPERIMENTO
EXPERIMENTO
El alcance principal de este proyecto es un experimento, en el que se pudo poner a prueba el modelo desarrollado y en donde se descubrió si nuestra pregunta de investigación era correcta:
¿Podemos intervenir la percepción de las emociones de los usuarios a través de diseño generativo?
