Un software que combina el Segment Anything Model (SAM) con modelos de búsqueda de respuestas visuales (VQA, por sus siglas en inglés) para su aplicación en el mundo de los videojuegos, concretamente para identificar y etiquetar las partes de múltiples recursos de diferentes videojuegos. El software, que incorpora grandes modelos de lenguaje (LLM), identifica estas partes.
Resumen del proyecto
¿Puedes contarnos brevemente en qué consiste el proyecto que has estado desarrollando?
He evaluado en profundidad el rendimiento de estos modelos, centrándome en la integración y la automatización fluida que aportan a la segmentación de imágenes y el etiquetado de tareas. Tras realizar pruebas exhaustivas y aplicar los modelos en escenarios reales, el sistema supone un primer paso para el etiquetado de recursos de videojuegos. Esto no solo mejora el proceso de desarrollo, sino que abre la puerta a una personalización más creativa y detallada de los videojuegos, lo que enriquece la experiencia de juego y ofrece nuevas posibilidades a desarrolladores y jugadores por igual.
Objetivo del proyecto
¿Qué te motivó a escoger este proyecto en concreto?
La demanda de recursos personalizados y visualmente impactantes es cada vez mayor. Tradicionalmente, los estudios proporcionan representaciones en 2D de estos recursos, que se someten a un mapeado UV para facilitar los ajustes en el espacio 3D. A menudo, este proceso requiere de intervención manual y puede llegar a consumir mucho tiempo, lo que entorpece el flujo creativo de los desarrolladores. Actualmente, para identificar y etiquetar estas partes se sigue un meticuloso proceso manual con múltiples pasos.
Detalles técnicos
Detalles técnicos
¿Puedes explicar los aspectos técnicos del proyecto? ¿Qué software o qué herramientas utilizas?
Una combinación del Segment Anything Model (SAM) con modelos de búsqueda de respuestas visuales (VQA).
Desafíos y soluciones
Desafíos y soluciones
¿Te enfrentaste a algún desafío importante durante el proyecto? ¿Cómo lo superaste? ¿Hay algún momento que destaques especialmente en cuanto a resolución de problemas?
Aplicar estos modelos fundacionales al mapeado UV de imágenes fue lo más complicado, porque utilicé datos con los que estos modelos no habían sido entrenados previamente. La ausencia de datos similares en los conjuntos que se utilizaron para entrenarlos aumentaba el número de falsos positivos y errores de identificación. Por tanto, fueron necesarios un entrenamiento específico y una adaptación considerable de los modelos para gestionar de forma efectiva sus funciones únicas de mapeado UV de imágenes.
Colaboración y trabajo en equipo
Colaboración y trabajo en equipo
¿Has colaborado con otros estudiantes o miembros del equipo en este proyecto? ¿Cómo ha influido la colaboración en el avance del proyecto?:
No he colaborado con otros estudiantes, este proyecto es mío propio.
Aprendizajes y conclusiones
Aprendizajes y conclusiones
¿Qué lecciones has aprendido o qué habilidades has desarrollado trabajando en este proyecto?
Todavía hay múltiples campos en los que la IA no puede sustituir a los seres humanos: hacen falta investigaciones específicas para ampliar las capacidades de la IA en campos especializados, lo que permitirá mejoras notables y aplicaciones más amplias en el futuro, tanto en el desarrollo de videojuegos como en otros ámbitos especializados.
Desarrollo futuro
Desarrollo futuro
¿Tienes planes para seguir desarrollando o mejorando este proyecto en el futuro?
Integración con GPT-4, fusionar máscaras para una misma parte, perfeccionamiento.