Con la irrupción de ChatGPT en Adevinta no hemos parado de hablar de la inteligencia artificial generativa: ¿Esta tecnología ha llegado para ayudarnos o para quitarnos el trabajo? ¿Cómo podemos utilizarla para ser más ágiles y eficientes?

Ante estas dudas creamos un equipo de UX+AI formado por investigadores y diseñadores para tratar de entender mejor de qué trata esta tecnología y cómo podemos utilizarla.

“Inteligencia artificial generativa son todos los productos basados en Inteligencia Artificial que generan contenido (texto, imágenes, vídeos, código, audios, etc) o que integran la generación de contenido dentro del producto.”

Uno de los primeros pasos fue crear una librería de recursos, artículos, herramientas, podcasts, documentales… Internet se llenaba con información sobre el tema y era necesario documentarse para entender el contexto: ¿Qué repercusiones legales tienen estas nuevas herramientas? ¿Cómo afectan a la propiedad intelectual? ¿Y a la información confidencial? ¿Y a los datos personales?...

También nos dimos cuenta de que mientras algunas personas se lanzaban rápidamente a explorar este nuevo territorio, otras necesitaban cierta orientación para poder empezar a dar sus primeros pasos. Entender esta nueva tecnología supone una inversión de tiempo y una base de conocimiento que permita trabajar determinados temas.

¿Cómo plantear un objetivo que pueda ser cumplido con el apoyo de la inteligencia artificial?

En la primera sesión de trabajo de este grupo de UX trazamos las diferentes fases que atraviesa un proyecto típico, desde la concepción hasta el desarrollo, y que en Adevinta tienen este aspecto:

1. Alineamiento y captura de oportunidades:
   En esta fase se define cuál es el objetivo a cumplir, qué información tenemos actualmente del mercado, cuáles son los usuarios y la competencia, etc.

2. Exploración e investigación:
   Aquí definimos y llevamos a cabo nuevas investigaciones para recoger información que necesitemos conocer, detectamos nuevas necesidades, entendemos cuáles son las más importantes, etc.

3. Ideación y generación de hipótesis:
   Una vez detectadas las necesidades, ideamos soluciones que puedan resolverlas, detectamos nuestras suposiciones al respecto, planteamos hipótesis sobre estas necesidades, etc.

4. Validación:
   Una vez escogidas las ideas que pensamos que tendrán más valor, definimos experimentos para evaluar nuestras suposiciones, los llevamos a la práctica, analizamos, etc.

Sobre estas fases, realizamos una sesión de ideación para averiguar cómo podríamos usar la inteligencia artificial en cada paso, por ejemplo: ¿Cómo puede ayudar la IA en la realización de benchmarks de mercado? ¿Cómo podemos apoyarnos en la IA para preparar entrevistas con usuarios?, etc.

Votamos las ideas más interesantes o las que percibimos con más potencial y nos dividimos en equipos para explorar de forma colaborativa las siguientes tareas:

• Recopilar información de fuentes secundarias o desk research
• Determinar la metodología más adecuada para un objetivo de investigación
• Entender mejor para qué sirve cada metodología de trabajo
• Seleccionar métricas adecuadas para validar hipótesis
• Crear textos acordes a un manual de branding y voz
• Analizar feedback cualitativo de usuarios

¿Qué hemos aprendido?

Agilidad en la extracción de un gran volumen de datos

La inteligencia artificial generativa maneja una gran cantidad de información de muchas fuentes diferentes.

ChatGPT puede consultar Internet a tiempo real desde septiembre de 2023, lo que la convierte en una herramienta muy útil para generar una base de conocimiento inicial sobre diferentes temas, podrá aportarnos con facilidad datos como la cifra de paro o el parque de coches en España.

A finales de 2023 para poder hacer consultas a ChatGPT con acceso a Internet podemos instalar el plugin de Chrome “WebChatGPT”.

Una vez instalado podemos preguntar por ejemplo:

¿Cuál es la cifra de empleo en España?

A lo que contestará:

En el tercer trimestre de 2023, España ha alcanzado un nuevo récord de empleo, con 21.26 millones de personas ocupadas, marcando un máximo histórico de ocupación y población activa. Sin embargo, es importante mencionar que la cifra de empleo puede variar trimestralmente debido a diferentes factores económicos.

Y citará las siguientes fuentes con sus correspondientes links:

ine.es - Encuesta de población activa. EPA. Tercer trimestre 2023
lamoncloa.gob.es - En el tercer trimestre se crearon 209.100 empleos y se...
elpais.com - España logra un nuevo récord de empleo con 21,3...

Gracias a “WebChatGPT” la consulta se realiza a tiempo real en Internet y obtenemos las fuentes consultadas, por lo que podemos contrastar los datos accediendo al origen de los mismos.

Probable no siempre significa válido

Dado que este tipo de inteligencia artificial es generativa, estas herramientas generan resultados estadísticamente probables en base a órdenes o prompts. Es decir, los resultados no son reales, sino probables.

Por ejemplo, si le preguntamos

¿Cómo puedo aprender a hacer entrevistas como un UX Researcher?

Nos responderá:

Para aprender a realizar entrevistas como un UX Researcher, sigue estos consejos:
- Prepárate adecuadamente: Antes de la entrevista, investiga sobre el tema, el usuario y el contexto para formular preguntas relevantes.
- Conoce preguntas esenciales: Familiarízate con preguntas clave sobre investigación, diseño y experiencia del usuario para abordar aspectos fundamentales.
- Guía para entrevistas a usuarios: Utiliza una guía que te ayude a preparar, conducir y presentar conclusiones de las entrevistas a usuarios.
- Pregunta sobre experiencia previa: Enfócate en proyectos anteriores de investigación UX del entrevistado, herramientas utilizadas y su enfoque en dichos proyectos.
- Explora la web de la empresa: Antes de una entrevista de trabajo, revisa la web de la empresa y prepara preguntas específicas sobre su enfoque UX.
- Recuerda que la práctica constante y la revisión de casos reales mejorarán tus habilidades en entrevistas como UX Researcher.

En este caso varios de los pasos recomendados no están relacionados con nuestra pregunta, como preguntar experiencia previa en investigación UX o explorar la web de la empresa. Esto se debe a que está mezclando entrevistas con usuarios como un UX Researcher con entrevistas de trabajo para ser UX Researcher.

Si usamos WebChatGPT obtendremos las fuentes de referencia. En este caso podemos reconocer algunas páginas con reputación en el campo UX, pero al revisar los títulos vemos que tratan sobre realizar entrevistas para trabajar como UX Researcher:

uxplanet.org - Diez consejos para realizar una entrevista exitosa de UX Research
torresburriel.com - Preguntas esenciales en entrevistas de UX Researcher
torresburriel.com - Guía para hacer entrevistas a usuarios
airavirtual.com - 4 preguntas para la entrevista con un UX Researcher
jmarquez.com - 7 consejos para tu entrevista de trabajo en UX

Esto nos obliga a revisar la información antes de darla por válida. Por ello es importante que la persona que ejecuta estos prompts tenga una base de conocimiento para poder evaluar si la información generada tiene sentido o no.

Orientación hacia buenas prácticas

Si le damos un objetivo puede sugerirnos qué tareas, procesos o metodologías podemos utilizar para conseguirlo. Si le pedimos que defina un plan de investigación nos va a proponer un plan detallado, si le pedimos que defina un experimento nos va a aportar métricas y nos va a explicar cómo recogerlas.

Quizás no sigamos sus sugerencias paso a paso pero nos va a ofrecer una base inicial orientativa y una visión alternativa que complemente nuestro punto de vista. Al igual que en el punto anterior, es muy importante tener cierta experiencia en el ámbito que estamos consultando para poder evaluar si sus propuestas son acertadas o descabelladas.

Si le pedimos que nos ayude a redactar el guión de una entrevista sobre búsqueda de trabajo:
Sugiéreme un guión de entrevista para hablar con una persona y entender sus motivaciones para encontrar trabajo

Nos proporciona el siguiente resultado:
1. Inicio de la Entrevista:
Saludo y presentación.
Crear un ambiente cómodo y relajado.
2. Contexto Profesional:
- ¿Cuándo empezaste tu carrera profesional?
- ¿Cómo describirías tu experiencia laboral hasta ahora?
3. Motivaciones para Cambiar:
- ¿Qué te motiva a buscar un nuevo trabajo?
- ¿Hay aspectos específicos en tu trabajo actual que te gustaría cambiar?
4. Expectativas del Nuevo Trabajo:
- ¿Cuáles son las principales cosas que buscas en un nuevo trabajo?
- ¿Qué aspectos valoras más en un entorno laboral?
5. Desafíos y Logros:
- Háblame de un desafío profesional que hayas superado.
- ¿Cuál es tu logro laboral del que te sientes más orgulloso/a?
6. Crecimiento Profesional:
- ¿Cómo visualizas tu crecimiento profesional a corto y largo plazo?
- ¿Qué tipo de oportunidades de desarrollo buscas?
7. Cultura Organizacional:
- ¿Qué tipo de cultura organizacional te resulta más motivadora?
- ¿Prefieres trabajar de manera colaborativa o independiente?
8. Adaptabilidad:
- ¿Cómo te adaptas a cambios en el entorno laboral?
- ¿Has enfrentado situaciones de cambio en trabajos anteriores?
9. Balance Vida-Laboral:
- ¿Cómo gestionas el equilibrio entre trabajo y vida personal?
- ¿Hay aspectos específicos en un trabajo que contribuirían a tu bienestar?
10. Cierre de la Entrevista:
- ¿Hay algo más que quieras agregar sobre tus motivaciones laborales?
Agradecer por la participación y explicar los siguientes pasos.
Recuerda personalizar las preguntas según la situación y adaptar el guión para crear un diálogo fluido y genuino.

Al revisar las fuentes consultadas por WebChatGPT vemos que, dado que no hemos incluido en nuestra pregunta que se trata de una entrevista de UX Research, no está interpretando ese contexto y las fuentes no se ciñen al mismo. Todas las fuentes citadas se refieren a entrevistas de recursos humanos. A pesar de ello la información puede resultarnos útil:
studocu.com - Guión individual de preguntas para la entrevista sobre desempeño y motivación laboral
recursos-empresa.computrabajo.com - Preguntas para saber si un candidato está motivado
business.linkedin.com - 30 preguntas de conducta para entrevistas
manatal.com - Preguntas de la entrevista para determinar el nivel de compromiso y motivación
geovictoria.com - ¿Cómo responder a la pregunta “motivación por el cargo”?
roberthalf.cl - Cómo responder: ¿Por qué quieres trabajar con nosotros?

La precisión en el prompt mejora el resultado

Cuando empezamos a probar una inteligencia artificial generativa solemos utilizar órdenes o prompts generales. ChatGPT es una herramienta conversacional, lo que significa que almacena el contexto de la conversación por lo que podemos ir construyendo cada pregunta sobre la anterior: puedo pedirle que defina un plan de research que incluya entrevistas, tests de usuarios y una encuesta y después pedirle que me escriba el guión de ésta última. Poco a poco conforme nos adentramos en los detalles conseguimos mejores resultados.

Si para conseguir mejores resultados que en los ejemplos anteriores escribimos lo siguiente:
Sugiéreme un guión de entrevista de UX Research para recabar las motivaciones de una persona a la hora de encontrar trabajo

Proporciona una información similar a los casos anteriores aunque contextualiza el objetivo de cada apartado:
Guión de Entrevista de UX Research sobre Motivación para Buscar Trabajo
1. Introducción:
Saludo y agradecimiento por participar.
Breve explicación del propósito de la entrevista: comprender las motivaciones para buscar trabajo.
2. Contexto Personal:
Preguntas iniciales para conocer al entrevistado/a.
- ¿Puedes hablarme un poco sobre ti y tu experiencia profesional?
- ¿Cómo describirías tu situación laboral actual?
3. Motivaciones Actuales:
Exploración de las razones detrás de la búsqueda de empleo.
- ¿Cuáles son las principales razones que te impulsan a buscar trabajo en este momento?
- ¿Hay algún evento o cambio reciente que haya influido en tu decisión de buscar empleo?
4. Expectativas y Metas:
Investigación sobre las expectativas y metas laborales.
- ¿Qué esperas lograr en tu próximo trabajo?
- ¿Tienes metas profesionales específicas que estás buscando cumplir?
5. Valoraciones Profesionales:
Evaluación de aspectos profesionales valorados.
- ¿Qué aspectos valoras más en un entorno laboral?
- ¿Hay habilidades o conocimientos particulares que buscas desarrollar?
6. Cambio de Entorno Laboral:
Indagación sobre la influencia del entorno laboral actual.
- ¿Hay aspectos específicos en tu trabajo actual que te gustaría cambiar?
- ¿Cómo te imaginas un entorno laboral ideal?
7. Experiencias Anteriores:
Reflexión sobre experiencias laborales previas.
- ¿Qué aprendiste de tus trabajos anteriores que influya en tu búsqueda actual?
- ¿Hay aspectos positivos o negativos de trabajos anteriores que estás teniendo en cuenta?
8. Cierre:
Preguntas finales y agradecimiento.
- ¿Hay algo más que quieras compartir sobre tus motivaciones para buscar trabajo?
Agradecimiento por la participación y explicación de los próximos pasos.
Este guión busca profundizar en las motivaciones y expectativas del entrevistado/a, siguiendo la metodología de UX Research para obtener insights valiosos.

Gracias a WebChatGPT podemos consultar las fuentes y en este caso podemos comprobar que parecen más correctas. Las dos últimas tratan sobre la realización de entrevistas de trabajo para ser UX Researcher pero pueden ser un buen complemento a las otras fuentes para informar sobre la temática de empleo:
toptal.com - 10 Essential UX Research Interview Questions and Answers
interaction-design.org - Common UX Research Interview Questions
testgorilla.com - 16 unique UX research interview questions and answers
linkedin.com - I asked ChatGPT the most common UXR job interview
indeed.com - 49 UX Researcher Interviewer Questions and Example

Resultados imprecisos en el análisis cualitativo

Los expertos en investigación dedicamos muchas horas a analizar información. Analizamos transcripciones de entrevistas, respuestas de encuestas, feedback que nos han dejado en las apps o web, etc. Sabemos que requiere mucho esfuerzo y que en ocasiones no es un trabajo muy valorado.

Los grandes volúmenes de información que manejamos hacen que éste sea uno de los puntos que más interesa automatizar.

Si volcamos un grupo de comentarios de usuarios precedida de la siguiente instrucción:
Imagina que la siguiente información son comentarios dejados por usuarios de una web, clasifícalos en categorías.

ChatGPT propone una categorización que es muy poco relevante:
- Solicitudes de Mejoras en la Plataforma
- Experiencia de Usuarios
- Problemas con Ofertas y Empresas
- Solicitudes Específicas y Feedback
- Dificultades en Procesos de Selección

Además nos lista una serie de fuentes consultadas que, dado que en este caso le estamos aportando todo el contenido nosotros, no tiene sentido.

Por el momento, las pruebas que hemos realizado arrojan resultados bastante imprecisos y las clasificaciones son demasiado genéricas para ser interesantes. No hemos conseguido ni de lejos que alcancen la calidad del análisis realizado por personas. Los modelos tampoco parece que consigan aprender a suficiente velocidad ni que puedan llegar a ser autónomos a corto plazo, y el entrenamiento es muy costoso.

Conclusiones

La inteligencia artificial tiene un gran potencial para la extracción de información de mercado, citar referencias o realizar cálculos. Su gran capacidad estriba en poner a tu disposición información que ya fue generada en algún lugar: libros, artículos, manuales, etc. Genera peores resultados conforme queremos precisar información o cuando queremos que analice datos sobre los que no tiene registros previos.

Nuestra conclusión es que, al menos por el momento, no nos va a quitar el trabajo dado que no cubre satisfactoriamente todas las tareas que realiza un UX en su día a día, sino que más bien es un apoyo para hacernos más eficientes y ágiles en la realización de ciertas tareas.

Asistente personal de una persona experta

Las herramientas de inteligencia artificial generativa funcionan mejor cuando son utilizadas por una persona que tiene cierta experiencia en el ámbito y que quiere solucionar ciertas tareas cuyo resultado después revisará. Es importante entender que aunque el resultado suene realista puede que no sea real, lo que podría engañar a una persona con poca experiencia o que no pueda dedicar suficiente tiempo a comprobar los resultados.

División del trabajo por capacidades

Utilizar herramientas de inteligencia artificial supone sobre todo un ejercicio de reflexión y análisis: ¿Dónde está la máquina y dónde estoy yo? ¿Qué tareas puedo delegar a la máquina y qué tareas es mejor que haga yo?... Todas estas preguntas tienen muchas implicaciones éticas y para responderlas debemos a su vez responder a otras preguntas como ¿En qué somos mejores los humanos? ¿En qué nos aventajan las máquinas? ¿Qué criterios utilizamos para definir “mejor”? ¿Qué impacto provocamos en las personas cuando es un humano el que realiza la tarea o cuando la realiza una herramienta de inteligencia artificial generativa?, etc.

Si preguntamos a ChatGPT al respecto, nos dice:
“Los humanos y la IA tienen cada uno sus puntos fuertes. Los humanos destacan en creatividad, inteligencia emocional y resolución de problemas complejos. Comprenden el contexto, empatizan y se adaptan a nuevas situaciones de un modo que a la IA le cuesta actualmente. Por otro lado, la IA supera a los humanos cuando se trata de procesar grandes cantidades de datos con rapidez, realizar tareas repetitivas con gran precisión y manejar cálculos complejos.”

Apoyarnos en la IA generativa para potenciar nuestras capacidades

¿Qué podemos hacer como UX?

Nuestra capacidad empática y curiosa nos hace únicos para:

• Conocer al usuario, sus necesidades, problemas, objetivos, motivaciones, etc.
• Conocer el contexto del producto, la competencia y el estado de mercado
• Guiar a la inteligencia artificial hacia unos objetivos complejos o cambiantes
• Asegurar que la voz de los usuarios se tiene en cuenta

Podemos apoyarnos en la inteligencia artificial generativa para aumentar nuestras competencias allí donde las herramientas nos superan:

• Automatizar tareas repetitivas
• Consultar grandes volúmenes de datos y fuentes de información
• Realizar cálculos

Mientras tanto, es imperativo velar por la transparencia, la ética y la explicabilidad del sistema para conseguir la confianza de las personas que utilizan aquello que construimos.

El grupo de trabajo UX+AI de Adevinta está integrado por: David González, Ariadna Gotanegra, Álvar Sans, Daniel Martín, Víctor Solà, Turo López, Cristina Pérez, Joan Morgadella, Eduard Gandol, Maika García, Vicky Baeza, Irene Rengel, Christian Jiménez y María Pérez de Arrilucea.