Capítulo 15

Soñando con dragones: Notas sobre metodología para el diseño colaborativo de un prototipo indígena de generación de imágenes

Dave Lynch y Sam Hallas

Esta serie de reflexiones surge del taller de una semana de duración que se celebró en Convention House, East Street Arts, en Leeds, en marzo de 2024, con el objetivo principal de reunir al equipo del proyecto AIAI con los miembros del colectivo de artistas-tecnólogos Immersive Networks [Redes Inmersivas] para diseñar un prototipo de generación de imágenes basado en Stable Diffusion. Dragon Dreaming [lit. soñando con dragones] es una metodología de trabajo colaborativo que tiene su origen en las prácticas aborígenes y es muy popular en los círculos indígenas de Brasil; dos de las personas presentes (Sebastián Gerlic y Alex Potiguara) eran facilitadores formados en Dragon Dreaming^[1] Aunque los miembros de Immersive Networks utilizaban su propia metodología de ‘narración aplicada’, se observaron claras coincidencias con Dragon Dreaming y se detectaron términos clave comunes a ambas metodologías, lo que contribuyó a cohesionar al grupo en torno a un ‘lenguaje’ metodológico común. El texto principal lo ha escrito Dave, y las notas de campo son de Sam.

Taller de Leeds 1: averiado

La barra de progreso avanza lentamente. Son las 2 de la madrugada de la segunda jornada. Desde nuestra llegada, hemos acumulado más de catorce horas entre largas noches y madrugones en un intento por reactivar el software que habíamos utilizado para crear un modelo de generación de imágenes mediante IA, entrenado con nuestras propias imágenes y desarrollado como parte de un proyecto anterior. Esta iba a ser la demostración técnica clave de cómo podría ser un prototipo de generación de imágenes mediante IA. Mientras esperamos, reflexionamos sobre la creciente brecha entre nuestro equipo y el resto del grupo. Nuestra búsqueda de un modelo funcional nos impide estar presentes a la hora de las comidas y por las tardes. Estamos incumpliendo nuestras propias reglas. La barra de progreso queda bloqueada en noventa por ciento. La computadora se bloquea por decimocuarta vez. Me temo que no es solo nuestra tecnología la que no funciona.

El pasado está por delante de nosotros (nota de campo)

aruma dice: ‘Como podemos ver el pasado, este se extiende ante nosotros. Como el futuro está oculto, no podemos vislumbrarlo; se encuentra detrás de nosotros’. En inglés, decir que alguien ‘vive en el pasado’ significa que es incapaz de comprometerse con su realidad inmediata porque se ha refugiado en los recuerdos. Ser consciente del pasado, al igual que serlo del paisaje que tienes ante ti, te permite actuar con conciencia e inteligencia.

El encargo para el prototipo

Nuestra tarea para esta semana consiste en ponernos de acuerdo sobre el diseño de un prototipo que abarque tanto la tecnología como las responsabilidades sociales que conlleva la creación de una herramienta de IA hecha a medida. El prototipo deberá permitir a los usuarios generar imágenes a través de una interfaz sencilla en español y portugués; entrenar modelos personalizados utilizando imágenes propias, como rostros, ropa, naturaleza y obras de arte; y ser accesible de forma remota a través de diversos dispositivos y métodos.

Nuestro enfoque para lograrlo combina la facilitación creativa, la neurociencia, el diseño de la información y lo que denominamos ‘narración aplicada’. Somos, ante todo, artistas, diseñadores y científicos con experiencia en la interacción entre seres humanos y computadoras, artes visuales y performance improvisado en directo. Es fundamental destacar que nosotros también seguimos buscando el sentido en esta frontera de la IA. Aunque nuestro trabajo con la IA comenzó hace más de una década, estamos al mismo nivel que nuestros invitados en la exploración de la construcción de sentido y el intercambio de conocimientos. Nuestras historias son radicalmente diferentes, y no se nos escapa el hecho de que seamos tres hombres blancos presentando la tecnología tecnocolonialista y extractivista que es la IA. Ese es nuestro punto de partida.

Metodología: crear un espacio

Nuestro método de facilitación creativa se centra en crear y mantener espacios seguros para el entrelazamiento crítico y la asunción de riesgos. Contamos con décadas de experiencia compartida en el diseño de laboratorios de investigación basados en las artes. Estas experiencias nos han enseñado a prestar atención a los límites, y en el contexto de AIAI, nuestros límites incluyen:

Neutralidad. El encuentro principal debe celebrarse en un espacio neutral que equilibre las dinámicas de poder entre los participantes, idealmente un espacio gestionado por artistas y/o por la comunidad, con instalaciones para cocinar, y en ningún caso en edificios universitarios.

Espacios intermedios. Esperamos que la mayor parte del recorrido o del ‘trabajo’ no tenga lugar en el espacio principal de reunión, sino en los espacios intermedios: mercados, bares, la pista de baile o en la cocina, durante una comida.

Crear un hogar. Buscamos lugares donde todos puedan dormir, vivir y comer en el mismo espacio, a ser posible cerca del espacio principal del taller. Se trata más de eventos residenciales creativos que de talleres con horarios estrictos y divisiones entre actividades.

Comer de forma crítica. Nos gusta encontrar un artista u otro creativo que sepa cocinar y charlar con el grupo, que pueda actuar como un espejo del viaje. Una comida bien equilibrada alimenta la capacidad de los participantes para comprometerse en profundidad, especialmente al trabajar con tres idiomas en territorios desconocidos.

Aceptar la incertidumbre. Empezamos sin saber nada; nuestro objetivo es fracasar rápido, con fuerza y a menudo; corremos hacia la dificultad. Buscamos fomentar y mantener un espacio para nuestras tensiones de forma abierta.

Reciprocidad. Nos esforzamos por dejar espacio para que los demás hablen primero. Intentamos que las presentaciones sean sencillas y somos conscientes de nuestra posición cultural y nuestros privilegios.

Taller de Leeds 2: riesgo y ritual

El primer día transcurre a un ritmo pausado. Como grupo, compartimos historias, bendiciones y objetos, que aportamos a un altar comunitario. Se respira un ambiente de emoción y aprensión ante la semana que tenemos por delante. El segundo día comienza al aire libre, a pesar del frío. Formamos un círculo para realizar un ritual de quema de hierbas y cantamos canciones, ampliando el espacio para la unión en medio del telón de fondo mundano de los bloques de pisos y la carretera de circunvalación M621. En marcado contraste, nuestra primera sesión formal desentraña los cuestionables fundamentos éticos de los modelos de IA para la generación de imágenes. No nos guardamos nada a la hora de compartir la realidad de cómo cada uno de los modelos predictivos de Inteligencia aArtificial es un derivado de formas de extracción pública o privada sin consentimiento, que a menudo implican violencia. Se construyen a partir de bases que contienen imágenes procedentes de los rincones más oscuros de Internet, como el abuso de niños, adultos y pueblos. Incluso los modelos de IA de imágenes que pretenden ser éticos, como Stable Diffusion, son prácticas capitalistas subversivas y abusivas disfrazadas de investigación. Los rostros de los intérpretes se tornan graves mientras compartimos la explotación implícita en los miles de millones de imágenes recopiladas, el coste humano del etiquetado de datos (Perrigo 2023) y la falta de voluntad del sector para reconocer o cambiar estas prácticas.

En un taller de una semana de duración, la gestión rápida y abierta de las tensiones puede facilitar la cohesión temprana del grupo. Comenzar por reconocer abiertamente los problemas del sector de la IA – una provocación que posiciona cada imagen generada como cómplice de estas historias – conlleva el riesgo de provocar la desmotivación. Sin embargo, el mayor riesgo habría sido dejar que la tecnología actuara como encubrimiento y co-crear a sabiendas un prototipo con un trasfondo profundamente poco ético sin reconocerlo.

Mantener tus palabras en mi boca (nota de campo)

En mi propio trabajo, cuando colaboro con alguien, le escucho con atención e intento repetirle el significado de sus palabras. Entonces me indican en qué acierto y en qué me equivoco. Un acto similar de repetición verbal se aprecia muy claramente en los debates que tienen lugar aquí debido a los tres idiomas, pero también tiene otra función. Aparte de los tres intérpretes profesionales presentes en la sala, muchas otras personas deciden intervenir para traducir en distintos momentos. Se convierte en un acto de defensa. Soy testigo de cómo se va forjando la confianza, el entendimiento y el consenso, a medida que las palabras se repiten de boca de diferentes personas y se escuchan de nuevo en distintos idiomas.

Taller de Leeds 3: ¿Qué entiendes por ‘inteligencia’?

‘¿Qué entiendes por “inteligencia”?’, pregunta Loreto.^[2]

Christophe^[3] responde: ‘En Occidente, tenemos una concepción muy limitada de la inteligencia. Solo somos capaces de ver lo que podemos medir empíricamente. Tenemos poco respeto por la inteligencia de las plantas, los animales o la inteligencia de una comunidad’.

Se anuncia un descanso. Al volver, el debate anima la sala.

Tadeu postula: ‘La IA ya está aquí. Podemos reconocer qué y quién nos ha precedido y, aun así, crear lo que vendrá después. Cuando tenemos la opción de un modelo que es ético, podemos trabajar con él’.

Mariela añade: ‘Tenemos que saber qué significa esto para nuestros jóvenes. Este viaje trata, en parte, de cómo damos forma a cómo se desarrolla esto’.

El riesgo que hemos asumido al compartir los antecedentes éticos dudosos ha empezado a unir al grupo. Pero la gente todavía parece insegura. La energía de nuestro primer encuentro parece un recuerdo lejano. Aceptamos la incertidumbre.

Escuchar a través de mis ojos (nota de campo)

Cuando no entiendo el idioma, mi nivel de atención sigue siendo el mismo, pero las voces se convierten en una especie de melodía. Escucho únicamente a través de mis ojos. Para compensarlo, mis ojos recorren el grupo captando gestos, expresiones y otras reacciones que normalmente se me pasarían por alto. Se trata de una comunicación agotadora, rica y llena de matices.

Taller de Leeds 4: ¿Cuáles son tus sueños?

El tercer día, tras haber compartido con el grupo la historia oculta de la IA, Sebas sugiere comenzar la mañana con una sesión sobre los sueños. Uno de los miembros del equipo académico propone enmarcar los sueños en torno a los deseos del grupo sobre cómo podrían utilizar la tecnología de imágenes de IA: ‘¿Qué sueñan que pueda hacer por ustedes y por las personas a las que representan?’, de modo que sirva como una forma de evaluación del antes y el después.

Sebas responde con vehemencia: ‘De ninguna manera. No podemos preguntar eso sobre los sueños de la gente. No queremos medir un maldito sueño’.

El grupo llega en un silencio apremiante. Sebas se sienta, con los ojos cerrados, sereno: ‘Les pregunto ahora mismo, en este preciso instante, ¿cuáles son sus sueños?’.

Mientras contemplo mi sueño, reflexiono sobre el aislamiento que genera la ‘cultura del crunch’, unos patrones de trabajo muy extendidos en los sectores tecnológico y creativo que valoran la alta presión y la productividad basada en el agotamiento por encima de la salud y las relaciones humanas. Veo cómo esto se refleja en las culturas académicas; sin embargo, mientras que el espíritu en los sectores tecnológico y creativo es ‘fracasar rápido, con fuerza y a menudo’, en el ámbito académico el fracaso suele ignorarse o solo se aborda a posteriori, oculto tras las metodologías. De repente me doy cuenta de que estamos aquí para hablar de nuestros fracasos, no para rendir cuentas de ellos más tarde. Estamos aquí para dar prioridad a nuestras sinergias humanas por encima de las competencias técnicas. Anoto mi sueño celebrando mi fracaso. Con la voz temblorosa, arrodillada en el suelo, lo leo en voz alta. Es algo como:

‘Sueño con dejar de lado la tecnología que estamos intentando que funcione para ustedes. A cada hora de la comida y por la noche, intentamos reactivar un modelo de generación de imágenes por IA hecha a medida para demostrar lo que es capaz de hacer. En cambio, sueño con sentarme a comer con ustedes a la hora de las comidas’.

Sebas coge el papel y lo lee en voz alta. Las traducciones resuenan por la sala, los cuerpos se abren, las sonrisas se cruzan con mi mirada mientras se restablece la conexión. Volvemos a conectar con nuestro objetivo principal, que no es simplemente construir un prototipo técnico; ante todo, estamos creando un prototipo de lo inmaterial y lo intangible: la confianza, la vulnerabilidad y las delicadas conexiones que mantienen unido a nuestro grupo.

Un modelo y un perro

Aunque no hayamos conseguido reactivar nuestro prototipo de generación de imágenes, que habría permitido al grupo generar y utilizar sus propios modelos de imagen a lo largo de la semana, sabemos que aún podemos mostrar a la gente una representación de este proceso, basándonos en mostrarles algunas de las imágenes que el prototipo había generado en fases anteriores del proceso de entrenamiento, antes de que se bloqueara. Esto bastará como validación. Nuestro objetivo aquí es utilizar una demostración en directo del proceso de generación de imágenes para abordar de forma crítica cuestiones relacionadas con la propiedad, la autoría y los permisos. Necesitamos unas ocho imágenes para el entrenamiento del modelo, y nuestra elección de las imágenes es importante. Cada imagen debe mostrar el mismo sujeto, como un patrón o una persona, pero tomada desde diferentes ángulos y con diferentes encuadres. Las imágenes deben ser recientes, validadas por nuestra experiencia compartida de la semana hasta el momento, y deben mostrar un sujeto neutro. Este es el proceso al que nos referimos como ‘narración aplicada’.

Decidimos utilizar a Ed, el perro de Thea, para este propósito. Había conocido y entablado amistad con varios miembros del grupo la primera noche en el vestíbulo del albergue. Así fue como sus imágenes se utilizaron como punto de partida que dio lugar a un debate sobre cuestiones éticas relacionadas con las responsabilidades del uso compartido de modelos dentro del grupo y sobre cómo deben gestionarse el permiso y la atribución – tanto en relación con sujetos humanos como no humanos – en el caso de las imágenes generadas por IA y, en particular, en relación con las epistemologías indígenas.

Prisioneros de la ciencia (nota de campo)

Tadeu habla de cómo los objetos sagrados de su pueblo han sido robados y dispersados por todo el continente y el mundo. Estos objetos preciosos no solo son ‘del pasado’, sino que siguen siendo necesarios, siguen funcionando, siguen ‘activos’. Saber esto y saber que están ocultos a su pueblo parece una especie de tortura. Tadeu también habla de su gente, de quienes fueron secuestrados, asesinados y diseccionados en laboratorios. Hay archivos de museos que contienen restos pertenecientes a personas de su pueblo. Como los espíritus de la gente de Tadeu no se han ido, él considera que estas personas son prisioneros – prisioneros de la ciencia.

El mercado municipal de Leeds y la circulación global de imágenes de sujetos indígenas

Tras una visita al mercado municipal de Leeds, se nota un cambio a la baja en el estado de ánimo. Las imágenes de las camisetas y otros artículos efímeros muestran representaciones estereotipadas e inexactas de sujetos indígenas. Esto no solo refleja los retos más amplios del sesgo cultural inherente a los modelos, sino que también pone de manifiesto la falta de capacidad de acción que el grupo de artistas y escritores indígenas posee en territorios y tecnologías. Para abordar este desequilibrio, no solo debemos darles el control total del prototipo que estamos diseñando, sino que necesitamos crear un objeto artístico que algún día pueda ser repatriado.

Seguridad de datos indígenas

Debido a la naturaleza potencialmente sensible desde el punto de vista cultural de las imágenes del grupo que se utilizarán para entrenar los modelos de generación de imágenes hechos a medida y también al deseo de proteger los datos, nuestra única opción para alojar el prototipo es utilizar una computadora física en lugar de alternativas más rápidas basadas en la nube, en las que se desconocen la ubicación, los permisos y el uso más amplio de las imágenes de entrada y salida. (La ventaja de todas estas decisiones es que también reducen la huella de carbono de lo que estamos haciendo). Nuestro plan inicial es alojarlo en la computadora de nuestro estudio y permitir el acceso mediante logins personales. Sin embargo, tras los debates en torno a la gestión de los bienes culturales, nos damos cuenta de que el prototipo debe alojarse en un laptop, que será una especie de objeto de arte. Otro aspecto positivo de alojar el prototipo en un laptop es que, si se desea, la eliminación del prototipo y de todos sus datos sería definitiva y físicamente demostrable mediante un vídeo en el que se rompiera el laptop en pedazos.

Me dirijo de inmediato a comprar un laptop para este fin. Los debates en curso se centran en cómo el grupo gestionará y accederá a su espacio en el dispositivo y en los permisos para compartir modelos. Bautizamos el prototipo como IndigenIA. Cuando llego con el nuevo laptop, Loreto me pide que se lo deje en las manos. Abro el embalaje y ella se ilumina al ver el logotipo del dragón grabado en la carcasa. ‘El dragón es nuestro amigo, es un buen presagio’, dice. Le respondo con historias sobre el dragón como poderoso símbolo de esperanza, resistencia y protección; un ser de gran poder, que existe más allá del bien y del mal. El ordenador pronto pasa a conocerse como ‘El Dragón’. Para demostrar el funcionamiento del modelo, generamos y compartimos una serie de imágenes del perro Ed encontrándose con un dragón en los parajes salvajes de West Yorkshire (véase Fig. 15.1). Como parte del proceso de aprendizaje, los usuarios generaron a su vez imágenes en las que el sujeto de su modelo se encontraba de alguna manera con un dragón (véase Fig. 15.2).

Fig. 15.1. Dave Lynch, El perro Ed, marzo de 2024. Arriba a la izquierda: fotografía original; arriba a la derecha y abajo a la izquierda y a la derecha: imágenes generadas como prueba de concepto del proceso de generación de imágenes a medida, utilizando Stable Diffusion como base y con un modelo de adaptación de bajo rango (LoRA) entrenado con imágenes del perro Ed.

Fig. 15.2. Arriba: aruma|Sandra De Berduccy y Dave Lynch generando imágenes con el prototipo IndigenIA. Captura de pantalla: aruma|Sandra De Berduccy, mayo de 2024. Abajo: Mariela Tulián, Autorretrato con Dragón, basado en fotografías de su persona; imagen generada en el prototipo IndigenIA con un modelo LoRA, mayo–junio de 2024.

Reflexiones finales: IA y epistemologías indígenas

‘Todo lo que creamos con esta tecnología está vivo, tiene alma’, dice Mariela, mientras nos preparamos para compartir la propuesta final del prototipo con el grupo.

Esta afirmación ha transformado mi enfoque de la IA resultando en una visión basada en el cuidado y la crianza; una resistencia pausada al crujir de la productividad occidental, a los voraces centros de datos y al progreso empírico a cualquier coste humano. Si consideramos nuestras creaciones de IA como seres vivos, ¿cuántos crearíamos? ¿A quiénes llamaríamos sus parientes? ¿Cuál sería nuestro acercamiento a la colaboración?

1. Para obtener más información sobre Dragon Dreaming, consúltese https://dragondreaming.org/. ↑

2. Loreto Millalén, una de los integrantes indígenas del equipo. Todas las intervenciones se ofrecen únicamente en español, traducidas notas tomadas en inglés durante los talleres. ↑

3. Christophe de Bézenac es neurocientífico y otro de los miembros del colectivo Immersive Networks. ↑