Capítulo 15

Sonhando com dragões: notas sobre metodologia para o projeto colaborativo de um protótipo indígena de geração de imagens

Dave Lynch e Sam Hallas

Esta série de reflexões surgiu a partir de uma oficina de uma semana realizada na Convention House, East Street Arts, em Leeds, em março de 2024, com o objetivo principal de reunir a equipe do projeto AIAI com os membros do coletivo de artistas-tecnólogos Immersive Networks [Redes Imersivas] para projetar um protótipo de geração de imagens baseado no Stable Diffusion. Dragon Dreaming [lit. sonhando com dragões] é uma metodologia de trabalho colaborativo que tem origem nas práticas aborígenes e é muito popular nos círculos indígenas do Brasil; duas das pessoas presentes (Sebastián Gerlic e Alex Potiguara) eram facilitadores formados em Dragon Dreaming.^[1] Embora os membros da Immersive Networks utilizassem sua própria metodologia de ‘narração aplicada’, observaram-se claras semelhanças com o Dragon Dreaming e foram identificados termos-chave comuns a ambas as metodologias, o que contribuiu para coesionar o grupo em torno de uma ‘linguagem’ metodológica comum. O texto principal foi escrito por Dave, e as anotações de campo são de Sam.

Oficina de Leeds 1: quebrado

A barra de progresso avança lentamente. São 2 da manhã do segundo dia. Desde nossa chegada, acumulamos mais de quatorze horas entre noites longas e madrugadas, na tentativa de reativar o software que havíamos utilizado para criar um modelo de geração de imagens por IA, treinado com nossas próprias imagens e desenvolvido como parte de um projeto anterior. Essa seria a demonstração técnica fundamental de como poderia ser um protótipo de geração de imagens por IA. Enquanto esperamos, refletimos sobre a crescente distância entre nossa equipe e o resto do grupo. Nossa busca por um modelo funcional nos impede de estar presentes na hora das refeições e à tarde. Estamos descumprindo nossas próprias regras. A barra de progresso fica travada em noventa por cento. O computador trava pela décima quarta vez. Temo que não seja apenas nossa tecnologia que está quebrada.

O passado está à nossa frente (nota de campo)

aruma diz: ‘Como podemos ver o passado, ele se estende diante de nós. Como o futuro está oculto, não podemos vislumbrá-lo; ele está atrás de nós’. Em inglês, dizer que alguém ‘vive no passado’ significa que é incapaz de se comprometer com sua realidade imediata porque se refugiou nas lembranças. Estar consciente do passado, assim como estar consciente da paisagem que se tem diante de si, permite agir com consciência e inteligência.

A encomenda para o protótipo

Nossa encomenda para esta semana consiste em chegarmos a um acordo sobre o design de um protótipo que abranja tanto a tecnologia quanto as responsabilidades sociais inerentes à criação de uma ferramenta de IA sob medida. O protótipo deverá permitir que os usuários gerem imagens por meio de uma interface simples em espanhol e português; treinem modelos personalizados utilizando imagens próprias, como rostos, roupas, natureza e obras de arte; e seja acessível remotamente por meio de diversos dispositivos e métodos.

Nossa abordagem para alcançar isso combina facilitação criativa, neurociência, design de informação e o que chamamos de ‘narrativa aplicada’. Somos, antes de tudo, artistas, designers e cientistas com experiência na interação entre seres humanos e computadores, artes visuais e performance improvisada ao vivo. É fundamental destacar que nós também continuamos buscando sentido nessa fronteira da IA. Embora nosso trabalho com a IA tenha começado há mais de uma década, estamos no mesmo nível que nossos convidados na exploração da construção de sentido e da troca de conhecimentos. Nossas histórias são radicalmente diferentes, e não nos escapa o fato de que somos três homens brancos apresentando a tecnologia tecnocolonialista e extrativista que é a IA. Esse é o nosso ponto de partida.

Metodologia: criar um espaço

Nosso método de facilitação criativa se concentra em criar e manter espaços seguros para o entrelaçamento crítico e a assunção de riscos. Contamos com décadas de experiência compartilhada na concepção de laboratórios de pesquisa baseados nas artes. Essas experiências nos ensinaram a prestar atenção aos limites e, no contexto do projeto AIAI, nossos limites incluem:

Neutralidade. O encontro principal deve ser realizado em um espaço neutro que equilibre as dinâmicas de poder entre os participantes, idealmente um espaço administrado por artistas e/ou pela comunidade, com instalações para cozinhar, e em nenhum caso em prédios universitários.

Espaços intermediários. Esperamos que a maior parte do percurso ou do ‘trabalho’ não ocorra no espaço principal de encontro, mas nos espaços intermediários: mercados, bares, na pista de dança ou na cozinha, durante uma refeição.

Criar um lar. Buscamos locais onde todos possam dormir, conviver e comer no mesmo espaço, de preferência próximo ao espaço principal da oficina. Trata-se mais de eventos residenciais criativos do que de oficinas com horários rígidos e divisões entre as atividades.

Alimentar-se de forma crítica. Gostamos de encontrar um artista ou outro profissional criativo que saiba cozinhar e conversar com o grupo, que possa atuar como um espelho da jornada. Uma refeição bem equilibrada alimenta a capacidade dos participantes de se envolverem profundamente, especialmente ao trabalhar com três idiomas em territórios desconhecidos.

Aceitar a incerteza. Começamos sem saber nada; nosso objetivo é falhar rápido, com força e com frequência; corremos em direção à dificuldade. Buscamos promover e manter um espaço aberto para nossas tensões.

Reciprocidade. Esforçamo-nos para dar espaço para que os outros falem primeiro. Tentamos que as apresentações sejam simples e estamos cientes de nossa posição cultural e de nossos privilégios.

Oficina de Leeds 2: risco e ritual

O primeiro dia transcorre em um ritmo tranquilo. Como grupo, compartilhamos histórias, bênçãos e objetos, que levamos para um altar comunitário. Há uma atmosfera de emoção e apreensão diante da semana que temos pela frente. O segundo dia começa ao ar livre, apesar do frio. Formamos um círculo para realizar um ritual de queima de ervas e cantamos canções, ampliando o espaço para a união em meio ao cenário mundano dos prédios de apartamentos e do anel viário M621. Em nítido contraste, nossa primeira sessão formal desvenda os fundamentos éticos questionáveis dos modelos de IA para geração de imagens. Não medimos palavras ao compartilhar a realidade de como cada um dos modelos preditivos de Inteligência Artificial é um derivado de formas de extração pública ou privada sem consentimento, que muitas vezes envolvem violência. Eles são construídos a partir de bancos de dados que contêm imagens provenientes dos recantos mais sombrios da internet, como abusos contra crianças, adultos e povos. Mesmo os modelos de IA de imagens que se dizem éticos, como o Stable Diffusion, são práticas capitalistas subversivas e abusivas disfarçadas de pesquisa. Os rostos dos participantes ficam sérios à medida que compartilhamos a exploração implícita nos bilhões de imagens coletadas, o custo humano do rotulamento de dados (Perrigo 2023) e a falta de vontade do setor em reconhecer ou mudar essas práticas.

Em uma oficina de uma semana, o manejo rápido e aberto das tensões pode facilitar a coesão inicial do grupo. Começar por reconhecer abertamente os problemas do setor de IA – uma provocação que posiciona cada imagem gerada como cúmplice dessas histórias – acarreta o risco de provocar desmotivação. No entanto, o maior risco teria sido permitir que a tecnologia atuasse como um disfarce e, conscientemente, co-criar um protótipo com um pano de fundo profundamente antiético sem reconhecê-lo.

Manter suas palavras na minha boca (nota de campo)

No meu próprio trabalho, quando colaboro com alguém, ouço com atenção e tento repetir o significado das palavras dessa pessoa. Então, ela me indica em que acertei e em que errei. Um ato semelhante de repetição verbal é percebido muito claramente nos debates que ocorrem aqui devido aos três idiomas, mas também tem outra função. Além dos três intérpretes profissionais presentes na sala, muitas outras pessoas decidem intervir para traduzir em diferentes momentos. Isso se torna um ato de defesa. Sou testemunha de como a confiança, o entendimento e o consenso vão se forjando, à medida que as palavras são repetidas pela boca de diferentes pessoas e ouvidas novamente em diferentes idiomas.

Oficina de Leeds 3: O que você entende por ‘inteligência’?

‘O que você entende por ‘inteligência’?’, pergunta Loreto.^[2]

Christophe^[3] responde: ‘No Ocidente, temos uma concepção muito limitada de inteligência. Só somos capazes de ver o que podemos medir empiricamente. Temos pouco respeito pela inteligência das plantas, dos animais ou pela inteligência de uma comunidade’.

É anunciado um intervalo. Ao retornar, o debate anima a sala.

Tadeu afirma: ‘A IA já está aqui. Podemos reconhecer o que e quem nos precedeu e, mesmo assim, criar o que virá depois. Quando temos a opção de um modelo que é ético, podemos trabalhar com ele’.

Mariela acrescenta: ‘Precisamos saber o que isso significa para nossos jovens. Essa jornada trata, em parte, de como moldamos a forma como isso se desenvolve’.

O risco que assumimos ao compartilhar os antecedentes éticos questionáveis começou a unir o grupo. Mas as pessoas ainda parecem inseguras. A energia do nosso primeiro encontro parece uma lembrança distante. Aceitamos a incerteza.

Ouvir com os olhos (nota de campo)

Quando não entendo o idioma, meu nível de atenção continua o mesmo, mas as vozes se transformam em uma espécie de melodia. Ouço exclusivamente através dos meus olhos. Para compensar isso, meus olhos percorrem o grupo captando gestos, expressões e outras reações que normalmente passariam despercebidas por mim. Trata-se de uma comunicação exaustiva, rica e cheia de nuances.

Oficina de Leeds 4: Quais são seus sonhos?

No terceiro dia, depois de ter compartilhado com o grupo a história oculta da IA, Sebas sugere começar a manhã com uma sessão sobre sonhos. Um dos membros da equipe acadêmica propõe enquadrar os sonhos em torno dos desejos do grupo sobre como eles poderiam utilizar a tecnologia de imagens de IA: ‘O que vocês sonham que ela possa fazer por vocês e pelas pessoas que vocês representam?’, de modo que sirva como uma forma de avaliação do antes e do depois.

Sebas responde com veemência: ‘De jeito nenhum. Não podemos perguntar isso sobre os sonhos das pessoas. Não queremos medir um maldito sonho’.

O grupo fica em um silêncio opressivo. Sebas senta-se, com os olhos fechados, sereno: ‘Pergunto a vocês agora mesmo, neste exato instante: quais são seus sonhos?’.

Enquanto contemplo meu sonho, reflito sobre o isolamento gerado pela ‘cultura do crunch’, padrões de trabalho muito difundidos nos setores tecnológico e criativo que valorizam a alta pressão e a produtividade baseada no esgotamento acima da saúde e das relações humanas. Vejo como isso se reflete nas culturas acadêmicas; no entanto, enquanto o espírito nos setores tecnológico e criativo é ‘fracassar rápido, com força e com frequência’, no âmbito acadêmico o fracasso costuma ser ignorado ou abordado apenas a posteriori, oculto por trás das metodologias. De repente, percebo que estamos aqui para falar sobre nossos fracassos, não para prestar contas deles mais tarde. Estamos aqui para priorizar nossas sinergias humanas em detrimento das competências técnicas. Anoto meu sonho celebrando meu fracasso. Com a voz trêmula, ajoelhada no chão, leio em voz alta. É algo como:

‘Sonho em deixar de lado a tecnologia que estamos tentando fazer funcionar para vocês. A cada hora do almoço e à noite, tentamos reativar um modelo de geração de imagens por IA feito sob medida para demonstrar do que ele é capaz. Em vez disso, sonho em sentar-me para comer com vocês na hora das refeições’.

Sebas pega o papel e o lê em voz alta. As traduções ressoam pela sala, os corpos se abrem, os sorrisos cruzam meu olhar enquanto a conexão se restabelece. Voltamos a nos conectar com nosso objetivo principal, que não é simplesmente construir um protótipo técnico; acima de tudo, estamos criando um protótipo do imaterial e do intangível: a confiança, a vulnerabilidade e as delicadas conexões que mantêm nosso grupo unido.

Um modelo e um cachorro

Embora não tenhamos conseguido reativar nosso protótipo de geração de imagens – o que teria permitido ao grupo gerar e utilizar seus próprios modelos de imagem ao longo da semana –, sabemos que ainda podemos mostrar às pessoas uma representação desse processo, baseando-nos na exibição de algumas das imagens que o protótipo havia gerado em fases anteriores do processo de treinamento, antes de quebrar. Isso será suficiente como validação. Nosso objetivo aqui é utilizar uma demonstração ao vivo do processo de geração de imagens para abordar de forma crítica questões relacionadas à propriedade, autoria e permissões. Precisamos de cerca de oito imagens para o treinamento do modelo, e nossa escolha das imagens é importante. Cada imagem deve mostrar o mesmo sujeito, como um padrão ou uma pessoa, mas capturada de diferentes ângulos e com diferentes enquadramentos. As imagens devem ser recentes, validadas por nossa experiência compartilhada da semana até o momento, e devem mostrar um sujeito neutro. Esse é o processo ao qual nos referimos como ‘narrativa aplicada’.

Decidimos usar o Ed, o cachorro da Thea, para esse fim. Ele havia conhecido e feito amizade com vários membros do grupo na primeira noite, no saguão do albergue. Foi assim que suas imagens serviram de ponto de partida para um debate sobre questões éticas relacionadas às responsabilidades do uso compartilhado de modelos dentro do grupo e sobre como devem ser gerenciadas a permissão e a atribuição – tanto em relação a sujeitos humanos quanto não humanos – no caso de imagens geradas por IA e, em particular, em relação às epistemologias indígenas.

Prisioneiros da ciência (nota de campo)

Tadeu fala sobre como os objetos sagrados de seu povo foram roubados e espalhados por todo o continente e pelo mundo. Esses objetos preciosos não são apenas ‘do passado’, mas continuam sendo necessários, continuam funcionando, continuam ‘ativos’. Saber disso e saber que estão escondidos de seu povo parece uma espécie de tortura. Tadeu também fala sobre seu povo, sobre aqueles que foram sequestrados, assassinados e dissecados em laboratórios. Existem acervos de museus que contêm restos mortais pertencentes a pessoas de seu povo. Como os espíritos do povo de Tadeu não se foram, ele considera que essas pessoas são prisioneiros – prisioneiros da ciência.

O mercado municipal de Leeds e a circulação global de imagens de sujeitos indígenas

Após uma visita ao mercado municipal de Leeds, percebe-se uma queda no ânimo. As imagens nas camisetas e em outros itens efêmeros mostram representações estereotipadas e imprecisas de sujeitos indígenas. Isso não apenas reflete os desafios mais amplos do viés cultural inerente aos modelos, mas também evidencia a falta de capacidade de ação que o grupo de artistas e escritores indígenas possui em relação a territórios e tecnologias. Para lidar com esse desequilíbrio, não devemos apenas dar a eles o controle total do protótipo que estamos projetando, mas precisamos criar um objeto artístico que um dia possa ser repatriado.

Segurança dos dados indígenas

Devido à natureza potencialmente sensível do ponto de vista cultural das imagens do grupo que serão utilizadas para treinar os modelos de geração de imagens personalizados e também ao desejo de proteger os dados, nossa única opção para hospedar o protótipo é utilizar um computador físico em vez de alternativas mais rápidas baseadas na nuvem, nas quais a localização, as permissões e o uso mais amplo das imagens de entrada e saída são desconhecidos. (A vantagem de todas essas decisões é que elas também reduzem a pegada de carbono do que estamos fazendo). Nosso plano inicial é hospedá-lo no computador do nosso estúdio e permitir o acesso por meio de logins pessoais. No entanto, após as discussões em torno da gestão de bens culturais, percebemos que o protótipo deve ser hospedado em um laptop, que será uma espécie de objeto de arte. Outro aspecto positivo de hospedar o protótipo em um laptop é que, se desejado, a eliminação do protótipo e de todos os seus dados seria definitiva e fisicamente comprovável por meio de um vídeo em que o laptop fosse quebrado em pedaços.

Saio imediatamente para comprar um laptop para esse fim. As discussões em andamento se concentram em como o grupo irá gerenciar e acessar seu espaço no dispositivo e nas permissões para compartilhar modelos. Batizamos o protótipo de IndigenIA. Quando chego com o novo laptop, Loreto me pede para deixá-lo nas mãos dela. Abro a embalagem e ela se anima ao ver o logotipo do dragão gravado no gabinete. ‘O dragão é nosso amigo, é um bom presságio’, diz ela. Respondo com histórias sobre o dragão como um poderoso símbolo de esperança, resistência e proteção; um ser de grande poder, que existe além do bem e do mal. O computador logo passa a ser conhecido como ‘O Dragão’. Para demonstrar o funcionamento do modelo, geramos e compartilhamos uma série de imagens do cachorro Ed encontrando um dragão nas paisagens selvagens de West Yorkshire (ver Fig. 15.1). Como parte do processo de aprendizagem, os usuários, por sua vez, geraram imagens nas quais o sujeito de seus modelos se encontrava de alguma forma com um dragão (ver Fig. 15.2).

Fig. 15.1. Dave Lynch, O cachorro Ed, março de 2024. Canto superior esquerdo: fotografia original; canto superior direito e cantos inferiores esquerdo e direito: imagens geradas como prova de conceito do processo de geração de imagens personalizadas, utilizando o Stable Diffusion como base e com um modelo de adaptação de baixo posto (LoRA) treinado com imagens do cachorro Ed.

Fig. 15.2. Acima: aruma|Sandra De Berduccy e Dave Lynch gerando imagens com o protótipo IndigenIA. Captura de tela: aruma|Sandra De Berduccy, maio de 2024. Abaixo: Mariela Tulián, Autorretrato com Dragão, baseado em fotografias dela mesma; imagem gerada no protótipo IndigenIA com um modelo LoRA, maio–junho de 2024.

Reflexões finais: IA e epistemologias indígenas

‘Tudo o que criamos com essa tecnologia está vivo, tem alma’, diz Mariela, enquanto nos preparamos para compartilhar a proposta final do protótipo com o grupo.

Essa afirmação transformou minha abordagem à IA, resultando em uma visão baseada no cuidado e na criação; uma resistência serena ao barulho da produtividade ocidental, aos vorazes centros de dados e ao progresso empírico a qualquer custo humano. Se considerarmos nossas criações de IA como seres vivos, quantos criaríamos? A quem chamaríamos de seus parentes? Qual seria nossa abordagem à colaboração?

1. Para obter mais informações sobre o Dragon Dreaming, acesse https://dragondreaming.org/. ↑

2. Loreto Millalén, uma dos integrantes indígenas da equipe. Todas as apresentações são oferecidas exclusivamente em português, traduzidas de anotações feitas em inglês durante as oficinas. ↑

3. Christophe de Bézenac é neurocientista e mais um dos membros do coletivo Immersive Networks. ↑