Italiano [English below]

 

Ho impiegato l’ozio ferragostano per un piccolo esperimento di confronto tra modelli generativi text-to-image, di cui allego le immagini generate, su un prompt difficile e volutamente poco descrittivo che, in italiano, costituiva un post precedente su Facebook che stigmatizzava la pervasività molesta della musica di sottofondo. Tutti i confronti, a parte l’ultimo, sono stati realizzati sul mio computer e durante le prove ho cercato per quanto possibile di mantenere gli stessi settaggi per tutti i modelli.

Il prompt, tradotto in inglese era questo:

“We’re on vacation, it’s Ferragosto (Assumption Day), so the music is everyplace, especially the bad kind. But, even if less overtly, music is pervasively present throughout the year. Outside of concerts and designated venues, there’s background music everyplace, on the streets, in cafes, supermarkets, beach establishments, cinemas outside the screening rooms, public places, on transportation, and even in the doctor’s waiting room. Finding a restaurant without background music is almost impossible. I’ve had to ask them to turn the volume down because it made conversation difficult, and on a couple of occasions, I got up and left. In a convivial setting, sitting around a table with others, it bothers me to have to raise my voice to be heard over the sounds and struggle to understand what others are saying. Umberto Eco wrote that we live in the age of vision and information and noise. It distresses us to remain silent; we find it normal to fill every moment of existence. We constantly need a drone or a noise that tells us we are alive, that we exist in the world, that we are on a stage, in a continuous party. The silence is deafening. Outside the noise accumulation points is the obsession with emptiness, where one confronts oneself and the world without a safety net.”

Il primo confronto era tra “pesi massimi”, cioè modelli considerati ai vertici nelle loro versioni di punta (diverse decine di GB tra tutti): HiDream-|1 [full], Qwen Image 1.0 (appena uscito), SD3 Large 3.5, FLUX.1 [dev]. HiDream, nonostante varie incongruenze, specie nei testi, ha creato l’immagine più aderente al prompt, poi non è male quella di Stable Diffusion 3.5, anche se lo spartito nella parete di fondo è inventato. Qwen ha generato una brutta immagine, con errori evidenti nelle mani e nell’organizzazione degli spazi, mentre FLUX ha insistito (devo dire più volte nelle prove che ho fatto) con una specie di piatto di “similgamberetti”. Il tempo di render è stato dai 3 ai 6 minuti per ogni immagine.

Il secondo confronto ha messo alla prova modelli più vecchi: Stable Diffusion XL Base 1.0, OpenDalle v11, Juggernaut XL, DreamArtFusion v11, Portrait+ 1.0 e PixelAlchemy v22. L’immagine generata da quest’ultimo modello è in linea con quella di HiDream-|1 [full], anche se è meno complessa e con evidenti errori soprattutto nel testo. In altre immagini compare un sosia di Umberto Eco (con qualche problema alle mani), segno che del prompt è stato privilegiato questo elemento. Discorso a parte merita Portrait+ 1.0: l’immagine che ha generato non sembra abbia nulla a che fare con il prompt, tuttavia è interessante. Anche Stable Diffusion esce dalla norma del realismo e genera qualcosa che assomiglia a un disegno. A seconda dei modelli il tempo di render è andato dai 10 ai 45 secondi.

Tutti i modelli generativi fin qui messi alla prova sono Open Source, e possono essere scaricati e usati sul proprio PC – se sufficientemente dotato dal punto di vista tecnico (VRAM, processore, hard disk…) – e le immagini sono state ottenute in locale sul mio computer. Il confronto che segue invece è stato realizzato online tra Midjourney 7 e ChatGPT/DALL•E (sono abbonato a Midjourney mentre ho utilizzato il piano gratuito di ChatGPT/DALL•E, a cui sono comunque registrato). Midjourney ha generato un lavoro discreto, paragonabile a HiDream-|1 [full], anche se meno “ossessivo”, con i soliti problemi nei testi e qualche incongruenza qua e là. ChatGPT invece ha generato un lavoro semplice che ha seguito la moda di “fumettizzazione” delle immagini, ma il testo è corretto. Tuttavia ci sono delle incongruenze nel numero dei bicchieri e dei piatti – a meno che uno dei commensali sia lì solo per compagnia – e nella postura della donna a destra.

Qualche banale considerazione sul confronto

1) Un prompt descrittivo è importante per generare immagini abbastanza in linea con le aspettative e per ridurre i tentativi, tuttavia l’immagine conclusiva presenterà sempre degli elementi inattesi e non previsti. A complicare le cose ci si mettono i numerosi settaggi che intervengono su porzioni e caratteristiche fondamentali dell’immagine. E comunque, con buona pace degli apologeti del prompt engineering, testo e immagine sono modalità comunicative diverse non sovrapponibili, rispondono a funzioni ed esigenze differenti. Qualcosa di analogo succede con dei soggetti umani: se diamo lo stesso testo a degli illustratori ognuno lo rappresenta in maniera diversa.

2) È il caso delle prove che ho mostrato: tutti i modelli utilizzati alle prese con prompt poco o punto descrittivi – cioè in cui non viene indicato “crea un’immagine così, in uno stile così, con uno sfondo così, inserisci questi elementi, rappresenta questi oggetti, delle persone così, con colori così, luci così, ecc.”) – hanno un’elevata probabilità di produrre risultati poco interessanti, incoerenti o imprevedibili. Capita meno spesso con modelli più avanzati, ma capita (vedi i “gamberetti” di FLUX).

3) Con testi *già definiti* (brani di racconti, di romanzi e sceneggiature, descrizioni, articoli, manuali, ecc.), a partire dai quali generare immagini in settori che vanno dal graphic design al fashion design, dal fumetto all’illustrazione, anche i modelli più recenti hanno un discreto margine di fallimento, mentre quelli più datati producono esiti molto approssimativi. Per avere dei risultati interessanti/convergenti è necessaria una mediazione, per ora umana, che da quei testi espunga un’idea e un progetto, estragga degli elementi significativi, ne dia una descrizione testuale precisa e li dia in pasto ai modelli tramite un prompt adeguato. Una mediazione che faccia, in soldoni, un fondamentale lavoro di interpretazione e descrizione riducendo la variabilità e la complessità semantica per cercare di indirizzare la generazione delle immagini. Dunque, nei campi di applicazione sopra menzionati, almeno per il momento, la mediazione umana è fondamentale (il che è particolarmente significativo nell’ambito della formazione).

4) Al di fuori di queste applicazioni e di questi obiettivi si aprono ulteriori possibilità di sperimentazione. Trovo interessanti i modi in cui dei prompt poco o punto descrittivi, una poesia, un brano letterario, un racconto, una riflessione, il testo di una canzone, vengono trasdotti in immagini, “interpretati” (pardon); i “ragionamenti” operati dal dispositivo, le connessioni attivate, le strutture emergenti, le dimensioni non figurative, persino gli errori e le “allucinazioni”. Il disorientamento semantico, l’incoerenza, l’approssimazione formale, gli esiti imprevedibili e sorprendenti sfidano la descrizione, richiamano modalità espressive surrealiste, all’interno di un processo generativo fuori controllo.
E qui qualche volta, in mezzo alla fuffa da buttare, oltre la deriva simulativa fotorealistica sempre più sofisticata da sviare, ecco emergere l’inatteso, l’inaudito… il nuovo.

 

Pictrure made with Stable Diffusion 1.5 / Cover picture made with Stable Diffusion XL, model DreamArt Fusion v1.1

 

English

 

I used the August holiday idleness for a small experiment comparing generative text-to-image models, whose generated images I’m attaching, on a difficult and deliberately uninformative prompt that, in Italian, was a previous Facebook post criticizing the intrusive pervasiveness of background music. All comparisons, except for the last one, were performed on my computer, and I tried as much as possible to maintain the same settings for all models during the tests.

The prompt was this:

“We’re on vacation, it’s Ferragosto (Assumption Day), so the music is everyplace, especially the bad kind. But, even if less overtly, music is pervasively present throughout the year. Outside of concerts and designated venues, there’s background music everyplace, on the streets, in cafes, supermarkets, beach establishments, cinemas outside the screening rooms, public places, on transportation, and even in the doctor’s waiting room. Finding a restaurant without background music is almost impossible. I’ve had to ask them to turn the volume down because it made conversation difficult, and on a couple of occasions, I got up and left. In a convivial setting, sitting around a table with others, it bothers me to have to raise my voice to be heard over the sounds and struggle to understand what others are saying. In Apocalyptic and integrated intellectuals. Mass communications and theories of mass culture, Umberto Eco wrote that we live in the “society of information and noise.” It distresses us to remain silent; we find it normal to fill every moment of existence. We constantly need a drone or a noise that tells us we are alive, that we exist in the world, that we are on a stage, in a continuous party. The silence is deafening. Outside the noise accumulation points is the obsession with emptiness, where one confronts oneself and the world without a safety net.”

The first comparison was between “heavyweights,” meaning models considered top-of-the-line in their flagship versions (several dozen GB in total): HiDream-|1 [full], Qwen Image 1.0 (just released), SD3 Large 3.5, FLUX. 1 [dev]. HiDream, despite various inconsistencies, especially in the texts, created the image that best matched the prompt. The one from Stable Diffusion 3.5 isn’t bad either, although the sheet music in the background is invented. Qwen generated a bad image, with obvious errors in the hands and spatial organization, while FLUX insisted (I must say several times in the rehearsals I did) with a kind of plate of “imitation shrimp.” The rendering time was 3 to 6 minutes per image.

The second comparison tested older models: Stable Diffusion XL Base 1.0, OpenDalle v11, Juggernaut XL, DreamArtFusion v11, Portrait+ 1.0, and PixelAlchemy v22. The image generated by this latter model is in line with that of HiDream-|1 [full], although it is less complex and with obvious errors, especially in the text. In other images, a lookalike of Umberto Eco appears (with some hand problems), a sign that this element of the prompt was prioritized. The : the image generated doesn’t seem to have anything to do with the prompt, but it’s interesting. Depending on the models, the rendering time ranged from 10 to 45 seconds.

All the generative models tested so far are Open Source and can be downloaded and used on your own PC – if it’s technically equipped enough (VRAM, processor, hard drive…) – and the images were obtained locally on my computer. The following comparison, instead, was conducted online between Midjourney 7 and ChatGPT/DALL•E (I am a Midjourney subscriber, while I used the free plan of ChatGPT/DALL•E, to which I am also registered). Midjourney generated a decent result, comparable to HiDream-|1 [full], although less “obsessive,” with the usual text issues and a few inconsistencies here and there. ChatGPT, on the other hand, generated a simple work that followed the trend of “comic-izing” images, but the text is correct. However, there are inconsistencies in the number of glasses and plates – unless one of the diners is there just for company – and in the posture of the woman on the right.

Some basic thoughts on the comparison

1) A descriptive prompt is important for generating images that are reasonably aligned with expectations and for reducing attempts, however, the final image will always present unexpected and unforeseen elements. To complicate matters, there are numerous settings that affect fundamental portions and characteristics of the image. And in any case, with all due respect to the prompt engineering apologists, text and image are different, non-overlapping modes of communication; they serve different functions and needs. Something similar happens with human subjects: If we give the same text to different illustrators, each one will represent it in a different way.

2) This is the main case of my tests: all models used with poorly or minimally descriptive prompts – meaning those in which “create an image like this, in this style, with this background, include these elements, depict these objects, people like this, with these colors, these lights, etc.” is not specified – have a high probability of producing uninteresting, inconsistent, or unpredictable results. It happens less often with more advanced models, but it does happen (see FLUX’s “shrimp”).

3) With *already defined* texts (excerpts from stories, novels, and screenplays, descriptions, articles, manuals, etc.), from which to generate images in sectors ranging from graphic design to fashion design, from comics to illustration, even the most recent models have a decent margin of failure, while older ones produce very approximate results. To achieve interesting/convergent results, a mediation, currently human, is necessary to extract an idea and a project from those texts, identify significant elements, provide a precise textual description of them, and feed them to the models thru an appropriate prompt. A mediation that, in essence, does fundamental interpretive and descriptive work, reducing semantic variability and complexity in an attempt to guide image generation. Therefore, in the aforementioned fields of application, at least for the time being, human mediation is fundamental (which is particularly significant in the context of education).

4) Beyond these applications and objectives, further possibilities for experimentation open up. I find interesting the ways in which prompts with little or no description, a poem, a literary passage, a short story, a reflection, or the lyrics of a song are translated into images, “interpreted” (pardon); the “reasoning” performed by the device, the activated connections, the emerging structures, the non-figurative dimensions, even the errors and “hallucinations.” Semantic disorientation, incoherence, formal approximation, and unpredictable and surprising outcomes challenge description, evoking surrealist modes of expression within an uncontrolled generative process.
And here sometimes, amidst the disposable fluff, beyond the increasingly sophisticated photorealistic simulation drift to be avoided, the unexpected emerges, the unheard of… the new.