From artistic intent to audio generation: control, evaluation, and sustainability of text-guided audio generative models

Recent advances in generative modeling have transformed audio creation workflows. Tasks that once required specialized equipment and professional expertise can now be accomplished through simple text prompts to generative systems. Text-guided audio generation is reshaping creative industries by enabling sound designers, musicians, and non-experts to synthesize music, sound effects, and environmental audio directly from natural language descriptions. Despite their growing accessibility and capabilities, it remains unclear to what extent these models can reliably interpret and reproduce fine-grained artistic intent. Prior work indicates that achieving precise control over generated audio and capturing nuanced aesthetic attributes continues to pose significant challenges, underscoring the limitations of relying solely on textual input for detailed artistic specification. Moreover, the broader implications of integrating generative tools into cultural and creative practices remain unclear, particularly regarding their impact on artistic processes, cultural production, and human creativity. Existing evaluation practices rely on objective metrics and subjective listening tests. Still, these offer only a partial view of model behavior and fail to capture the complex interactions between generative systems, human interpretation, and cultural contexts. To address this gap, we developed two custom tools that extend Text-To-Audio models with optional controls, allowing us to investigate whether these features better support artists’ expressive intent. The first interface enhances control at the input stage by combining text prompts with reference audio, enabling optional audio personalization and closer alignment with the artist’s creative intent. The second interface integrates a source-separation model to provide control over individual stems in generated tracks. We then conducted user studies to evaluate the tools’ usability, creative impact, and potential integration into creative workflows. The results reveal that most participants were interested in adopting the tools, considering text-based generative models as both production aids and sources of unexpected inspiration that supported creative exploration beyond predefined goals. However, participants raised challenges regarding beat synchronization and the limited editability of the generated audio, particularly when integrating the tools into existing creative workflows. To address this limitation, we introduce an audio waveform generative model based on the Mamba Selective State-Space architecture that generates raw audio samples aligned with external temporal conditioning, achieving substantially faster generation than state-of- the-art methods while delivering higher overall quality, competitive temporal fidelity, and lower computational complexity. The community has raised concerns about copyright, potential misuse, artist authorship, and stylistic homogenization. To address these issues, we adopt Anti-Memorization Guidance (AMG), which modifies the sampling process of pre-trained diffusion models to discourage memorization while preserving generation quality. Integrating AMG into the generative model reduces the risk of stylistic homogenization and the likelihood of reproducing copyrighted material. Ensuring realistic audio quality is also essential to support artists and creators in their workflows. To evaluate how well synthetic audio captures the characteristics of real recordings, we propose a novel evaluation approach. We generate audio datasets that mirror real data and use them to replace real recordings when training deep learning models for downstream tasks. This enables assessment of how effectively synthetic audio serves as a practical alternative in real-world scenarios. Our results show that audio produced by generative models often falls short, providing only partial replacement of real data. One source of this limitation lies in the prompt strategies used during generation. To address this, we evaluated multiple prompting approaches and identified techniques that substantially improve the quality and realism of generated audio. This work also highlights the potential of text-based audio generative models as efficient dataset generators, offering a promising path to reducing the cost and effort of real-world data collection. Beyond data quality and generation effectiveness, generative models also entail substantial computational and energy costs. To better quantify these demands, we analyze the energy consumption of multiple text-to-audio generative models across different architectures and applications, examining how inference-time settings affect energy usage. We further derive a Pareto frontier that highlights trade-offs between performance and efficiency. Together, these insights support more sustainable use of text-to-audio generative models and enable informed, application-specific model selection.

I recenti progressi nella modellazione generativa hanno trasformato i flussi di lavoro per la creazione audio. Attività che un tempo richiedevano attrezzature specializzate e competenze professionali possono ora essere svolte tramite semplici prompt testuali rivolti a sistemi generativi. La generazione audio guidata dal testo sta ridefinendo le industrie creative, consentendo a sound designer, musicisti e non esperti di sintetizzare musica, effetti sonori e audio ambientale direttamente a partire da descrizioni in linguaggio naturale. Nonostante la crescente accessibilità e le capacità sempre più avanzate di questi modelli, rimane poco chiaro fino a che punto essi siano in grado di interpretare e produrre in modo affidabile un’intenzione artistica fine-grained. Studi precedenti indicano che ottenere un controllo preciso sull’audio generato e catturare attributi estetici sfumati continua a rappresentare una sfida significativa, evidenziando i limiti di un approccio basato esclusivamente sull’input testuale per una specificazione artistica dettagliata. Inoltre, le implicazioni più ampie dell’integrazione di strumenti generativi nelle pratiche culturali e creative restano incerte, in particolare per quanto riguarda il loro impatto sui processi artistici, sulla produzione culturale e sulla creatività umana. Per colmare questa lacuna, abbiamo sviluppato due strumenti personalizzati che estendono i modelli Text-to-Audio con controlli opzionali, permettendoci di indagare se tali funzionalità supportino meglio l’intento espressivo degli artisti. La prima interfaccia migliora il controllo in fase di input combinando prompt testuali con audio di riferimento, consentendo una personalizzazione opzionale dell’audio e un allineamento più stretto con l’intento creativo dell’artista. La seconda interfaccia integra un modello di separazione delle sorgenti per fornire il controllo sui singoli stem all’interno delle tracce generate. Abbiamo quindi condotto studi con utenti per valutare l’usabilità degli strumenti, il loro impatto creativo e il potenziale di integrazione nei flussi di lavoro creativi. I risultati mostrano che la maggior parte dei partecipanti era interessata ad adottare gli strumenti, considerando i modelli generativi basati su testo sia come supporti alla produzione sia come fonti di ispirazione inaspettata, capaci di favorire l’esplorazione creativa oltre obiettivi predefiniti. Tuttavia, sono emerse criticità legate alla sincronizzazione del beat e alla limitata possibilità di editing dell’audio generato, in particolare nell’integrazione con flussi di lavoro creativi esistenti. Per affrontare questa limitazione, introduciamo un modello generativo di forma d’onda audio basato sull’architettura Mamba Selective State-Space, che genera campioni audio grezzi allineati a una condizionatura temporale esterna, ottenendo una generazione significativamente più rapida rispetto ai metodi allo stato dell’arte, pur offrendo una qualità complessiva superiore, una fedeltà temporale competitiva e una minore complessità computazionale. La comunità ha sollevato preoccupazioni riguardo al copyright, ai potenziali abusi e all’omogeneizzazione stilistica relativa alla generazione di musica. Per affrontare queste problematiche, adottiamo l’Anti-Memorization Guidance (AMG), una tecnica che modi- fica il processo di campionamento dei modelli di diffusione pre-addestrati per scoraggiare la memorizzazione, preservando al contempo la qualità della generazione. L’integrazione di AMG nel modello generativo riduce il rischio di omogeneizzazione stilistica e la probabilità di riprodurre materiale protetto da copyright. Garantire una qualità audio realistica è inoltre essenziale per supportare artisti e creatori nei loro flussi di lavoro. Per valutare quanto bene l’audio sintetico catturi le caratteristiche delle registrazioni reali, proponiamo un nuovo approccio di valutazione basato sull’utilizzo di dataset sintetici in sostituzione dei dati reali durante l’addestramento di modelli di deep learning per task downstream. I nostri risultati mostrano che l’audio prodotto dai modelli generativi spesso non è sufficiente, fornendo solo una sostituzione parziale dei dati reali. Una delle cause di questa limitazione risiede nelle strategie di prompting utilizzate durante la generazione. A tal fine, abbiamo valutato diversi approcci di prompting e identificato tecniche che migliorano in modo sostanziale la qualità e il realismo dell’audio generato. Questo lavoro evidenzia inoltre il potenziale dei modelli generativi audio basati su testo come generatori efficienti di dataset, offrendo una strada promettente per ridurre i costi e lo sforzo della raccolta di dati nel mondo reale. Oltre alla qualità dei dati e all’efficacia della generazione, i modelli generativi comportano anche costi computazionali ed energetici significativi. Per quantificare meglio queste richieste, analizziamo il consumo energetico di diversi modelli generativi text-to-audio su varie architetture e applicazioni, esaminando come le impostazioni in fase di inferenza influenzino l’utilizzo di energia. Deriviamo inoltre una frontiera di Pareto che mette in evidenza i compromessi tra prestazioni ed efficienza. Nel complesso, questi risultati supportano un uso più sostenibile dei modelli generativi text-to-audio e consentono una selezione dei modelli più informata e specifica per applicazione.