Mega Riassunto AI Settembre multimodale audio video

La Parte 1 del mega riassunto di settembre copriva i frontier: Claude Opus 5.5 e Sonnet 5.5, la famiglia GPT-6, il leak su Gemini 4 Pro, Qwen 4 in training e il claim su Rysana V2. Questa Parte 2 raccoglie l’altra metà del mese: stack audio, immagini professionali, video lunghi e world model.

Non è un elenco di demo. È il momento in cui voce e visione smettono di essere un addon del chatbot e diventano listino, latenza e watermark.

Hy Image 3.5, un modello per generare e editare

Il 22 settembre Tencent Hunyuan ha messo in preview Hy Image 3.5. Un solo endpoint fa text-to-image, image-to-image e editing multi-turn. Fino a 5 reference per request sul canale consumer (fino a 20 sul canale internazionale), output fino a 2K, in alcuni listini anche 4K.

Il dato che Tencent mette in evidenza è interno: in un GSB blind test con centinaia di designer, +30% win rate rispetto a Hy Image 3.0, in pari con Seedream 5.0 Pro e leggermente sopra Nano Banana Pro e Qwen-Image-3.0 Pro. Non è un leaderboard pubblico indipendente. È un claim di vendor, va letto così.

Il prezzo internazionale è 0,024 dollari a immagine 2K, solo sull’output. Reference e generazione fallita non si pagano. Due settimane free su OnSolo e Miora, integrazione in Yuanbao e altri tool Tencent. Per chi produce asset a volume, il numero che conta non è il GSB: è il costo per iterazione.

Qwen-Audio-3.1, cinque modelli e un taglio di listino

Il 23 settembre il team Qwen Audio ha rilasciato Qwen-Audio-3.1: ASR, TTS e Realtime aggiornati, più due modelli nuovi, ASR-Next e TTS-Next. Cinque pezzi, un solo stack: capire, generare, interagire, creare.

Cosa fa ciascuno, in breve:

ASR: 30 lingue e 16 dialetti cinesi, polishing nativo che toglie filler e ripetizioni, first-token intorno ai 160 ms.
ASR-Next: multi-speaker con label e timestamp, emozioni, suoni ambientali e macchina, captioning, localizzazione eventi, audio QA.
TTS: sintesi multilingue con voice transfer cross-linguale e controllo di emozione, ritmo e stile da istruzione testuale.
TTS-Next: LM + diffusion, voce + SFX + background in un passaggio, fino a 48 kHz.
Realtime: full-duplex, interruzione in qualsiasi momento, tool use. Task success 82% vs 78,4% sulla linea precedente; risposte a speech di background giù dal 73% al 13% su Full-Duplex-Bench v1.5.

Il paper tecnico è su arXiv 2609.25176. I tagli di prezzo dichiarati: TTS circa −70%, Realtime circa −85%, ASR fino a −95%. Disponibile su Qwen Cloud / Model Studio. Nessun peso open annunciato.

È la stessa Alibaba che in Parte 1 conferma Qwen 4 in addestramento e la roadmap 5–10T. Qui non scala i parametri del flagship: scala il prodotto vocale e il prezzo.

Gemini 3.8 Flash TTS, voice design da prompt

Lo stesso 23 settembre Google ha lanciato gemini-3.8-flash-tts e gemini-3.8-flash-lite-tts. Non è un aggiornamento delle 30 voci preset di Gemini 3.1 Flash TTS. È voice design da linguaggio naturale, replica da campione autorizzato di circa 30 secondi, controllo linea per linea di accento, pace, tono e vocal-burst.

Numeri dichiarati:

130 lingue su Flash, 101 su Lite.
Oltre 2.000 voci di produzione.
Flash primo su Hume Voice Design Benchmark con 71,4 overall e 60,8 su accent modeling.
Output WAV/PCM, stesso schema API, watermark SynthID su ogni clip.
Flash per narrazione e dialoghi; Lite per volume e agent.

Docs: Gemini API. Model card: Gemini 3.8 Audio. Rollout su API, AI Studio e Gemini Notebook; Vids ed Enterprise in arrivo.

Google non ha aperto i pesi. Ha aperto un listino creativo e un watermark. Se vendi audio generato, SynthID non è un dettaglio di marketing: è la traccia che ti aspetti in una policy enterprise.

Eleven v4 e v4 Turbo, espressività contro latenza

Il 28 settembre ElevenLabs ha rilasciato Eleven v4 e Eleven v4 Turbo. Architettura nuova, niente SSML come interfaccia principale: tag in linguaggio naturale per tono, pacing, personaggio e contesto.

Punti fermi del vendor:

90+ lingue (da 70 di v3), con i salti più evidenti su giapponese, portoghese brasiliano, mandarino e cantonese.
Instant Voice Clone da 10 secondi, Professional Voice Clone per la fedeltà massima, consenso verificato e tracciamento via AI Speech Classifier.
Turbo: latenza mediana di inferenza intorno a 100 ms, first speech intorno a 150 ms.
Claim di preferenza ~75% in test ciechi interni contro Cartesia Sonic 3.6, Inworld TTS-2 e le due Gemini 3.8 TTS.
Disponibile su API, ElevenAgents ed ElevenCreative, anche nel piano free.

Il mercato vocale di fine settembre ha quindi tre offerte serie e diverse: Qwen compete sul prezzo e sullo stack completo, Gemini sul design di voce e sulla copertura linguistica, Eleven sull’espressività e sugli agent in streaming. Nessuna delle tre è open-weight.

Grok Voice Transcribe 2.0, ASR a 10 centesimi l’ora

Il 18 settembre xAI / SpaceXAI ha rilasciato Grok Voice Transcribe 2.0. Non è un TTS. È speech-to-text enterprise: batch REST e streaming WebSocket, word-level timestamps, diarization fino a 20 speaker nel materiale di prodotto, multichannel, inverse text normalization, keyterm boosting, file fino a 500 MB.

Il listino non si muove rispetto alla 1.0: 0,10 dollari/ora in batch, 0,20 dollari/ora in streaming. xAI dichiara circa il doppio dell’accuratezza sulla 1.0 e il primo posto tra 32 modelli streaming su Artificial Analysis. Su un set interno di frasi corte il WER passa da 20,6% a 6,8%.

Docs: Speech to Text e pagina prodotto Grok Voice Transcribe. Per chi già paga Scribe, Nova o Gemini Transcribe, il confronto utile è costo/ora + diarization inclusa, non il comunicato.

Nemotron 3 Diarization, chi ha parlato e quando

Il 23 settembre NVIDIA ha pubblicato Nemotron 3 Diarization: 100M parametri, open-weight, licenza OpenMDW 1.1, fino a 8 speaker anche con overlap.

Architettura: transformer Streaming Sortformer con Arrival-Order Speaker Cache. Stesso checkpoint per offline e streaming. Buffer consigliati: 30,4 s / 1,04 s / 0,64 s / 0,32 s. Su VoiceArena Diarization-Bench è primo con 14,72% DER, circa 24% meglio del secondo su 139 conversazioni inglesi (~22 ore).

Pesi: nvidia/Nemotron-3-Diarization. Runtime NeMo su GPU Ampere o più nuove. È il pezzo che manca a molti stack ASR low-cost: attribuire la battuta, non solo trascriverla.

Video lunghi, non un nuovo modello ma un layer

Il 25 settembre Google Research ha pubblicato lo stack multi-agente su Gemini e Veo per narrazioni di minuti.

In sintesi operativa: Co-Director 81,4 su GenAD-Bench, CANVAS +21,6% continuità sfondo, A²RD fino a 10 minuti con 90,5% consistenza personaggi su LVBench-C, VQQA +11,57% su T2V-CompBench. Demo The Great Museum Heist da 9:37. Watermark SynthID. Nessuna API pubblica dello stack completo. È orchestrazione, non un checkpoint video da scaricare.

Rientra in questa Parte 2 perché è il segnale di settembre sul video: la coerenza lunga si compra con agenti e memoria di scena, non solo con più frame di training. Lo stesso schema, sul testo, lo abbiamo già visto negli agenti di coding della seconda metà di agosto, chiusa nel mega riassunto AI agosto parte 8.

Atlas, world model per la spatial intelligence

Il 1 settembre World Labs ha presentato Atlas, omni world model preaddestrato da zero su testo, immagini, video e 3D. Architettura: multimodal autoregressive diffusion transformer, contesto spaziale condiviso.

Cosa promette:

generazione con camera geometrica nativa, fino a 1 minuto a 1440p;
ricostruzione 3D da 2–3 immagini, output in Gaussian splat / point cloud;
simulazione spazio-tempo per VFX e Real-to-Sim in robotica;
immagini e panorama 360 da testo.

Non è un API pubblica. Early access su richiesta, destinato ad alimentare Marble. A fine mese World Labs entra nel perimetro AMD: è contesto industriale, non una metrica del modello. Atlas resta il pezzo “mondo 3D” di settembre, accanto al video lungo di Google e non al posto suo.

Il computer vision da negozio di Cactus / Auki lo lascio fuori da questo recap: è stima di sguardo su CCTV, non generazione multimodale.

Cosa cambia per chi costruisce prodotti

Tre cose concrete.

Primo: il prezzo della voce è crollato in una settimana. ASR a 0,10 $/ora (xAI) o −95% sul listino Qwen, TTS in guerra tra Gemini, Eleven e Qwen. Se il tuo costo unitario era calibrato su Eleven v3 o su un vendor da 50–100 $/M caratteri, ricalcola.

Secondo: lo stack si spezza. Trascrizione, diarization, sintesi espressiva e realtime full-duplex non arrivano più dallo stesso vendor per obbligo. Nemotron 3 Diarization on-prem + Transcribe 2.0 + un TTS a scelta è una pipeline reale, non un esercizio.

Terzo: video e 3D restano più chiusi dell’audio. Co-Director non ha API dello stack. Atlas è waitlist. Hy Image 3.5 sì, ma è preview e il +30% è un test interno. Chi vende “film AI da 10 minuti” a settembre sta vendendo orchestrazione, non un modello.

La Parte 3 sarà open-weight e hardware. Qui il mese ha già deciso un’altra cosa: l’interfaccia del 2026 non è solo la chat. È un microfono, una reference image e una camera che si muove senza perdere il personaggio.

Fonti

Testo: assistito da AI · revisionato da Carlos H. P. Ross