Next-Concept Modeling (NCM) è un framework di generazione testuale sviluppato alla Stanford University (Hazy Research e Scaling Intelligence Lab) che sostituisce la predizione token-per-token con una procedura coarse-to-fine. Un tokenizer multiscala residual VQ-VAE codifica il testo in una gerarchia di codici discreti, dal livello più grezzo (pochi codici che catturano la struttura concettuale) al livello più fine; un transformer genera poi un livello alla volta, predicendo tutti i codici di quel livello in parallelo.
L’idea è ispirata al next-scale prediction delle immagini (VAR), adattata al testo con modifiche sostanziali: codebook separati per livello, nested dropout per forzare i livelli grezzi a essere informativi, e obiettivo di ricostruzione a livello di token. Il tokenizer viene addestrato e poi congelato; il generatore impara a predire la gerarchia condizionandosi sulla ricostruzione cumulativa dei livelli precedenti.
Risultati su generazione incondizionata e condizionata
Su LM1B, NCM (circa 97M parametri, 13,36 miliardi di token di training) ottiene una generative perplexity di 93,05 con 12 function evaluations (NFE), migliore del baseline diffusion più forte (DUO a 97,30 con 128 NFE) e risulta 21 volte più veloce in wall-clock time su H100. Su OpenWebText è competitivo ed è 10 volte più veloce; su XSum eguaglia il ROUGE-L del miglior diffusion (ROUGE-L 28,0 a 8 NFE) risultando 31 volte più veloce. Su WMT14 De-En raggiunge BLEU 22,6 a 11 NFE (o 25,2 con MBR decoding).
Ragionamento e scaling
Sul Sudoku, NCM (25M) risolve il 99,5% dei puzzle easy, il 96,5% dei medium e l’86,1% dei hard (30 clue) a 12 NFE, superando sia i baseline autoregressivi sia quelli diffusion (il miglior diffusion arriva all’81,3% sui hard). Lo scaling preliminare a 317M e 725M parametri su LM1B migliora perplexity e entropia. Grazie alla velocità, NCM può generare più candidati nello stesso budget temporale e usare Minimum Bayes Risk decoding per migliorare ulteriormente BLEU e ROUGE.
Limitazioni e prospettive
I modelli restano nella fascia dei 100M parametri (massimo 725M nello studio di scaling), richiedono un tokenizer dedicato per ogni dataset e mostrano occasionalmente artefatti nelle transizioni tra livelli grezzi. La gerarchia è fissa e non adattiva. Gli autori stessi definiscono i risultati di scaling preliminari e indicano come direzioni future la joint training di tokenizer e generatore, schedule adattivi e scale più grandi. Se l’approccio regge oltre i modelli di laboratorio, offre un’alternativa concreta al next-token prediction classico e al refinement ripetuto dei diffusion.
Fonti
Testo: assistito da AI · revisionato da Carlos H. P. Ross
