AI skriver vanligvis ett token om gangen
Når du ber ChatGPT, Claude eller en lokal språkmodell om å skrive, blir teksten vanligvis laget sekvensielt. Modellen velger neste token, legger det til i teksten og bruker deretter resultatet som grunnlag for neste token. Et token kan være et helt ord, en del av et ord eller et tegn.
Denne arbeidsmåten fungerer godt, men den har en tydelig kostnad: Modellen må gå gjennom beregningen mange ganger for å lage en lang tekst. Det er en viktig grunn til at lokal AI kan føles treg, selv på en kraftig PC.
Videoen forklarer problemet på en lettfattelig måte. Den setter også en viktig grense for overskriften: NCM er ikke slutten på språkmodeller. Det er et forslag til en annen måte å generere tekst på.
NCM bygger teksten fra grovt til detaljert
NCM står for Next-Concept Modeling. Metoden er utviklet av forskere fra Stanford-miljøet og Together AI. I stedet for å forutsi hvert token direkte, representerer NCM teksten som en hierarki av koder.
Først lages en grov skisse. Den kan inneholde hovedstrukturen eller de viktigste konseptene. Deretter legges det til mer detaljer i flere nivåer. Alle kodene på samme nivå kan forutsies parallelt. Til slutt dekoder systemet hierarkiet til vanlig tekst.
En enkel måte å se forskjellen på er:
- Vanlig språkmodell: ord 1, deretter ord 2, deretter ord 3.
- Diffusjonsmodell: lager og forbedrer hele tekstsekvensen flere ganger.
- NCM: lager en grov versjon først, og fyller deretter på med detaljer nivå for nivå.
Dette er ikke bare en ny innpakning. NCM bruker en multiskala residual VQ-VAE-tokenisering og en transformer som lærer å forutsi nivåene i hierarkiet. Det tekniske poenget er at mange posisjoner på samme nivå kan behandles samtidig. [1] [2]
Hva viser de første resultatene?
Forskerne testet NCM på språkmodellering, oversettelse, oppsummering og Sudoku. I testene rapporterer de at NCM var mellom 10 og 31 ganger raskere enn sterke diffusjonsbaserte sammenligningsmodeller, avhengig av oppgave og målemetode. På LM1B rapporterte de 21 ganger høyere hastighet enn den sterkeste diffusjonsbaserte baselinen, og på XSum 31 ganger høyere hastighet ved sammenlignbar ROUGE-L-score. [1] [2]
Dette er interessante resultater, men de må leses riktig. Tallene er ikke en generell påstand om at NCM er 31 ganger raskere enn ChatGPT, Claude eller alle vanlige autoregressive modeller. Studien sammenligner først og fremst med diffusjonsmodeller, og flere resultater er målt på én NVIDIA H100 GPU. Det finnes heller ingen ferdig, uavhengig produksjonsbenchmark for norske tekster eller vanlige bedriftsoppgaver.
Forskerne peker også på at NCM brukte omtrent fire til fem ganger færre treningstokens enn sterke diffusjonsbaserte sammenligninger i enkelte eksperimenter. Det er lovende, men det sier ikke alene hvor mye det vil koste å trene en stor, norsk modell eller hvor godt metoden vil fungere på andre språk og domener.
Hvorfor er dette interessant for lokal AI?
Den mest interessante muligheten er ikke at alle bedrifter skal bytte ut ChatGPT i morgen. Det er at selve flaskehalsen kan flytte seg.
Når en vanlig modell skriver 1 000 tokens, må den gjøre mange sekvensielle steg. NCM prøver å gjøre en tilsvarende jobb med et lite antall nivåer. Færre steg kan bety mindre ventetid og bedre utnyttelse av maskinvaren, særlig når én bruker kjører modellen alene lokalt.
Det kan bli relevant for interne tjenester som lager sammendrag, oversetter dokumenter, foreslår kategorier eller hjelper ansatte med å finne informasjon i et lukket datasett. I en bedrift på Sunnmøre kan det for eksempel være interessant for dokumentasjon, servicehistorikk eller interne rutiner der data ikke bør sendes til en ekstern skytjeneste.
Men NCM er ikke en magisk løsning på maskinvareproblemet. De publiserte resultatene er i stor grad laget for forskning og evaluering. Repositoriet anbefaler Python 3.10 eller nyere og CUDA-kompatibel PyTorch. Det betyr at en vanlig kontor-PC eller en MacBook ikke nødvendigvis kan kjøre de publiserte eksperimentene uten videre. [3]
Kan du installere NCM på en PC nå?
Du kan klone NCM-repositoriet på GitHub, installere avhengighetene og laste ned checkpoints fra Hugging Face. Det finnes modeller og datasett for blant annet TinyStories, OpenWebText, LM1B, XSum, tysk–engelsk oversettelse og Sudoku. [3] [4]
Det er likevel viktig å skille mellom å kjøre en evaluering og å ha en bruksklar lokal språkassistent. De publiserte modellene er knyttet til bestemte oppgaver. Du får ikke automatisk en norsk generell chatbot med dokumentlesing, verktøytilgang, minne eller MCP bare ved å laste ned en checkpoint.
For en vanlig virksomhet er det derfor mer naturlig å følge utviklingen enn å bygge drift rundt NCM i dag. Offline AI-artikkelen forklarer de praktiske avveiningene mellom lokal og skybasert AI. OMP-artikkelen viser hvordan et lokalt harness kan brukes rundt egne datasett, uavhengig av hvilken modell som til slutt leverer svaret.
Hva er forskjellen på NCM og vanlig diffusjons-AI?
Diffusjonsmodeller for tekst starter gjerne med en uferdig eller støyete sekvens og forbedrer hele sekvensen gjennom flere runder. Det gjør parallell generering mulig, men hver runde kan være kostbar fordi hele sekvensen behandles på nytt.
NCM prøver i stedet å organisere teksten i en hierarkisk representasjon. De første nivåene er korte og grove. Senere nivåer er lengre og mer detaljerte. Dermed trenger modellen ikke å behandle en full ferdig tekst i hvert eneste steg.
Dette er også grunnen til at NCM kan være interessant for oppgaver som trenger en global struktur, for eksempel oppsummering, oversettelse eller Sudoku. Modellen etablerer noe av helheten før den fyller inn detaljene. Det betyr likevel ikke at den automatisk planlegger bedre i alle typer arbeid.
Hva betyr dette for små og mellomstore bedrifter?
På kort sikt betyr NCM først og fremst at det skjer mye spennende under overflaten i lokal AI. Det kommer ikke bare større modeller. Det kommer også nye måter å lage og kjøre modeller på.
Det kan på sikt gi flere valgmuligheter:
- En liten lokal modell kan håndtere enkle og avgrensede oppgaver.
- En større modell kan brukes når oppgaven krever mer språkforståelse.
- En rask, parallell modell kan bli interessant for oppsummering, kategorisering eller søk med lav ventetid.
- En router kan sende oppgaven til riktig modell ut fra personvern, kompleksitet og kostnad.
Dette passer godt sammen med tankegangen i artikkelen om AI-routing. Poenget er ikke å velge én modell for alt. Poenget er å vite hvilken type oppgave som skal hvor, og hva som skjer hvis modellen tar feil.
For de fleste bedrifter er den riktige rekkefølgen fortsatt å kartlegge prosessen først, velge et konkret bruksområde og måle resultatet. DeepGEMM-artikkelen viser en annen del av det samme bildet: bedre maskinvareutnyttelse kan gjøre AI billigere og raskere, men bare når resten av systemet er bygget for oppgaven.
Konklusjon: lovende forskning, ikke en ferdig LLM-killer
NCM er en interessant forskningsretning fordi den angriper en reell begrensning i språkmodeller: at teksten vanligvis må genereres sekvensielt. Ideen om å lage en grov plan og legge på detaljer parallelt kan gi raskere generering og kan bli relevant for lokal AI.
Men overskriften «slutten på LLM-er» går lenger enn dokumentasjonen gjør. NCM er foreløpig et lite forskningsprosjekt med oppgavespesifikke checkpoints, CUDA-krav og resultater som i hovedsak er sammenlignet med diffusjonsbaserte modeller. Det er et godt prosjekt å følge med på, ikke en grunn til å bytte ut virksomhetens AI-løsning i dag.
Den praktiske lærdommen er likevel viktig: Når dere vurderer lokal AI, bør dere ikke bare spørre hvilken modell som er størst. Spør også hvordan modellen genererer, hvor mange beregninger den trenger, hvilken maskinvare den krever, og om den kan løse akkurat deres oppgave på en kontrollerbar måte.
Kilder
[1] arXiv — Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
[2] Stanford Hazy Research — Next-Concept Modeling
