AI Aulis

AI-NYHETER PÅ SVENSKA · 16 november 2026

De viktigaste AI-nyheterna varje morgon. AI skriver och granskar artiklarna mot originalkällorna – kontrollera viktiga uppgifter i källorna.

24 artiklar · nästa nummer i morgon bitti · Så görs tidningen →

← Numret 16 november 2026Tidningen

Raschka: RoPE i alla lager är fortfarande vanligast, men andelen har minskat

AI-genererat innehållSkriven av AI

magazine.sebastianraschka.com, x.com · 2 källor · Källornas publiceringsdatum: 15 november 2026

Sebastian Raschka förklarar i en artikel hur RoPE ger en språkmodell information om avståndet mellan token. I hans galleri är RoPE i alla lager fortfarande vanligast, men partiell RoPE och att utelämna RoPE i en del lager har blivit vanligare. Grupperna är dock ännu små.

Maskininlärningsforskaren Sebastian Raschka publicerade den 15 november en förklarande artikel i sitt nyhetsbrev Ahead of AI. Den handlar om hur stora språkmodeller får information om i vilken ordning token kommer. Han jämför också vilka lösningar årets modeller använder.

Utan positionsinformation får samma ord samma vektor oavsett var det står. En del information om ordningen ger den kausala masken, som bara låter ett token se sig självt och tidigare token, skriver Raschka. Masken skiljer dock inte mellan ett avstånd på ett och tio token.

Rotationen anger avståndet

GPT-2 adderar en inlärd positionsvektor till vektorn för varje token. Positionsvektorerna hämtas ur en tabell med 1 024 positioner. Längre kontext skulle kräva en större tabell. I Raschkas beräkning utgör tabellen 0,30 procent av modellvikterna i GPT-2 Medium, men med 100 000 positioner över 22 procent.

RoPE (Rotary Position Embedding) verkar inuti uppmärksamhetsmekanismen. Där beräknas en fråge-, en nyckel- och en värdevektor för varje token. Skalärprodukten av fråga och nyckel avgör hur stor vikt ett token ger ett annat. RoPE roterar frågans och nyckelns talpar med en vinkel som är tokenets position multiplicerad med parets frekvens. Värdevektorerna roteras inte.

Skalärprodukten beror på vinkeln mellan vektorerna. Skillnaden mellan RoPE:s rotationer beror bara på avståndet mellan token. Om hundra token läggs till före en mening roteras båda vektorerna lika mycket extra, så skalärprodukten ändras inte. Enligt Raschka bevaras den bara om de oroterade vektorerna förblir desamma. I en verklig modell ändrar de tillagda token även dem.

Nya modeller skär ned på RoPE

Partiell RoPE roterar bara en del av dimensionerna. MiniMax-M3 roterar till exempel 64 av de 128 dimensionerna i varje uppmärksamhetshuvud. Det sparar minne för de förberäknade sinus- och cosinustabellerna, men cachen för nyckel- och värdevektorer behåller full storlek, skriver Raschka. I studien Fractional Rotation, Full Potential? gav rotation av omkring 10 procent av dimensionerna ofta liknande träningsförlust och benchmarknoggrannhet som full RoPE i modeller med 1–8 miljarder parametrar. I vissa utvärderingar var full RoPE bättre. Raschka anser att partiell RoPE knappast är mödan värd.

Ett NoPE-lager saknar separat positionskodning. Modellen förlitar sig i stället på informationen från den kausala masken. SmolLM3 utelämnar RoPE i vart fjärde lager. Det förbättrade prestandan vid lång kontext, uppger modellens utvecklare. Thinkys Inkling lägger i stället till ett inlärt värde i uppmärksamhetspoängen. Värdet beror på avståndet mellan token.

I en bild i ett inlägg på X har Raschka sorterat modellerna i sin samling LLM Architecture Gallery efter positionskodning. RoPE i alla lager är fortfarande vanligast, men andelen har minskat.

Period Modeller RoPE i alla lager RoPE + NoPE Endast NoPE Övrigt
2025 32 27 2 2 1
2026, tidigare 60 47 5 7 1
2026, senare 21 12 5 4 0

Källa: Raschkas galleri, läget den 9 november 2026. Varje gallerikort räknas en gång, så versioner av samma arkitektur kan få för stor vikt.

Grupperna är ännu så små att det är svårt att bedöma om trenderna håller i sig, säger Raschka. I båda grupperna från 2026 använder majoriteten av RoPE-modellerna partiell RoPE. Raschka bedömer att RoPE förblir dominerande även 2027.

Anmäl ett fel i artikeln