Raschka: RoPE kaikissa kerroksissa yhä yleisin paikkakoodaus, osuus on silti laskenut
Sebastian Raschka selittää artikkelissaan, miten RoPE kertoo kielimallille tokenien etäisyyden. Hänen galleriassaan RoPE kaikissa kerroksissa on yhä yleisin ratkaisu, mutta osittainen RoPE ja RoPE:n poisjättäminen osasta kerroksia ovat yleistyneet; ryhmät ovat tosin vielä pieniä.
Koneoppimistutkija Sebastian Raschka julkaisi 15. marraskuuta Ahead of AI -uutiskirjeessään opetusartikkelin siitä, miten suuret kielimallit saavat tiedon tokenien järjestyksestä. Hän vertaa myös, mitä ratkaisuja tänä vuonna julkaistut mallit käyttävät.
Ilman paikkatietoa sama sana saa saman vektorin kohdasta riippumatta. Raschkan mukaan jonkin verran järjestystietoa antaa kausaalinen maski, joka sallii tokenin katsoa vain itseään ja aiempia tokeneita. Se ei kuitenkaan erota yhden ja kymmenen tokenin etäisyyttä.
Kierto kertoo etäisyyden
GPT-2 lisää jokaisen tokenin vektoriin opitun paikkavektorin taulukosta, jossa on 1 024 paikkaa. Pidempi konteksti vaatisi suuremman taulukon: Raschkan laskelmassa taulukon osuus GPT-2 Mediumin painoista on 0,30 %, mutta 100 000 paikalla yli 22 %.
RoPE (Rotary Position Embedding) toimii huomiomekanismin sisällä. Huomiossa tokenista lasketaan kysely-, avain- ja arvovektori. Kyselyn ja avaimen pistetulo ratkaisee, kuinka paljon token painottaa toista. RoPE kiertää kyselyn ja avaimen lukupareja kulmalla, joka on tokenin paikka kerrottuna parin taajuudella. Arvovektoreita se ei kierrä.
Pistetulo riippuu vektorien välisestä kulmasta. RoPE:n kiertojen ero riippuu vain tokenien etäisyydestä. Jos lauseen eteen lisätään sata tokenia, molemmat vektorit kiertyvät saman verran lisää, joten niiden pistetulo ei muutu. Raschkan mukaan pistetulo säilyy vain, jos kiertämättömät vektorit pysyvät samoina; oikeassa mallissa lisätyt tokenit muuttavat myös niitä.
Uudet mallit karsivat RoPE:a
Osittainen RoPE kiertää vain osan ulottuvuuksista. Esimerkiksi MiniMax-M3 kiertää kunkin huomiopään 128 ulottuvuudesta 64:ää. Raschkan mukaan tämä säästää esilaskettujen sini- ja kosinitaulukoiden muistia, mutta avain- ja arvovektorien välimuisti pysyy täysikokoisena. Fractional Rotation, Full Potential? -tutkimuksen 1–8 miljardin parametrin malleissa noin 10 %:n kiertäminen antoi usein samanlaisen koulutushäviön ja vertailutestitarkkuuden kuin täysi RoPE. Joissakin arvioinneissa täysi RoPE oli parempi. Raschkan mielestä osittainen RoPE tuskin on vaivan arvoinen.
NoPE-kerroksessa ei ole erillistä paikkakoodausta, vaan malli nojaa kausaalisen maskin antamaan tietoon. SmolLM3 jättää RoPE:n pois joka neljännestä kerroksesta. Mallin tekijöiden mukaan tämä paransi pitkän kontekstin suorituskykyä. Thinkyn Inkling taas lisää huomiopisteisiin opitun arvon, joka riippuu tokenien etäisyydestä.
Raschka on luokitellut X-julkaisunsa kuvassa LLM Architecture Gallery -kokoelmansa mallit paikkakoodauksen mukaan. RoPE kaikissa kerroksissa on yhä yleisin, mutta sen osuus on laskenut.
| Ajanjakso | Malleja | RoPE kaikissa kerroksissa | RoPE + NoPE | Vain NoPE | Muu |
|---|---|---|---|---|---|
| 2025 | 32 | 27 | 2 | 2 | 1 |
| 2026, aiemmat | 60 | 47 | 5 | 7 | 1 |
| 2026, myöhemmät | 21 | 12 | 5 | 4 | 0 |
Lähde: Raschkan gallerian tilanne 9.11.2026. Kukin galleriakortti lasketaan kerran, joten saman arkkitehtuurin versiot voivat painottua liikaa.
Raschkan mukaan ryhmät ovat vielä niin pieniä, että suuntausten jatkumista on vaikea arvioida. Vuoden 2026 kummassakin ryhmässä enemmistö RoPE:a käyttävistä malleista käyttää osittaista RoPE:a. Raschka arvioi RoPE:n pysyvän hallitsevana myös vuonna 2027.
Lue lisää: Mallit