Ordklasstaggning

SUC-taggarna finns i labbinstruktionen men är även tillgänglig här

Några exempelmeningar:

• Jag har, som alla andra, slukat Orange is the New Black.
• Kenny Starfighter är från rymden och är noga med sitt hår.
• Blandning av allt från punk och rockabilly till folkmusik.

Tokenisering

Moderna språkmodeller använder sig framförallt av kompressionsalgoritmer snarare än ord/morfem-indelning. Pröva morfemindela några ord, och se hur det skiljer sig från hur några språkmodeller skulle dela upp texten innan det processas genom nätverket.

Redo.

Sekvensanalys

Här kan du skriva in text i textlådan nedanför, och få en token-för-token analys över den texten. Pröva skriv in en mening och klicka på analysera. Klicka sen på varje tokenposition för att se vad det mest sannolika token är för den valda positionen.

Log-sannolikhet: Log-sannolikhet är ett sätt att skriva sannolikheter så att de blir lättare att räkna med i datorer då sannolikheterna annars blir oerhört små. Ju mer negativt talet är, desto mindre sannolikhet.

Redo.

Textgenerering

Här kan du leka med hur en generativ språkmodell genererar text, ett token i taget. Pröva att skriva in början till en mening som du vill att modellen ska fortsätta och klicka sen i listan av tokens!