- MiniMax-Text-01 har 456 miljarder totalt parametrar och kan hantera upp till 4 miljoner tokens under inferens.
- MiniMax-VL-01 använder en lättvikts Vision Transformer och processar 512 miljarder vision-språk tokens.
- Den ”lightning attention” mekanismen minskar komplexiteten vid hantering av långa sekvenser.
- Modellerna erbjuder upp till 20-32 gånger längre kontextfönster än traditionella modeller.
- MiniMax-Text-01 når en noggrannhet på 88,5% på MMLU och tävlar med GPT-4.
- MiniMax-VL-01 överträffar sina motsvarigheter med 96,4% noggrannhet på DocVQA.
- Forskarna har implementerat optimerade CUDA-kärnor för att uppnå över 75% processeffektivitet på Nvidia H20 GPU:er.
Det har varit en spännande tid inom AI-världen, och nu har det kinesiska företaget MiniMax gjort lite av en storslagen entré! De har nyligen lanserat en serie öppna källkodsmodeller som lovar att förändra spelet.
Modellerna MiniMax-Text-01 och MiniMax-VL-01, som utmärker sig med en imponerande kontextfönster på upp till 4 miljoner tokens – en kapacitet som är 32 gånger större än ledande modeller som GPT-4.
MiniMax-Text-01s 4M-kontextfönster
MiniMax-Text-01 utmärker sig genom sitt enorma kontextfönster på 4 miljoner tokens, vilket möjliggör hantering av enorma mängder information i en enda input-output-session. Denna funktion drivs av ”Lightning Attention”, en innovativ mekanism som uppnår nära linjär beräkningskomplexitet – en första kommersiell implementering av linjär uppmärksamhet. Modellen integrerar denna arkitektur med Softmax Attention och Mixture-of-Experts (MoE), vilket aktiverar 45,9 miljarder parametrar per token för effektiv bearbetning av ultralånga indata.
- Kontextfönstret är 32 gånger större än ledande modeller som GPT-4o
- Uppnådde 100% noggrannhet på ”Needle-In-A-Haystack”-uppgiften med 4 miljoner tokens kontext
- Minimal prestandaförsämring vid ökad indatalängd
- Möjliggör hantering av information motsvarande ett litet bibliotek i en enda session
Lightning Attention och effektivitet
Lightning Attention, en teknik som används i MiniMax-Text-01, är ett viktigt genombrott för att effektivt hantera långa textsekvenser. Den har två stora fördelar: den håller en jämn bearbetningshastighet oavsett textens längd och använder en fast mängd datorminne.
Tekniken fungerar genom att dela upp beräkningarna i två delar – inom block och mellan block. Denna uppdelning gör att man kan undvika de omfattande summeringsberäkningar som tidigare var ett problem i linjära uppmärksamhetsmodeller.
Tillgänglighet och kontroverser
Även om MiniMax har gjort sina modeller tillgängliga på GitHub och Hugging Face är de inte riktigt öppen källkod. Företagets restriktiva licensiering förbjuder användning för att förbättra rivaliserande AI-system och ställer ytterligare krav på plattformar med över 100 miljoner aktiva användare.
MiniMax produkter har mött viss kritik:
- Talkie-appen togs bort från Apple’s App Store på grund av oro över obehöriga AI-avatars av offentliga personer.
- Uppgifter om upphovsrättsintrång från brittiska TV-kanaler och den kinesiska streamingtjänsten iQIYI angående obehörig användning av upphovsrättsskyddad innehåll i träningsdata.
MiniMax grundades 2021 av tidigare anställda från det kinesiska AI-jätten SenseTime. Trots sin relativt korta historia har företaget snabbt etablerat sig som en ledande aktör inom AI-innovation. Med stöd från techjättar som Alibaba och Tencent har MiniMax lyckats samla in över 850 miljoner dollar i riskkapital och värderas nu till över 2,5 miljarder dollar.
