Forskare och startups letar efter nästa stora innovation inom stora språkmodeller (LLM). Den nuvarande tekniken, transformer, som ligger till grund för alla stora LLM, börjar visa tecken på åldrande. Trots att transformer har revolutionerat AI-branschen, har den begränsningar som gör den mindre effektiv för att hantera stora mängder data och komplexa uppgifter.

Startups som Subquadratic försöker utveckla nya tekniker som kan ersätta eller komplettera transformer. En av de största utmaningarna är att minska den enorma mängd beräkningar och energiförbrukning som krävs för att köra LLM. OpenAI förväntas till exempel spendera 50 miljarder dollar på datorkraft i år.

Den framtida generationen av LLM, som MIT Technology Review kallar LLM+, förväntas kunna hantera mer komplexa uppgifter och stora mängder data på ett mer effektivt sätt. Detta kan leda till nya möjligheter inom AI, men också stora utmaningar när det gäller att hantera den ökande energiförbrukningen och datorkraften.