Paramètres des LLM : pourquoi en ont-ils autant ?

170 milliards. Ce n’est pas la taille d’une fortune ou le nombre de connexions d’un réseau social planétaire, mais bel et bien la quantité de paramètres qui propulse un mastodonte comme GPT-4. À titre de comparaison, GPT-2 en comptait à peine 110 millions. Cette montée vertigineuse ne répond à aucune loi gravée dans le marbre de l’IA : elle résulte …

The post Paramètres des LLM : pourquoi en ont-ils autant ? appeared first on Véron.