Finisha-F-scratch

/

Learnia

like 2

Follow

Finisha 2

Mes LLm?

Tes qui courent qu'ils sont petits et que c'est des SLM?

Bah oui,
Mais je suis élève dans une école de développement de LLM,
nous travaillons souvent sur des modèles a peine plus gros que les tiens.
Je parle de "LLM",
car c'est le domaine : des modèles capable de générer du language.Cela ne veux pas forcément dire gros

Vous apprenez quoi a ton "école"?

On apprend a bien affiné des modèles,
Style pythia, tiny-llama, gpt2,
on fait de la théorie sur l'entraînement et le fonctionnement,
Et des fois nos professeurs entraînent from scratch, et on doit faire le meilleur affinage de leur modèle.