chiikamini (xielu)

Tout petit modele de langage (decoder-only, ~7M parametres) implemente from scratch en PyTorch, pour tester des applications locales (chiikaScreen) sans charger un vrai LLM en RAM pendant le dev. Pas un modele destine a un usage reel -- entraine sur un corpus jouet de ~27k tokens (notes CS + extraits de code de chiikaml/chiikamini).

Architecture : RoPE, Grouped Query Attention, RMSNorm + QK-Norm, FeedForward avec activation xIELU (Huang et al. 2024, arXiv:2411.13010) plutot que SwiGLU -- voir compare_activations.py pour la comparaison qui a motive ce choix.

Code source : https://github.com/Alphaeo/chiika0.0