Documentazione
Compressione e streaming affrontano vincoli diversi.
Immagina i pesi come una biblioteca e la memoria come una scrivania. La compressione riduce il materiale da conservare; lo streaming porta le parti necessarie sulla scrivania durante il lavoro.
I modelli Mixture of Experts attivano componenti selezionati. GecoStream studia compressione e streaming verso la memoria attorno a questa struttura. Velocità del disco, cache e previsione influenzano il compromesso.
Valuta uno specifico modello e configurazione considerando qualità, latenza, velocità e picco di memoria. Esperimenti interni e obiettivi futuri non dimostrano prestazioni universali.