Prodotti
Usa meglio la memoria per i grandi modelli AI.
Sperimentale: la compressione è ancora in fase di test.GecoStream studia l’esecuzione efficiente in memoria dei modelli Mixture of Experts. La compressione mira a ridurre i dati del modello. Lo streaming carica dal disco NVMe le parti utili, con cache e precaricamento per ridurre le attese. Sono tecniche complementari, non una garanzia per ogni modello e computer.
Immagina una biblioteca che non entra tutta su una scrivania. Tieni vicini i libri usati spesso e porta gli altri dallo scaffale quando servono. È un’analogia dello streaming: velocità del disco, memoria e comportamento del modello continuano a limitare le prestazioni.
Le misure sperimentali valgono per la configurazione provata, e la qualità della compressione è ancora in prova sui modelli completi. Interfacce compatibili OpenAI ed esecuzione su più computer sono direzioni architetturali, non garanzie per ogni client.
Inizia nell’app GecoChat. Controlla che la funzione sia disponibile per account e dispositivo, verifica permessi e luogo di esecuzione e prova un piccolo compito con dati non sensibili. Consulta le guide prima di ampliare il lavoro.
Verifica versione attuale e dispositivi compatibili nell’app GecoChat. Sistema operativo, processore, memoria disponibile e spazio richiesti dal modello vanno controllati separatamente. Una piattaforma nella roadmap potrebbe non essere ancora supportata.
Come si inserisce in GECO? I prodotti e le guide collegati mostrano il legame tra conversazioni, assistenti, compiti al computer ed esecuzione dei modelli. Tutte le capacità descritte funzionano oggi? Non tutte: lo stato in cima alla pagina indica a che punto è ogni prodotto, e l’app GecoChat mostra cosa è disponibile sul tuo account.