ドキュメント
圧縮とストリーミングは異なる制約に対応します。
モデルの重みを図書館、メモリを机と考えましょう。圧縮は保存する量を減らし、ストリーミングは作業中に必要な部分を机へ運びます。
Mixture of Expertsモデルは一部の専門コンポーネントを使います。GecoStreamはこの構造で圧縮やストレージからメモリへの転送を研究します。保存装置の速度、キャッシュ、予測が影響します。
特定モデルと構成について、回答品質、遅延、処理量、最大メモリを合わせて評価します。内部実験や将来の圧縮目標は、あらゆる環境での性能を保証しません。