製品

GecoStream

大規模AIモデルのために、メモリを有効活用。

実験段階:圧縮はテスト中です。
  1. 01保存されたモデル
  2. 02必要な部分を選択
  3. 03メモリへ転送
  4. 04推論を実行
しくみ:必要なエキスパートの重みをストレージからメモリへ移します。

主な機能

GecoStreamはMixture of Expertsモデルの省メモリ実行を研究しています。圧縮は保存するモデルデータを減らし、ストリーミングは必要な部分をNVMeから読み込みます。キャッシュや先読みで待ち時間を減らす構想です。すべてのモデルがすべての端末で動く保証ではありません。

活用例

図書館の全蔵書が机に収まらない状況を考えます。よく使う本を近くに置き、必要な本を棚から持ってきます。これはストリーミングのたとえです。ストレージ速度、メモリ容量、モデルの動作による制約は残ります。

権限とデータ

実験値は試験した構成に対するもので、圧縮の品質はモデル全体でテスト中です。OpenAI互換インターフェースや複数端末実行は設計の方向性であり、あらゆるクライアントへの対応を保証するものではありません。

始め方

GecoChatアプリから始めます。アカウントと端末で機能が利用できるか確認し、権限と実行場所を確認してから、機密性のない情報で小さな作業を試してください。作業を広げる前に関連ガイドを参照してください。

対応環境と要件

GecoChatアプリで現在のバージョンと対応端末を確認してください。モデルのOS、CPU、使用可能なメモリ、ストレージ要件は個別に確認します。ロードマップに記載されたプラットフォームが、まだ対応していない場合もあります。

よくある質問

GECOの中でどのようにつながりますか?関連製品とガイドで、会話、アシスタント、パソコン作業、モデル実行の関係を確認できます。記載された機能はすべて利用できますか?すべてではありません。ページ上部の表示で各製品の状況がわかり、アカウントで利用できる機能はGecoChatアプリで確認できます。

GecoChatを開く