Colibrìとは（25GBで動く仕組み）
Colibrìのメモリ配置（744Bのうちメモリに載せるのはごく一部）
Colibrìとは、オープンソース開発者 JustVugg が GitHub で公開した、GLM-5.2 という744BパラメータのAIモデルを一般的なPCで動かすための推論エンジンです。GLM-5.2 は本来、専用のサーバーや高価なGPUを何枚も並べて動かす規模のモデルですが、Colibrì はそれを「メモリ25GBほどの普通のPC」で動かせるようにした点で注目されました。まずは、その正体と、なぜ動くのかの仕組みを見ていきます。
Colibrìの定義（純Cの推論エンジン）
Colibrì は、744BパラメータのMoE（混合エキスパート＝内部が多数の専門家パーツに分かれたAI）である GLM-5.2 を、メモリ約25GBのPCで動かす推論エンジンです。GPUも専用ライブラリも使わず、C言語で書かれたたった1本のプログラムで巨大モデルを動かす点が、Colibrì の最大の特徴です。
"Run GLM-5.2 (744B-parameter MoE) on a consumer machine with ~25 GB of RAM — in pure C, with zero dependencies, by streaming experts from disk." — リポジトリ冒頭の説明より
プログラム本体は c/glm.c という約2,400行のCファイル1本と、小さなヘッダーだけです。行列計算用の外部ライブラリ（BLAS）も、実行時のPythonも、GPUも要りません。生成AIを手元で動かす一般的なソフトはPythonや大きなライブラリ群に依存しますが、Colibrì はそれらを持たない極端に軽い作りになっています。
"The engine is a single C file (`c/glm.c`, ~2,400 lines) plus small headers. No BLAS, no Python at runtime, no GPU required" — The idea 節より
なぜ25GBのメモリで744Bが動くのか
ここでいちばん知りたいのは、「744Bもあるモデルがなぜメモリの少ないPCで動くのか」でしょう。答えは、GLM-5.2 が MoE（混合エキスパート）という構造を持つことにあります。MoE は、モデル全体は巨大でも、1つの単語（トークン）を作るたびに実際に働くのはその一部だけ、という仕組みです。GLM-5.2 は744Bのうち1トークンあたり約400億パラメータしか使わず、しかもその都度入れ替わるのは約11GB分だけです。
"A 744B Mixture-of-Experts model activates only ~40B parameters per token — and only ~11 GB of those change from token to token (the routed experts)." — The idea 節より
Colibrì はこの性質を利用します。どのトークンでも共通して使う中心部分（約170億パラメータ）だけを圧縮してメモリに常駐させ、その量は約9.9GBに収まります。残りの21,504個ある専門家パーツ（合計約370GB）はディスク上に置いたままにし、必要になったものだけをその都度読み込みます。この「メモリに全部載せず、使う分だけディスクから流し込む」方式が、巨大モデルを小さなメモリで動かす核心です。
"the dense part (attention, shared experts, embeddings — ~17B params) stays resident in RAM at int4 (~9.9 GB); the 21,504 routed experts ... live on disk (~370 GB) and are streamed on demand" — The idea 節より
Colibrìの必要スペックと速度
環境別の推論速度（コミュニティ実測・毎秒トークン数）
棒の長さは1秒あたりに生成できるトークン数。数値は公式リポジトリの実測表より。ディスクの速度で大きく変わります。
Colibrì を試す前に押さえておきたいのが、必要なPCのスペックと、実際に出る速度です。動く仕組みが「ディスクからの読み込み」に支えられているぶん、速度はディスクの性能に強く左右されます。
必要なハードウェア（RAM・SSD・CPU）
Colibrì は Windows 11・macOS・Linux（またはWSL2）で動きます。求められるのは、16GB以上のRAMと、約370GBあるモデルを置くための高速なSSD（NVMe）です。GPUは不要で、16GB以上のメモリと約370GBのモデルを置ける高速SSDがあれば、CPUだけで動かせます。
"The engine needs: Linux (or WSL2), macOS, or Windows 11 natively (MinGW-w64); gcc with OpenMP, AVX2, ≥16 GB RAM, and the ~370 GB int4 model on a local NVMe" — 動作要件の記載より
注意したいのは、モデルの置き場所です。約370GBというサイズのため、空き容量に余裕のあるSSDが要ります。しかも動作中はここを絶えず読みに行くため、外付けの遅いドライブやネットワーク越しの保存先ではなく、PCに直結した高速なSSDに置くことが前提になります。
推論速度の実測（毎秒0.05〜1トークン）
速度は環境で大きく変わります。作者の低速な検証環境では毎秒0.05〜0.1トークン、高速なSSDと大容量メモリを積んだ環境では毎秒1トークン前後まで上がります。日本語で数百字の返答を得るのに数分から十数分かかる水準で、会話のようにキビキビ返ってくる速度ではありません。
作者自身も、この遅さを隠していません。公式リポジトリには「これは速くない」とはっきり書かれています。そのうえで、価値は速度ではなく「H100のような高価なGPUの冷却ファン1個分の値段にも満たないPCで、最上位級の巨大モデルが正しく答えること」にある、と位置づけています。
"This is not fast. It is a 744B frontier-class model answering correctly on a machine that costs less than one H100 fan." — Honest numbers より
実際にローカルでLLMを動かしてきた経験からいえば、この速度帯は「その場で対話する道具」ではなく「時間をかけてでも、通信を伴わず手元で巨大モデルを試す実験装置」と考えるのが実態に近いといえます。手元で動かすAI全般の実務的な使いどころは、ローカルLLMの実務活用ガイド もあわせてご覧ください。
Colibrìの使い方と注意点
Colibrìを試すおおまかな手順
./coli chat で起動する最後に、Colibrì を実際に試すときの流れと、導入前に知っておきたい注意点を整理します。速度と保存先の性質を理解しておくと、無用な失敗を避けられます。
Colibrìの使い方（変換済みモデルで試す）
自分でモデルを変換することもできますが、手軽に試すなら、あらかじめ Colibrì 向けに変換された GLM-5.2 のデータ（int4形式・約370GB）を入手して使う方法があります。これを直結SSDに置き、エンジンをビルドしてモデルの場所を指定すれば、./coli chat で対話を始められます。標準的なチャット向けの通信仕様（OpenAI互換）にも対応しているため、既存のツールから接続して使うこともできます。
GLM-5.2 そのものは、中国の Z.ai が公開している GLM 系列の大規模モデルです。モデル本体と Colibrì は別物で、Colibrì はあくまで「そのモデルを小さなPCで走らせるためのエンジン」という関係です。
導入前に確認すべき注意点
導入前に確認しておきたいのは、主に3点です。「速度は会話用途には遅い」「約370GBを置ける直結SSDが要る」「長時間使うとドライブが発熱する」の3つが、Colibrì の主な留意点です。 まず速度は前述のとおり、その場の対話には向きません。保存先も、遅いドライブやネットワーク越しでは実用にならないため、高速SSDが前提になります。
もう一点、長時間の連続利用では、ディスクを絶えず読み続けるためドライブが熱を持ちます。公式リポジトリでも、読み込み自体はSSDをほとんど摩耗させない一方、長時間の高負荷では発熱とドライブ温度に注意するよう促しています。ライセンスはエンジンが Apache 2.0、モデル（GLM-5.2）の重みは Z.ai が MIT で公開しています。用途に合うなら、まず変換済みモデルで小さく試すところから始めるのが現実的です。
長いドキュメントをローカルのAIに読ませたいときは、あらかじめ Markdown 形式に整えておくと、見出しや表の構造が保たれて扱いやすくなります。Webページをそのまま整形したいときは、次のツールが役立ちます。
