7月10日、7440億パラメーターという巨大な大規模言語モデル（LLM）「GLM-5.2」を、メモリ25GBの一般向けPCで動作させる推論エンジン「Colibrì」が公開されたと、テクノロジー系メディアのGigazineが伝えました。通常なら高価な専用ハードが必要とされる巨大AIを、身近なPCで動かせる可能性を示した点で注目を集めています。
そもそも何がすごいのか
大規模言語モデルは、パラメーター（AIの性能を決める内部の調整値）の数が多いほど高度な処理ができる一方で、動かすために大量のメモリを必要とします。特にVRAM（グラフィックボード用のメモリ）やRAM（PCの作業用メモリ）にモデル全体を読み込む方式が一般的で、パラメーター数が数千億規模になると、個人のPCでは実行が難しいのが実情でした。
今回公開された「Colibrì」は、7440億パラメーターの「GLM-5.2」を、メモリ25GBという一般向けPCでも用意できる範囲で動作させられるとされています。
仕組みの特徴：必要なデータだけをSSDから読み出す
Colibrìの特徴は、モデル全体をメモリに読み込まない点にあると伝えられています。従来の方式では、AIを動かす際にモデル全体をVRAMやRAMに展開する必要がありました。
これに対しColibrìは、処理に必要になったデータだけをSSD（記憶装置）から随時読み出す仕組みを採用しているとされます。全体を一度にメモリへ載せるのではなく、都度必要な部分を呼び出すことで、限られたメモリでも大規模なモデルを扱えるようにするという発想です。
この方式により、メモリ容量が動作の壁になりにくくなる一方で、SSDからのデータ読み出しがどの程度の速度や快適さにつながるかは、利用環境によって変わる可能性があります。この記事では、公開された内容以上の性能や課題の詳細については触れられていません。
なぜ注目されるのか
これまで巨大AIを動かすには、高性能なGPUや大容量メモリを備えた専用環境が前提になりがちでした。もしColibrìのように「普通のPC＋SSD」で巨大モデルを実行できる手法が広がれば、個人の開発者や小規模な組織でも高度なAIを試しやすくなる可能性があります。
一方で、こうした技術がどこまで実用に耐えるか、どのような用途に向くのかは、今後の検証や利用者の評価を待つ必要があるとみられます。現時点では、公開されたばかりの新しいアプローチとして受け止めるのが妥当でしょう。
まとめ
- 7月10日、巨大AI「GLM-5.2」（7440億パラメーター）をメモリ25GBのPCで動かす推論エンジン「Colibrì」が公開されたとGigazineが報じた
- Colibrìはモデル全体をメモリに読み込まず、必要なデータだけをSSDから随時読み出す仕組みが特徴とされる
- 巨大AIを身近なPCで扱える可能性を示す点で注目されるが、実用性や課題の詳細は今後の検証が必要とみられる
AIをどんな環境で動かせるかは、技術の使いやすさを左右する重要なテーマです。今後の関連情報にも目を向けておくと、AIの広がりをより深く理解できそうです。