Mac mini M4 Pro

Appleシリコンに特有の注意点があります。このトークン/秒の数値が表すのは生成で、ユニファイドメモリが得意とする処理です。プロンプト処理（最初のトークンが返ってくる前に、送った内容を読み込む処理）は同等のNVIDIA製GPUよりはっきり遅く、長い文書を貼り付けたときに感じるのはこちらです。短いプロンプトならこのマシンでも速く感じますが、30,000トークンのプロンプトではそうはいきません。

MiniCPM-V 4.7 35B-A3B (MoE)が、このGPUを最も有効に使えるモデルです。使うのは48GBのうち22GBで、生成速度は推定110トークン/秒（読むより速い）、コンテキストにはまだ131,072トークン分の余裕があります。MoE（Mixture of Experts）モデルなので、35.2Bのパラメータはすべてメモリに置かれますが、トークンごとに読むのは3Bだけです。サイズの割に速いのはそのためです。

ベンチマークは引用していないため、選び方を説明します。モデルはサイズで比べ、MoEモデルは総パラメータとアクティブパラメータの幾何平均で数えます（経験則で、測定ではありません）。メモリに余裕を持って収まり、25トークン/秒以上で応答する最も大きいクラスを選び、その中で最も新しい汎用モデルを選んでいます。コーディングや推論に特化したモデルは上の一覧には載せていますが、標準ではおすすめしていません。

このGPUが保持できる最大のモデルはFlint 40B-A2.5B (MoE)で、必要量は24.8GBです。131,072トークンのコンテキストを確保できます。MoEモデルで、トークンごとに読むパラメータは2.5Bだけなので、2つのうち速いのはこちらで、推定132トークン/秒です。その代わり、トークンごとにすべての重みを読む密（dense）モデルの深さはありません。

パラメータ数より品質を重視するなら、Muse Glimmer 30BがQ8_0で約33.5GBに収まります。Q8はほぼ劣化がなく、Q8の小さなモデルは、Q3に押し込んだ大きなモデルに勝つことがよくあります。

KVキャッシュをQ8に量子化すると、保持できる量はおよそ2倍になり、品質の低下はほとんどの人が気づかない程度です。このGPUでは、Nanbeige4.3 33Bが117,760トークンから131,072トークンになります。上限は128kトークン、またはそれより小さければモデル自身のネイティブのコンテキスト長で、後者は「モデルの上限」と表示しています。それを超える空きメモリは何の役にも立ちません。サイズの割にはるかに多くのコンテキストを保持できる行は、ハイブリッド構成、スライディングウィンドウ、MLA（Multi-head Latent Attention）のモデルで、標準的なTransformerのほんの一部しかキャッシュしません。計算の過程は各モデルのページにあります。

最初に届かなくなるモデルはLlama 3.3 70Bで、Q4_K_M・8kコンテキストで約45.8GBが必要です。使えるメモリは48GBです。注意が必要なほど近い値です。48GBそのものには収まっていて、このサイトが収まる判定に使う95%のラインを超えているだけです。ディスプレイをつないだGPUでは動かないものと考えてください。ディスプレイをつないでいないGPUで、コンテキストを短くすれば動きます。Q3_K_Mに下げると約37.7GBが必要で、収まりますが、Q3は品質の低下が大きいため、たいていは小さなモデルをQ4で動かすほうが良い選択です。残りをシステムRAMにオフロードすれば動きますが、10〜50倍遅くなります。モデルが動くのを確かめる方法であって、使う方法ではありません。

中規模のモデルを保持できる静かなマシンが欲しく、CUDAが不要なら、64GBの中古品か整備済み品は買う価値があります。新品で買うなら、M5 ProのMac miniは上限が同じ64GBで、メモリを約8分の1速く読み出します。大きなモデルをたまに使うだけなら、最大のモデルに合わせて買うより、大きなGPUを時間単位で借りるほうが安く済みます。

重要なのはマシン本体ではなくメモリのアップグレードで、Appleはその価格を構成ごとに変えています。実際に検討している価格を、電気料金と実際の月間使用時間とあわせて購入とレンタルの比較ツールに入れてください。所有するほうが安くなる月がわかり、そうならない場合はそれがわかります。決め手になるのは、価格よりも月間の使用時間であることがはるかに多いです。

• Mac mini M5 Pro：48GB・307GB/s・最適なモデルはGemma 4 12B、約31トークン/秒。ローカルモデル向けの、Appleの現行のMac miniで、最大64GBのメモリを307GB/sで読み出します。
• DGX Spark：126GB・273GB/s・最適なモデルはNemotron 3.5 Bolt 74B-A9B (MoE)、約37トークン/秒。GPUと共有できる128GBを積んだ、NVIDIAの小型Linuxマシンです。大きなモデルも収まりますが、メモリを読む速さはRTX 4090の約4分の1です。
• Ryzen AI Max+ 395：96GB・256GB/s・最適なモデルはNemotron 3.5 Bolt 74B-A9B (MoE)、約34トークン/秒。WindowsではGPUに最大96GBを割り当てられ、x86で大きなMoEモデルを動かす道になる、ノートPCとミニPC向けのAMDの128GBのチップです。

全40種類のGPUはGPU一覧で並べて比較しています。同じ数値をモデルの側から見た表はモデルの適合表（英語）にあります。表を読む代わりに特定の組み合わせを確かめるなら、ローカルLLM動作チェッカーを使ってください。