ちょっとした考えですが、AIアーキテクチャについて話すとき、「トークン」よりも「ビットストリーム」が本質を捉えているかもしれません。そして、ここでの問題は、なぜ私たちはまだパラメータ数にこだわっているのかということです。本当のボトルネックは目の前にあります：メモリ容量、帯域幅の制限、計算処理です。ファイルサイズは、実際に何が実現可能であるかについてはるかに多くのことを教えてくれます。私たちは、AIモデルを物理的に制約するものによって測定すべきであり、紙の上で印象的に見える抽象的な数字で測るべきではありません。