テクスチャは GPU の中でどうなるのか

PNG や JPEG は画像を保存・送信するための形式です。GPU がテクスチャを描画する前に、画像は生のテクセルに展開されます。通常は 1 テクセルあたり 4 バイトです。

GPU はフレームごとにテクセルを何百万回もサンプリングするため、いつでも読める状態にしておく必要があります。そのためメモリ使用量は解像度とピクセル形式だけで決まり、ファイルの圧縮率とは関係ありません。遠くの面に使う縮小コピーであるミップマップを加えると、さらに約 3 分の 1 増えます。

シェーダーがテクスチャをサンプリングするとき、どのテクセルをどの順番で要求するかはわかりません。ハードウェアはそのテクセルをすぐに見つける必要があります。

PNG や JPEG は可変長の符号化を使うため、途中のピクセルを読むにはその前をすべてデコードしなければなりません。GPU フォーマットは固定レートで、どの 4×4 ブロックもまったく同じバイト数を使います。そのため任意のテクセルのアドレスは掛け算一つで求まります。テクスチャはメモリ内で圧縮されたまま保持され、テクスチャユニットが読み込み時にブロックをデコードします。

最も古くから広く使われている BC1 は、考え方を一番わかりやすく示してくれます。16 テクセルのブロックをわずか 8 バイトに収めます。

エンコーダーは 2 つの端点カラーを選びます。デコーダーはそれらを混ぜて直線上の 4 色を作り、各テクセルは最も近い色を指す 2 ビットの番号だけを持ちます。色がなめらかに変化するブロックはきれいに残りますが、無関係な色が混在するブロックは崩れます。

新しいフォーマットは BC1 より賢くビットを使います。端点を増やしたり、ブロック内に複数のカラーラインを持たせたり、アルファを改善したり、ブロックサイズを選べるようにしたりしています。

BC7 と ASTC 4×4 は 1 テクセルあたり 8 ビットで、原画にかなり近い見た目になります。ASTC はブロックサイズで品質とサイズを調整できます。ブロックは常に 128 ビットなので、12×12 ブロックでは 1 テクセルあたり 1 ビット未満になります。Basis Universal は別の方法を取ります。コンパクトなファイルを 1 つだけ配布し、端末上でその GPU が対応するフォーマットにトランスコードします。

2 つの質問で候補はすぐに絞れます。どの GPU がこのテクスチャを読み込むのか、そして中身は何のデータなのか。

カラーテクスチャ、法線マップ、単一チャンネルのマスクは、圧縮に対する反応がそれぞれ異なります。また、デスクトップ、モバイル、Web では対応するフォーマットの系統も違います。自分のケースを選んで出発点を決め、実際のテクスチャで結果を確認してください。

いくつかの習慣で、テクスチャ圧縮の問題のほとんどを防げます。