「音楽アプリ開発の入門」サンプルレート・ビット深度・バッファを開発者目線で理解する

プレーヤーでもプラグインでも、音を扱うコードを書くと最初に出てくるのが、サンプルレート、ビット深度、バッファサイズの3つです。設定画面で見たことはあっても、コードの中で何を意味するのかは意外と説明しにくいもの。この記事では、プログラムから見た「音のデータ」の形を、デモを動かしながら整理します。

プログラムから見ると、音は「数字の並び」

マイクが拾う音は、空気の圧力が連続して変わる波です。コンピューターはこれをそのままでは扱えないので、一定の間隔で波の高さを測り、数字の列として記録します。測る作業がサンプリング、測った値を決まった段階の数字に丸める作業が量子化です。

コードの中では、音はたいてい次のような配列になっています。

JavaScript
// 1チャンネル分の音。値は -1.0 〜 1.0 の小数
const samples = new Float32Array([0.0, 0.12, 0.24, 0.35, 0.45, ...]);

配列の1要素が「サンプル」です。1秒間にいくつサンプルを取るかがサンプルレート、1つのサンプルを何段階で表すかがビット深度。そして、この配列を何サンプルずつまとめて処理するかがバッファサイズです。

サンプルレート:1秒に何回測るか

サンプルレートの単位は Hz(ヘルツ)です。CD は 44,100Hz(44.1kHz)、動画や多くの制作環境では 48,000Hz(48kHz)がよく使われます。

サンプルレートで決まるのは、記録できる音の高さの上限です。理屈の上では、サンプルレートの半分の周波数まで記録できます。この半分の値をナイキスト周波数と呼びます。44.1kHz なら 22.05kHz まで。人の耳で聞こえる上限はおよそ 20kHz と言われるので、CD の規格はそこに少し余裕を持たせた値になっています。

ナイキスト周波数より高い音をそのままサンプリングすると、本来とは違う低い音として記録されてしまいます。これをエイリアシングと呼びます。シンセサイザーやディストーションのように、計算の途中で高い倍音が生まれる処理を書くときは、この問題を意識する必要があります。

💡 開発でまず決めておくこと
サンプルレートは、アプリが自分で決めるとは限りません。オーディオインターフェースや OS、DAW が決めた値を受け取って、それに合わせて計算する場面のほうが多いです。フィルターの係数や遅延の長さなど、時間や周波数が関わる計算は、決め打ちせずに実際のサンプルレートから求めるようにしておきましょう。

ビット深度:1回を何段階で記録するか

ビット深度は、1つのサンプルを表す数字の細かさです。16bit なら 65,536 段階、24bit なら約1,677万段階で波の高さを表します。段階が粗いほど、本来の波との差(量子化誤差)が大きくなり、それが小さなノイズとして聞こえます。

ビット深度で決まるのは、記録できるいちばん大きな音と、ノイズに埋もれないいちばん小さな音の差、つまりダイナミックレンジです。1bit 増えるごとに約6dB 広がるので、目安は次のとおりです。

形式ダイナミックレンジの目安よく使われる場面
16bit 整数約96dBCD、配布用のファイル
24bit 整数約144dB録音、制作中のファイル
32bit 浮動小数点非常に広い(1.0 を超えても値が壊れない)プラグインや DAW の内部処理

整数形式のダイナミックレンジは「ビット数 × 約6.02dB」で計算した理論値です。

開発者にとって覚えておきたいのは、ファイルのビット深度と、プログラムの中で計算するときの形式は別物だという点です。ファイルが 16bit でも 24bit でも、読み込んだあとは -1.0 〜 1.0 の 32bit 浮動小数点に変換して計算するのが一般的です。Web Audio API の AudioWorklet でも、受け取るサンプルは Float32Array で、MDN では入力の値の範囲を -1 〜 1 と説明しています。

浮動小数点で計算していれば、途中で値が 1.0 を超えても情報は失われません。ただし、最後に整数のファイルへ書き出したり、オーディオインターフェースに送ったりするときに 1.0 を超えた部分は切り捨てられ、音が割れます(クリップ)。出力の直前で値が範囲に収まっているかを確認するのは、音を扱うコードの基本です。

デモ:サンプリングと量子化を目で見る

サンプルの間隔と段階数を変えて、元の波(細い線)がどう記録されるかを見てみましょう。点がサンプル、階段状の線が量子化したあとの値です。実際の音声よりずっと粗い設定で、違いが見えるようにしています。

DEMO

サンプル数を減らすと波の形が角ばり、ビット数を減らすと階段が粗くなります。サンプル数は「どこまで高い音を記録できるか」に、ビット数は「どこまで小さな音をノイズなしで記録できるか」に関わる、と分けて覚えておくと整理しやすくなります。

バッファサイズ:何サンプルずつまとめて処理するか

音を再生するとき、プログラムは1サンプルずつ OS に渡しているわけではありません。決まった数のサンプルをまとめて計算し、まとめて渡します。このまとまりがバッファで、何サンプルずつかがバッファサイズです。

オーディオのプログラムは、多くの場合「コールバック」という形で書きます。OS やオーディオドライバーが「次の256サンプルをください」と関数を呼び出し、プログラムはその場で計算して配列を埋めて返します。JUCE の processBlock も、Web Audio の AudioWorkletProcessor の process() も、この形です。

JavaScript(AudioWorklet)
class Gain extends AudioWorkletProcessor {
  process(inputs, outputs) {
    const input = inputs[0], output = outputs[0];
    for (let ch = 0; ch < output.length; ch++) {
      if (!input[ch]) continue;
      // 1回の呼び出しで受け取る長さは決め打ちせず、配列の長さを見る
      for (let i = 0; i < output[ch].length; i++) {
        output[ch][i] = input[ch][i] * 0.5;
      }
    }
    return true;
  }
}
registerProcessor('gain', Gain);

AudioWorklet の場合、MDN によると現在は1回に128フレームずつ渡されます。ただし将来変わる可能性があるため、長さは必ず配列から読むように、とも書かれています。上のコードで output[ch].length を使っているのはそのためです。

バッファが小さいと速い、でも間に合わないと音が途切れる

バッファサイズを決めると、遅延と処理の締め切りが決まります。1回分のバッファを鳴らすのにかかる時間は「バッファサイズ ÷ サンプルレート」です。48kHz で 256 サンプルなら約5.3ミリ秒。プログラムはこの時間の中で次の 256 サンプルを計算し終えなければいけません。

小さなバッファは、弾いてから音が出るまでが短くなる代わりに、締め切りも短くなります。計算が間に合わないと、渡すデータがなくなって「プツッ」というノイズや音切れが起きます。DAW で録音するときはバッファを小さく、ミックスで重いプラグインを使うときは大きくするのは、この関係があるからです。

デモ:バッファサイズと遅延を計算する

DEMO
1回分のバッファの長さ(=計算の締め切り)
1秒あたりのコールバック回数
入力と出力で1回ずつ待つとした場合の目安

実際の遅延は、ドライバーやオーディオインターフェースの内部バッファ、AD/DA 変換の時間が加わるため、この計算より長くなります。

コールバックの中でやってはいけないこと

締め切りがある以上、コールバックの中では「どれだけ時間がかかるか読めない処理」を避けます。オーディオプログラミングの解説として広く読まれている Ross Bencina さんの記事では、次のような処理を挙げています。

  • メモリの確保と解放(new、malloc など)
  • ミューテックスのロック
  • ファイルの読み書きや、ログの出力などの入出力
  • 待ちが発生する可能性のある OS の関数

どれも普段のアプリ開発では気にせず使う処理です。ふだんは問題なく動いても、たまに遅れることがあり、その「たまに」が音切れになります。配列は事前に確保しておく、UI とのやり取りはロックを使わない方法で行う、といった書き方が必要になるのはこのためです。JavaScript の場合も、process() の中で毎回配列やオブジェクトを作ると、ガベージコレクションで処理が止まる原因になります。

⚠️ 遅い処理は別の場所へ
ファイルの読み込みや波形の解析など時間のかかる処理は、コールバックの外(別のスレッドやメインスレッド)で済ませ、結果だけをコールバックに渡す設計にします。

データの大きさも計算できるようにしておく

3つの値がわかれば、音声データの大きさも計算できます。非圧縮の場合は「サンプルレート × ビット深度 × チャンネル数」で1秒あたりのビット数が出ます。

形式1秒あたり1分あたり
44.1kHz / 16bit / ステレオ(CD)1,411.2kbps(約176KB)約10.6MB
48kHz / 24bit / ステレオ2,304kbps(288KB)約17.3MB
96kHz / 24bit / ステレオ4,608kbps(576KB)約34.6MB

1MB=1,000,000バイトで計算しています。

メモリに音声ファイルを丸ごと読み込むか、少しずつ読むかを決めるときや、アップロードの容量制限を考えるときに、この計算が必要になります。

まとめ

  • プログラムの中の音は、-1.0 〜 1.0 の小数が並んだ配列として扱うのが一般的。
  • サンプルレートは1秒に測る回数で、記録できる音の高さの上限(ナイキスト周波数=半分の値)が決まる。
  • ビット深度は1回を表す段階の細かさで、ダイナミックレンジが決まる。1bit で約6dB。
  • 計算は 32bit 浮動小数点で行い、出力の直前で範囲に収まっているかを確認する。
  • バッファサイズ ÷ サンプルレートが、1回分の長さであり計算の締め切り。小さいほど遅延は短く、締め切りは厳しくなる。
  • コールバックの中では、メモリ確保、ロック、入出力など、時間が読めない処理を避ける。

次の段階として、JUCE で実際に音を処理するプラグインを作る流れは「JUCEで初めてのVST3プラグイン」で解説しています。

参考・出典

ダイナミックレンジとデータ量は、記事中の式による理論値です。