音声ブロックのHTMLコードに下記の1行を加えます。
controlslist="nodownload"
<変更前>
<figure class="wp-block-audio">
<audio controls src="https://〜">
</audio>
</figure>
<変更後>
<figure class="wp-block-audio">
<audio controls controlslist="nodownload" src="https://〜">
</audio>
</figure>
但し、このままでは右クリックでダウンロード可能なので、プラグインを活用するなどして右クリックを無効化する必要があります。
「WP Content Copy Protection & No Right Click」などがお勧めです。