iPhoneで使うAirPodsの音量が急に下がる

iPhoneでAirPodsを使って音楽を聴いているときに特定の操作(PayPayアプリでの支払いなど)を行うと急激に音量が下がります。

私は現在設定のアクセシビリティのオーディオ/ビジュアルの項目にあるヘッドフォン調整をオンにしてあるのですが、その画面に行くと音量が戻るので、おそらくこれが関係しているのかと思うのですが、毎回そこまで行くのは面倒なので対処法を教えていただきたいです。

使用機種はiPhone13ProとAirPodsの第2世代です。