chromeのリモートデスクトップがオンラインになるまで時間がかかる。

Macでchromeのリモートデスクトップを使用しています。

スリープしている時は、遠隔でスリープ解除していますが、そこからリモートデスクトップがオンラインになるまで、かなり時間がかかります。

（3分〜15分程度かかる事もあります。）

スリープ解除はMac mini 2014（Apple Remote搭載）なので、Apple Remoteのメニューボタンをスマートリモコンに学習させ、スマートリモコンでメニューボタンを押してスリープ解除しています。

目の前で試すと、画面がつくのでスリープ解除は確実にできているのですが、リモートデスクトップがなかなかオンラインにならず、困っています。

改善方法はありますでしょうか？

OSはMontereyです。