海外アプリをインストールできません。

Apple IDの地域・国をオーストラリアにする必要があります。そのためには、住所だけでなく、オーストラリアの金融機関が発行したカードかオーストラリアで販売されてれるiTunesカードを登録する必要があります（とにかくオーストラリアで有効な支払い手段）。国・地域の変更は、回数に制限がありますので、ご注意。そういう意味では、オーストラリア専用のApple IDを作ってそれを登録するのも手です。

支払い方法の変更（現地のクレジットカード）が必要なのでは？

可能ですけど、いずれにしろ、オーストラリア用のApple IDで購入したものと日本のApple IDで購入したものを同時に両方とも使うのは面倒なので、オーストラリアで使う時はオーストラリア専用のApple IDの方のみ使うようにする方が良いと思うけど。日本のApple IDをオーストラリアに変えると、日本で購入したものをダウンロードもできなくなりますし、日本で契約したApple Musicなどのサブスクリプションも使えなくなります（新たにオーストラリアでサービスされてるものを契約する必要があります）。国ごとに法律や制度が違いますので、基本的に、国を跨いで使うことはできません。