AppleIDを2つ持ってるんですが、iCloudに使ってるAppleIDを変更したい時は、iCloudをサインアウトするしかないんですか？

ご説明を頂きまして、有難うございます。　なるほどです。

お使いのApple IDがAppleのドメインのメールアドレス（@icloud.com, @me.com, @Mac.com）でなければ、Apple IDとしての一貫性を保ちつつ、Apple IDとして登録しているメールアドレスを変更することが可能です。　この場合は、メールアドレスを変更しても、Apple IDとしては同じものですので、iCloudに保存しているデータに影響を与えることはありません。　支払い方法の変更も必要ないです。

　→ Apple ID を変更する - Apple サポート

　→ Apple ID やパスワードの変更後にやるべきこと - Apple サポート

一方で、お使いのApple IDがAppleのドメインのメールアドレスの場合は、エイリアスのメールアドレスを利用することも可能です。　この場合も、iCloudのデータや支払い方法は影響を受けません。

　→ メールエイリアスを使用する

こちらも参考になると思います。

• フィッシングメール、ウイルス感染の偽警告、偽のサポート電話などの詐欺に遭わないようにする - Apple サポート
• Apple IDを不正利用されない為に

２つ設定することはできないので、別のにしたければサインアウトするしかないですが。

参考

AppleIDを共有している3端末のうち2端末のみ新規のAppleIDで利用したい。変更前と同じ状態（アプリやメモ、連絡先、お気に入りなど）で使用できますか。

『怖い』というのはどの様な理由でしょう、また、iCloudにサインインするApple IDを変更する理由なども載せて頂ければ、色々なアイデアを提供していただけるかもしれません。