登録している連絡先の人に、Safari の履歴が漏れることってあるんですか？

品川地蔵さんのおっしゃる通り、貴方のAppleIDとパスワードが漏れていればあり得ますが、その場合、貴方のAppleIDを利用している端末（設定＞名前で表示される）に知らない端末が表示されます。

また、2ファクタ認証をオンにしておけば、今までアクセスしたことのない端末でサインインしようとすると、他の端末に確認・承認の表示が現れ、承認しなければアクセスできません。

したがって、適切に設定しておけば、IDとパスワードが漏れても不正アクセスが防げるので、まぁ、心配は不要です。

気になるなら、それらの設定を確認してみてください。

普通はありません。

そう思ったきっかけなど説明してもらえますか？

あなたのApple IDとパスワードが漏れていれば可能性がありますが、

それ以外ではあり得ないと思います。