スピーカーにすると、相手に声が聞こえない

マイクモードを変更するのはどうですか？

iPhone や iPad で通話中に「声を分離」や「ワイドスペクトル」を使う - Apple サポート (日本)

スピーカを使って通話してるなら、マイクからの距離は離れてると思います。そういう場合にはワイドスペクトラムにするとこちらの声がよく届くようになるかもしれません。ただし、ワイドスペクトラムにすると広い範囲からサウンドを拾うようになりますので、雑音の多い環境だと、かえって雑音のために、自分の声がよく届かなくなる可能性もあります。なので、標準、ワイドスペクトラム、声を分離と変更してみて、一番都合の良いものにすると良いと思います。あるいは、iPhoneの置き方を変更するだけでも、マイクと自分との関係が変わる可能性がありますので、置き方を変えてみるのも良いかもしれません。マイクといっても、主にユーザの声を拾うもの、主に背景音を拾うものなど複数のマイクがついてますので、それらの自分との位置関係を変えるということです。実際にどうなるかは色々試してみるしかないと思います。

設定＞一般＞転送またはiPhoneをリセット＞リセット＞すべての設定をリセット

をお試しください。ノイズ系のトラブルが解消することがあります。

iPhoneの設定をデフォルトにリセットする - Apple サポート (日本)

そうでしたか。残念です。

どうしてもスピーカで使いたいなら、スピーカフォンを用意して使うとかはどうですか？

スピーカフォンは、スピーカとマイクがセットになったもので、ヘッドセットのイヤフォンがスピーカになってるものと考えれば良いです。usb接続、bluetooth接続があります。両方で接続できるものも多いです。スピーカフォンは元々web会議で使うことを想定して作られてますので、おっしゃるような使い方をしたいなら最適ではないかと思います。インターネットで検索すればいっぱい販売されてます。数人以下で使う程度のものならそれほど高価でもないです。

何か勘違いされてませんか？

マイクがおかしいからマイクモードを変えるという話ではありませんけど。

マイクモードを変更するのは、マイクが正常であるという前提の話ですが。