「連絡先」カスタムラベルの削除方法

「連絡先」の電話番号等の頭にくる「自宅」や「iphone」のラベル名ですが、ここをカスタマイズしたく以前「カスタムラベルを追加」で自分で作成したラベル名があるのですが、そのうちいくつかを削除したいのですが、できません。

右上「編集」をクリックし「マイナス」マークが出てくるので、消したいラベル名の「マイナス」マークをクリックすると右側に「削除」のボタンが出て来て、一旦は削除できます。ただ作業を「完了」し同じように「連絡先」の電話番号等の頭にくる「自宅」や「iphone」のラベル名をクリックしますと、削除したはずのラベル名が候補として出てきます。

本体はiPhone SE（第二世代） , ソフトウェアは iOS17.1.1です。

よろしくお願いします。