今実際に試しましたから間違いないですが、こちらでは金額のボタンを押すと、まずボタンの表記がアプリを購入にかわり、もう一度押すとボタンがグレーアウトしてパスワード入力のダイアログボックスが現れます。このダイアログが出た時点ではそもそもダウンロードの準備が始まっていないようですし、その時点でキャンセルのボタンを押すと購入の手続き自体がキャンセルされますから、仕様がおかしいというよりはなんらかの個別トラブルではないかと推測します。
待機中のアイコンが出てる、というのがそもそもおかしい気がするのですが、一回パスワードの入力をしたあとで、規約が変わったので合意して頂戴みたいなページに誘導され、その後でキャンセルしようと試みたということはありませんか?今無料アプリなどで試しても、やはり一回タップでアプリのダウンロードが待機中になってしまいますか?
あとは voiceover がらみの問題かもしれませんが、それは使ったことがないのでよく分かりません。ただ今後のこともあるので、リセットや復元、あるいはvoiceoverがらみのバグ調査を含めて、もう少し調べたほうがよいかも。
ま、アップルのサポートがキャンセルできないと言ったならお粗末な対応かな、と思いますが。