ありがとうございました。まず、モニターの型番(D300さん、すみませんでした)は24MD4KLというもので、付属の取説には取り外し方は何も書いてありませんでした。
Gin_tonicさんの説明を読んで、付属の交換用のマウント(多分VESAマウント?何しろこのような作業を始めていたすものですから、基礎知識がないもので申し訳ありません)をよく見たら、上下から爪で引っかかるようになっていました。もともとのマウントには横にスライドするボタンがあるので、このボタンをスライドさせながら横にずらすとモニターとスタンドをわけなく取り外すことができました。その後付属のマウントを取り付け、交換用のスタンド(僕はアマゾンベーシックのモニタースタンド LCD 高さ調節。VESA規格100 x 100 mm 及び 75 x 75 mm (VESA MIS-D)対応。(なお、Amazonのサイトにはこのスタンドの型番の表記はない)を購入)に取り付けました。
ちなみに、このスタンドの説明には様々なモニターサイズに対応するため重量調節が可能(2.7-7.3kg)とあり、このモニターは7Kgなのでギリギリ使えると思いましたが、若干苦しいかなと思いました。まあ、でも念願の縦位置表示が叶い、縦に長いドキュメントも伸び伸び表示できるようになり、満足しております。
D300さん、Gin_tonicさんありがとうございました。