イメージを認識できませんと出ます

おそらくファイルが破損しているかそうみなされる状態だと思います。ダウンロードなどを妨げる原因に心当たりはないでしょうか。また「このアプリケーションで開く」は DiskImageMounter になっているでしょうか。まだ改善していない場合はセーフモードで起動した状態のままダウンロードし直してみてください。

セーフモードを使って Mac の問題を切り分ける - Apple サポート

ファイルを開くアプリケーションを選択する - Apple サポート

dmg not recognized |Official Apple Support Communities

質問から時間が経っていますが少し前まで videolan.org が不安定でした（私の環境では）。現在ダウンロードされるファイル名は拡張子も含めて vlc-2.2.6.dmg です。