iCloudドライブの容量を増やすには？

iCloudドライブのデータを減らしたく(iPhoneのストレージを減らしたい)、ファイル等を削除したのですが、むしろ増えてしまいました。最近削除した項目も削除しています。設定→iCloud Driveを押すと「最近アクセスしたファイルは素早くアクセスできるようにこのデバイスにダウンロードされています〜」と表示されるのですが、どこかにダウンロードされているのでしょうか？キャッシュ(一時的な)削除ができたら嬉しいのですが、そのようなことはできるのでしょうか？教えていただけると嬉しいです。