失礼致します。
以前はこんな仕様じゃなく、スワイプの度にツールバーが表示されることはなかったのですが、いつの間にか変更されたのか..。
「QuickTime Player 7」では仰る通りでしたが、「QuickTime Player X(10.x)」からは、ウインドウにマウスポインタを重ねたり、重ねた状態で移動やスワイプ等のジェスチャを含め、何らかの操作を行なった場合には「再生コントロール」が表示されます。
これは「QuickTime Player X(10.x)」の仕様ですので、残念ながら「再生コントロール」を非表示にする様な設定は有りません。
OS X Yosemite(10.10.5)では、動画を再生しようとするとデフォルトで「QuickTime Player X(10.4)」が開くと思いますが、「QuickTime Player 7」をお使いだったのであれば、再生したい動画ファイルを右クリックすると表示されるコンテキストメニューから「このアプリケーションで開く」>「QuickTime Player 7.app」を選択して開く事が出来ます。

また、再生したい動画ファイルを選択して「command」+「I」キー、或いは右クリックすると表示されるコンテキストメニューから「情報を見る」を選択し、表示される「情報」ウインドウの「このアプリケーションで開く」の項目で「QuickTime Player 7.app」を選択して、その下に有る「すべてを変更」ボタンをクリックし、表示されるダイアログの「続ける」ボタンをクリックする事で、同じ拡張子の全ての動画ファイルが「QuickTime Player 7」で開かれる様になります。
只、「QuickTime Player 7」と「QuickTime Player X(10.4)」ではスワイプの方向が逆ですし、スワイプの快適さも全然違いますので、「QuickTime Player X(10.4)」での操作に慣れている場合は、使い難いと感じるかも知れません。

「QuickTime Player X(10.4)」で「再生コントロール」を表示させずに操作するには、スワイプ等のジェスチャではなく、キーボードで操作する必要が有ります。
「command」+「右矢印」キーで早送り(「右矢印」キーを 1 回押す毎に、2 倍 > 5 倍 > 10 倍 > 30 倍 > 60 倍)させ、「左矢印」キーで停止(「スペース」キーよりも使い易いと思います)し、微調整は「右矢印」或いは「左矢印」キーを押したままと言う使い方になると思います。