数分放置するとしばらく（数秒〜数十秒程度）反応しない

一応、確認を・・・（というか、思いつくのはこれくらい。）
「省エネルギー」環境設定の下にある"可能な場合はハードディスクを
スリープさせる"のチェックボックスはオフになっていますでしょうか。
#コンピュータやディスプレイのスライダーによるスリープとは別設定
#なので、念のためお尋ねしました。

完璧な解決法は、HDDを使用しないでSSDに換装するが恐らく唯一の解決法でしょう。SSDを使用すればHDDのようにスピンアップなどは必要ないので、そんなことにはなりません。HDDはスリープするともう一度読むためにディスクを回さないといけないので、それが時間のかかる原因だったりします。
HDDを高速なものにすれば、少しはスピンアップにかかる時間がましになりますが、やっぱりHDDである以上はスピンアップに時間がかかります。ハイブリッドHDDでも改善するかも知れませんが、製品として実際売られていないので、現状では非常に高価なSSDに換装するのが一番の解決策かな。
あとは人の改善なら、気にしないということが一番です。その方が幸せに生きていけそうな気がします。

「数十秒」となると、ハードディスクのスリープだけでは説明がつかないような。サーバを探しに行ってるとか、何らかのネットワーク関係の問題のような気もします。
スリープ設定や、その、操作不能の間、どういう状況になってるか（Finder でレインボーカーソルが出てるとか。ドックが固まってるとか。キーを押すとうぃーんキュルキュル音がするとか etc.）もう少し情報があった方がよいと思います。席を離れている間、何もスリープはしてないんですよね？

皆様ご丁寧なご回答ありがとうございます。
気にしないというのが最も有効な方法かもしれませんね。。。
ただ、仕事で使っているとどうも。。。

ありがとうございます。
特にレインボーカーソルなどは出ていませんし、気になるような音も出ていません。
外付けのHDDもありますが、しばらく間をおいて読みに行ったときに、読み込む「間」とはまったく違うようです。（読み込んでいる間は読み込んでいるマークがくるくる回っていますし。。。）
スリープ設定やスクリーンセーバーは1時間以上にしたりしても同じです。（席を離れているのは5分程度だったります）
反応しない間は、マウスとドックは動作しています。
ご教示よろしくお願いいたします。

確認ですが、ディスクも CPU もスリープしない設定なんですよね。何かヘンですよね。アプリケーションやフォルダなどをダブルクリックした時ですが、どうなるんでしょうか？（全く画面表示上は何も起きないまましばらく待たされる？ フォルダのアイコンは反転表示になる？ アプリケーションの場合ドックでアイコンがはね出してから長い？）あと、外付け HDD 以外に接続されている変わったものはありますか？ ネットワーク接続のものは？
あと、コンソールでシステムのログを見ると、なにかヒントがわかるかもしれません。それから、アクティビティモニタを起動しておいて、反応しない間に何が起きているかチェックするのも問題の切り分けによいと思います。
数秒なら気の持ちようでどうとでもなると思うけど、数十秒はちょっと普通じゃないですよ。普通の環境なら、ぱっと立ち上がって、準備ＯＫ！です。

たしかに、なんかヘンですね。。。
> マウスやランチャーは動作しています。
いろんなサードパーティー製のモノを入れてたりしていそうですが、例えば新しいユーザーを作ってそっちでテストしてみるとどうですか？　新しいユーザーでそんな遅延は起こらないのなら、なにか入れているツールが悪さしているなんて事はないでしょうか。

私のも以前、「可能な場合はハードディスクをスリープさせる」をチェックして無くても止まってたようなので、面倒なのでチェックしたままにしてましたが今（10.4.10）試してみると止まってないようで、10分経ってもすぐ反応するように成ってました

OSを10.4.9から10.4.10にしたら、問題は無くなったようです。
皆様お騒がせして申し訳ございませんでした。
ありがとうございました。