私の環境は Power Mac G5, Mac mini Intel (Core solo) に Leopard, Tiger とも iTunes 以外のアップデートを適用済み、Dolipo を利用したプロキシ接続のため、Safari, Firefox ともキャッシュを使用しないよう設定しています。因に、テスト用ブラウザ以外は Java をオフにしてます。
PM G5 の Leopard のみ Flash Version 10,0,12,36 ですが、他は標準でインストールされている Ver.9.0.151.0 のままで Safari 関連のプラグインはインストールしていません。
といった環境での Safari 3.2.1 ですが、速度低下は感じませんし、フリーズや異常終了もありません。
また、訪問しているサイトが違うのでアレなんですが、読み込めないサイトに出会ったことは無いです。
既に書かれていますが、差し支えなければ、その読み込めないサイトの URL を書かれてはどうでしょうか。
それと、Safari の環境設定で「詳細」タブの一番下「メニューバーに“開発”メニューを表示」にチェックを付けておき、その読み込めないサイトに出会った時にメニュー「開発」から「ユーザエージェント」で、他のブラウザ (Safari 3.1 や Firefox とか) を偽装してみるとどうなりますか?(再読み込みするかキャッシュを一度クリアした方が良いかもです)
もし偽装して問題が無ければ、そのサイトの UA 判定にクセがあるのかもしれません (お願いだから勘弁して欲しい、Java を使っているところもあり...)