WordPress 3.1.4から3.2.1にやっとアップデートしました。
今まで保留していたのはプラグインの互換性検証をしていなかったからなのですが、特に問題となるような声も聞こえてこなかったのでした次第です。
ダッシュボードのデザインが結構変わっているのと、Firefox3.6.21だとバージョン古くてフル活用できないよ！と出てくるくらいですかね、見た目ではっきりわかるのは。
高速化は特に重い処理してないのとサーバの問題が大きいのであまり関係ないだろうか。
とりあえず色々試して様子見しましょう。