これはMSのアプリ(IEやOffice等)だけではなく、.Net Frameworkを使ったアプリでも起きるのですね。例えば、私はTwitter用クライアントのTweenで起きてました。
上記ではGoogle日本語入力ですが、他のIME(ATOK等)でも同様の手段で対応可能です。
また、ファイル名の実行以外にも
コントロールパネル→地域と言語のオプション→言語→詳細
からたどり着くことができます。
これは昔から問題になっていたんですが、根本的解決策が無いというかMS-IMEを完全に削除できないというWindowsの欠陥とでも言うのですかね・・・
Officeをアップデートすると元に戻ったりしますし、ほんと困ったものです。