Es gibt noch eine Reihe von Programmen, die Java benötigen, z.B. Entwicklungstools wie Eclipse oder NetBeans, "Minecraft" und eine Reihe anderer Indie-Spiele.
Unter aktuellen Java-Versionen kannst du über die Systemsteuerung das Browser-Plugin deaktivieren (das ist nämlich die eigentlich unsichere Komponente, da es durch Schwachstellen in dem Plugin möglich ist, beim Besuch einer entsprechend präparierten Webseite Schadsoftware untergeschoben zu bekommen). Auch im Browser selbst läßt sich das Plugin deaktivieren.
Ansonsten gebe ich meinem Vorredner recht, wer kein Programm verwendet das auf Java angewiesen ist, braucht es auch nicht zu installieren.