Ob aktuell oder nicht, manche Soundfiles haben eben dieses Format. Und es macht imho wenig Sinn, jetzt einen alten Midifile in ogg zu konvertieren, wenn man ihn auch also Midi weiterverwenden kann. Und da MP3 kein freies Format ist, sollten auch was anderes verwenden können. Aber was und wie?
Ich empfehle zwar auch, solchen Unsinn wie "Ihr Browser unterstützt audio nicht" nicht zu benutzen, aber im Gegensatz zu gast_42 empfehle ich für solche Fälle die alten proprietären Tags ein zu bauen (embed bzw. bgsound). Natürlich könnte man sowas auch zusätzlich zum Download-Angebot machen.
Da das embed- bzw bgsound-Tag im audio-Tag von modernen Browsern nicht interpretiert wird, halte ich die Seite auch mit diesen Tags für valide. Allerdings habe ich keine Ahnung, ob auch die Validatoren meiner Ansicht sind.
Umgekehrt bin ich allerdings der Ansicht, dass die Validatoren eigentlich Fehler anzeigen müssten, es aber zumindest teilweise nicht tun, wenn man das Audio-Tag in Html 4 benutzt. Einige der Seiten, die ich im Zusammenhang mit dieser Frage durchgelesen habe, waren laut Doctype-Tag Html4.01 und hatten das Audiotag(,das es in Html4 noch gar nicht gab). Einige der Validierungstools des Firefox fanden das OK.