Supportnet / Forum / Anwendungen(Java,C++...)
welche programmierplattform für simultane downloads?
Frage
hey!
ich will ein programm schreiben, dass eine grössere anzahl von downloads (davon jeweils ca. 50 gleichzeitig) managt. welche plattform würdet ihr empfehlen? ich schwanke zwischen firefox (extension) und javaprogramm. was sind die vor- und nachteile? oder habt ihr andere vorschläge?
ribäri
Antwort 1 von ribäri
niemand eine idee dazu?
Antwort 2 von Hobst_Eppers
Definitiver Nachteil beider anvisierten Ziele ist der unkontrolliert steigende Speicherhunger.
Was möchtest Du denn ganz genau da verwalten? Eine Art eigenen Download-Manager schreiben, dem man eine URL im HTTP oder FTP-Protokoll übergibt, welche dann einfach neben den anderen runtergeladen wird?
Solch ein Vorhaben lässt sich recht einfach bewerkstelligen, wenn man mit Threads umgehen kann und praktischerweise gleich Download-Komponenten benutzen kann.
Eine andere Möglichkeit wäre noch ein Fremdprogramm: Offline-Explorer ist zwar eigentlich für ganz andere Sachen gedacht, aber simultane Downloads sind für ihn auch kein Problem.
Was möchtest Du denn ganz genau da verwalten? Eine Art eigenen Download-Manager schreiben, dem man eine URL im HTTP oder FTP-Protokoll übergibt, welche dann einfach neben den anderen runtergeladen wird?
Solch ein Vorhaben lässt sich recht einfach bewerkstelligen, wenn man mit Threads umgehen kann und praktischerweise gleich Download-Komponenten benutzen kann.
Eine andere Möglichkeit wäre noch ein Fremdprogramm: Offline-Explorer ist zwar eigentlich für ganz andere Sachen gedacht, aber simultane Downloads sind für ihn auch kein Problem.
Antwort 3 von Flupo
Jeder halbwegs vernünftige Downloadmanager (FlashGet, Getright...) beherrscht das schon. Ob mit 50 gleichzeitigen Verbindungen glaube ich zwar eher nicht, aber 10 sollten funktionieren.
Die Anzahl über einen bestimmten Wert zu steigern, macht auch nicht wirklich Sinn, da sich alle Streams die Gesamtbandbreite teilen müssen und so jeder weitere Stream die Performance der anderen schmälert.
Problem ist jedoch, dass manche Downloadserver keine oder nur eine begrenzte Anzahl an gleichzeitigen Streams zu einer IP-Adresse zulassen.
Gruß Flupo
Die Anzahl über einen bestimmten Wert zu steigern, macht auch nicht wirklich Sinn, da sich alle Streams die Gesamtbandbreite teilen müssen und so jeder weitere Stream die Performance der anderen schmälert.
Problem ist jedoch, dass manche Downloadserver keine oder nur eine begrenzte Anzahl an gleichzeitigen Streams zu einer IP-Adresse zulassen.
Gruß Flupo
Antwort 4 von ribäri
hallo!
es geht darum ca. 50 webseiten gleichzeitig auf veränderungen hin zu überwachen. dabei sind die einzelnen dokumente häufig nur über javascriptlinks oder sich laufend ändernde formulare (checkboxen) zu erreichen. mit standarddownloadprogrammen ist dem also nicht beizukommen.
das hört sich nicht so gut an. gibt es bessere alternativen?
genau zu diesem punkt möchte ich hinkommen. ;-) weiss aber im moment nicht was der beste weg dorthin ist.
ribäri
es geht darum ca. 50 webseiten gleichzeitig auf veränderungen hin zu überwachen. dabei sind die einzelnen dokumente häufig nur über javascriptlinks oder sich laufend ändernde formulare (checkboxen) zu erreichen. mit standarddownloadprogrammen ist dem also nicht beizukommen.
Zitat:
Definitiver Nachteil beider anvisierten Ziele ist der unkontrolliert steigende Speicherhunger.
Definitiver Nachteil beider anvisierten Ziele ist der unkontrolliert steigende Speicherhunger.
das hört sich nicht so gut an. gibt es bessere alternativen?
Zitat:
Solch ein Vorhaben lässt sich recht einfach bewerkstelligen, wenn man mit Threads umgehen kann und praktischerweise gleich Download-Komponenten benutzen kann.
Solch ein Vorhaben lässt sich recht einfach bewerkstelligen, wenn man mit Threads umgehen kann und praktischerweise gleich Download-Komponenten benutzen kann.
genau zu diesem punkt möchte ich hinkommen. ;-) weiss aber im moment nicht was der beste weg dorthin ist.
ribäri
Antwort 5 von disco
moin
also mit FF extensions kenn ich mich nicht aus...
aber in java sollte das nicht so das problem sein.
da reicht es ja, wenn du dir regelmässig den quelltext der seite holst und einen hashwert aus diesem bildest. ist dieser wert beim nächsten mal anders, hat sich die seite geändert.
problem hierbei könnte aber sein, dass sich nicht dir nutzdaten der seite geändert haben, sondern nur ein werbe-banner o.ä.
auch bei frames ist es etwas schwieriger, weil du dort erstmal weiteren urls folgen müsstest.
aber wie ich den FF kenne und liebe wirds für solch einen bedarf, wie du ihn schilderst, sicher schon nen plugin geben...
g,
disco
also mit FF extensions kenn ich mich nicht aus...
aber in java sollte das nicht so das problem sein.
da reicht es ja, wenn du dir regelmässig den quelltext der seite holst und einen hashwert aus diesem bildest. ist dieser wert beim nächsten mal anders, hat sich die seite geändert.
problem hierbei könnte aber sein, dass sich nicht dir nutzdaten der seite geändert haben, sondern nur ein werbe-banner o.ä.
auch bei frames ist es etwas schwieriger, weil du dort erstmal weiteren urls folgen müsstest.
aber wie ich den FF kenne und liebe wirds für solch einen bedarf, wie du ihn schilderst, sicher schon nen plugin geben...
g,
disco
Antwort 6 von ribäri
hallo disco!
du hast mich falsch verstanden. mein problem ist das parallele downloaden.
ribäri
du hast mich falsch verstanden. mein problem ist das parallele downloaden.
ribäri
Antwort 7 von Supermax
Wenn du jeden Download in einem eigenen Thread startest, sollten alle Downloads parallel laufen. Du mußt allerdings ggfs. Vorkehrungen treffen, daß z.B. die zur Verfügung stehende Bandbreite gleichmäßig auf alle Download-Threads aufgeteilt wird und nicht ein Thread die gesamte Bandbreite in Anspruch nimmt und die anderen Downloads dabei "verhungern" läßt.