Ja wir haben jetzt aktuell eine Lösung, die hoffentlich langfristig gut funktioniert.
Gestern gab es 14 fehlgeschlagene Transfers, heute waren es noch 10. Die Fehlschläge habe ich nochmal in die Reihe der zu übertragenden Daten einsortiert, dann wurden sie anstandslos übertragen. Die Fehler waren natürlich wieder „Zugangsdaten falsch“. Beim 2 . Durchgang waren sie wohl plötzlich wieder richtig. Ich weiß nicht, was Abebooks da intern verdaddelt.
Abebooks/ZVAB bekommt jetzt für jeden Artikel eine Bilder-URL zum Download. Bei den Mehrfachbildern dann entsprechend mehrere Bilder-URLs zum Download. Im Grunde genommen dasselbe System, wie bei booklooker. Bei booklooker war man ohne große Umstände in der Lage, die Bilder ordnungsgemäß von unseren Servern zu laden. Genauso wie es Amazon und eBay es auch schaffen.
Nur Abebooks hat es geschafft, die Bilder parallel mit sovielen unterschiedlichen Servern abzugreifen, dass unsere Systeme voll in die Knie gegangen sind. So wurden vorgestern zum Beispiel binnen 6h ca. 850.000 Bilder heruntergeladen. Wir haben jetzt entsprechende Sicherungsmaßnahmen ergriffen, dass Abebooks nach x Downloads pro Server y Sekunden warten muss. Jetzt liegt es am Geschick der Abebooks-Entwickler, die Bilder entsprechend ressourcenschonend und trotzdem zeitnah herunterzuladen. Aber was booklooker, eBay und Amazon gelingt, sollte Abebooks ja schließlich auch gelingen. Ich bin auf jeden Fall zuversichtlich.
LG,
Stefan