Wie ganze Website inkl. aller Unterseiten speichern?

D

dark_rider

Active member
Registriert
7 Aug. 2008
Beiträge
1.842
Hallo zusammen,

ich möchte eine interessante Website komplett inklusive aller Unterseiten (schätzungsweise etwa 100 Seiten) speichern.

Ist vielleicht jemandem ein gängiges Tool bekannt, das bei Eingabe der Homepage alle Links durchläuft und die komplette Website offline speichert, so dass man sie in Ruhe auch offline lesen kann?
 
Habe damit beste Erfahrungen gemacht :) Gratis und simpel.

HTTrack Website Copier - Free Software Offline Browser (GNU GPL)

HTTrack is a free (GPL, libre/free software) and easy-to-use offline browser utility. It allows you to download a World Wide Web site from the Internet to a local directory, building recursively all directories, getting HTML, images, and other files from the server to your computer. HTTrack...
www.httrack.com www.httrack.com
 
Können diese Tools auch mit den "modernen" Links (Java(script) etc. aus den CMS arbeiten? - Bei wget habe ich so meine Zweifel.
 
NAchdem wget keine JS-Engine hat sicher nicht. Aber die Seiten sehe ich sowieso nicht - JS ist auch im Browser abgeschaltet.
 
Danke! Gibt's so ein Tool optimalerweise vielleicht sogar online, d.h. man tippt auf einer Website die gewünschte URL ein und kann nach dem Crawling dann das Ergebnis als ZIP downloaden?
 
zwieblum schrieb:
wget -c -e robots=off --mirror --convert-links --adjust-extension --level 10 --page-requisites --no-parent --no-check-certificate HTTPS://diewunderbareseite
Zum Vergrößern anklicken....
Bei 100 Seiten nicht unentbehrlich, aber nett, um den Server nicht so zu hämmern, ergänzend für die commandline:
Code: 
-wait 5 -random-wait

Erläuternder Auszug aus man wget:

-w seconds
--wait=seconds
Wait the specified number of seconds between the retrievals. Use of this option is recommended, as it lightens the
server load by making the requests less frequent.

--random-wait
Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically
significant similarities in the time between requests. This option causes the time between requests to vary between
0.5 and 1.5 * wait seconds, where wait was specified using the --wait option, in order to mask Wget's presence from
such analysis.

In meinem Beispiel würde wget also zufällig zwischen 2,5 und 7,5 Sekunden lange Pausen zwischen zwei Downloads machen.
 
dark_rider schrieb:
Hallo zusammen,

ich möchte eine interessante Website komplett inklusive aller Unterseiten (schätzungsweise etwa 100 Seiten) speichern.

Ist vielleicht jemandem ein gängiges Tool bekannt, das bei Eingabe der Homepage alle Links durchläuft und die komplette Website offline speichert, so dass man sie in Ruhe auch offline lesen kann?
Zum Vergrößern anklicken....
Btw, es ist durchaus strittig, eine ganze Webseite, die ohne Zweifel auch ein Urheberrecht beinhaltet, ohne Genehmigung auf seine HD zu replizieren. Nur so mal.
 
T500_2082 schrieb:
Btw, es ist durchaus strittig, eine ganze Webseite, die ohne Zweifel auch ein Urheberrecht beinhaltet, ohne Genehmigung auf seine HD zu replizieren. Nur so mal.
Zum Vergrößern anklicken....
Hast du dafür ne Quelle? Veröffentlichen geht natürlich nicht, aber ich würde tendenziell davon ausgehen, dass das reine private Speichern einer Solchen Seite vom Recht auf Privatkopie gedeckt sein sollte, für das wir ja alle jeweils Geld zahlen. Es wird ja weder ein Kopierschutz umgangen, noch sonstwas. Parallel hat man ja - bei ordnungsgemäßer Nutzung der Seite - eh quasi eine kopie der Seite auf dem eigenen Rechner vorliegen, der nicht gesichert ist.
 
Aiphaton schrieb:
Hast du dafür ne Quelle? Veröffentlichen geht natürlich nicht, aber ich würde tendenziell davon ausgehen, dass das reine private Speichern einer Solchen Seite vom Recht auf Privatkopie gedeckt sein sollte, für das wir ja alle jeweils Geld zahlen. Es wird ja weder ein Kopierschutz umgangen, noch sonstwas. Parallel hat man ja - bei ordnungsgemäßer Nutzung der Seite - eh quasi eine kopie der Seite auf dem eigenen Rechner vorliegen, der nicht gesichert ist.
Zum Vergrößern anklicken....
Du kannst auch nicht (selbstverständlich auch nicht veröffentlichen) eine Autobahnfahrt filmen oder einen ausgedehnten Spaziergang durch die Stadt "einfach so", schon alleine aus Gründen der Verhältnismäßigkeit. Beim Aufzeichnen von ganzen Websites ist es nicht anders. Bereits schon in der bloßen Anordnung der einzelnen Seiten könnte eine Urheberrechtsleistung begründet sein, die du nicht kopieren darfst, noch weniger massenkopieren. Vom Verbot der Speicherung personenbezogener Daten maL ganz zu schweigen.
 
Zuletzt bearbeitet:
Nochmal, hast du eine Quelle? Du wirfst hier völlig unterschiedliche Dinge in einen Topf. Was das Filmen von Autobahnfahrten mit dem Downloaden einer Website, um sie offline zu lesen, zu tun hat, ist mir völlig schleierhaft.
 
T500_2082 schrieb:
Du kannst auch nicht (selbstverständlich auch nicht veröffentlichen) eine Autobahnfahrt filmen oder einen ausgedehnten Spaziergang durch die Stadt "einfach so", schon alleine aus Gründen der Verhältnismäßigkeit. Beim Aufzeichnen von ganzen Websites ist es nicht anders. Bereits schon in der bloßen Anordnung der einzelnen Seiten könnte eine Urheberrechtsleistung begründet sein, die du nicht kopieren darfst, noch weniger massenkopieren. Vom Verbot der Speicherung personenbezogener Daten maL ganz zu schweigen.
Zum Vergrößern anklicken....
Schmarren.
 
T500_2082 schrieb:
Eine einfache Google-Suche hätte dir geholfen: https://kinsta.com/de/wissensdatenb...aping nicht,können daher frei gescannt werden.
Zum Vergrößern anklicken....
Sag mal, hast du den Text gelesen? Da steht doch - sehr knapp zusammengefasst - drin, dass scraping frei verfügbarer Inhalte völlig legal ist. Dass es dann zur Grauzone wird, wenn man damit personenbezogene Daten sich holt - und man ggf. ne DMCA-TakeDown-Notice erhält. Somit geht es hier um VERÖFFENTLICHTE Daten. Sprich: Man lädt etwas runter & anschließend wieder hoch. Letzteres ist problematisch bzw. kann problematisch sein - das ist klar.

Übrigens - auch zu den Personenbezogenen Daten steht dort, dass es technisch gesehen legal ist, die Sachen runterzuladen (falls frei zugänglich). Nur keine gute Idee. Hier liegt aber der Fehler bei dem Websitebetreiber, da die Daten nicht ungesichert abgelegt werden dürfen.

Was natürlich illegal ist - ist das aushebeln von Sicherheitsmaßnahmen & letztlich hacken der Seite. Darum geht es hier aber natürlich nicht.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
  • ok1.de
  • ok2.de
  • thinkstore24.de
  • Preiswerte-IT - Gebrauchte Lenovo Notebooks kaufen

Werbung

Zurück
Oben