August 16th, 2007
-
das ist bedenklich: “Die Frage, ob der Crawler robot.txt-Files berücksichtigt, wird noch zu besprechen sein. Wenn es eine Verpflichtung oder ein Recht der Nationalbibliothek ist, diese Seiten zu archivieren, dann müssen wir sie umgehen können”
Related posts
No tag for this post.
Comments are closed | Permalink • 
• 
