1. 4

Google ha rilasciato opensource la loro implementazione del parser di robots.txt

  1.