Chương trình theo jrobotx.sf.net

Một thư viện Java để tuân thủ giao thức loại trừ robot web tiêu chuẩn, robot.txt.