用户代理,即爬虫的名称,用于robots.txt文件中的特定群组。
用户代理对象由User-agent指令和用户代理名称的值组成。例如:
User-agent: *
您可以在Shopline管理后台自定义robots.txt。
robots.txt
返回 User-agent。
User-agent
用户代理的名称。