屏蔽谷歌必应等搜索引擎:自称防止内容被抓取
不过这种做法其实也只是防君子不防小人★★,肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI★★★。
I据报道,近日开始屏蔽谷歌和必应等大多数搜索引擎,预计是为了阻止这些搜索引擎和其他爬虫,未经授权抓取的内容用于训练AI。
谷歌搜索、必应搜索、微软MSN★★★、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取的内容。
的robots★.txt文件显示★,目前仅有百度搜索★★★、、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容★★。