最近想明白一件事，抖音、小红书、还有懂车帝这些字节跳动旗下的之前都是这种做法。
百度不是喜欢大网站吗，不是收录小网站吗，那就直接把百度蜘蛛禁掉，不收录又要来爬，浪费服务器资源。
直接在robots.txt里禁百度、搜狗、360这些搜索引擎的蜘蛛，专心做内容。
这么多搜索引擎来爬是真要命，很DOSS攻击似的。
等网站内容都很丰富，质量很高了，在解除robots.txt限制。
百度不收录那就把百度蜘蛛禁掉！
隐藏内容，支付积分阅读
已有90人购买此隐藏内容
隐藏内容，支付费用阅读
?
已有86人购买此隐藏内容
隐藏内容，仅限以下用户组阅读
隐藏内容，登录后阅读
登录之后方可阅读隐藏内容
隐藏内容，评论后阅读
请在下面参与讨论之后，方可阅读隐藏内容
隐藏内容，加入圈子后阅读
您需要加入圈子之后才能查看帖子内容
您猜对了答案，下面是向您展示的隐藏信息：
[]
[?]
向
提问：
隐藏内容，猜对答案后阅读
猜错啦：您选中的是「」，正确答案是：「」
多选人参与投票
单选人参与投票
PK人参与PK
·已选
已选·
投票后查看结果，您的选择是？
思想因碰撞产生火花，真理因辩论获得升华
热门评论
:
该帖子评论已关闭
讨论
-
阅读剩余条回复 加载中... -
没有讨论，您有什么看法？
请先登录！
图片审查中...
![]()
登录之后回答问题，请先登录！
编辑答案：
我的回答：
最多上传一张图片和一个附件
x
