防止对手用工具扒皮你的独立站加强版丨出海笔记

各位老铁大家好,上次我们分享了一个小技巧,《如何防止对手用builtwith轻松扒我们网站》。我们这次再分享一个威力加强版,以这个网站为例,我们饿用builtwith看到他屏蔽了一些常用的爬网站流量的工具,比如:semrush, ahrefs, majestic,  IMG_256 IMG_257 熟悉独立站的同学都知道我们经常用三驾马车——similarweb, semrush, ahrefs去把隔壁老王扒得内(和谐)裤都不剩。所以当我们网站流量起来,也要学会防止老王反爬我们,还是很有必要的,那具体怎么做呢?只要把下面的代码,分别加到你网站的 robots.txt一般你的SEO负责人,IT或者网管都会知道怎么做。详情参考官方文档,我在这里面已经列在下面了:

Semrush用以下代码

官方说明:https://www.semrush.com/bot/ser-agent: SemrushBotDisallow: /

Ahrefs用以下代码

官方说明:https://ahrefs.com/robot

User-agent: AhrefsBot

Disallow: /

Majestic用以下代码

官方说明:https://www.mj12bot.com/index.html

User-agent: MJ12bot

Disallow: /

BuiltWith

http://builtwith.com/removals

Similar比较牛逼,我暂时没找到很好的办法弄他,知道的老铁可以告诉我,但当我们的网站大到足矣入Simiarweb法眼的且数据还准确的时候,我们又有何惧哉?上面几个加了,那基本上就可以防止至少大半老王去爬你的网站了,当然这个更多防君子不防小人了,至少增加他们研究我们的难度。大家有任何问题,欢迎随时跟我继续交流啊!谢谢大家!

 

作者:Alan 来源:Alan

本文为作者独立观点,不代表出海笔记立场,如若转载请联系原作者。
(0)
AlanAlan
上一篇 2023年5月15日 下午6:28
下一篇 2023年5月15日 下午6:31

相关推荐