AhrefsBot ここのbotもbingbotと同じくrobot.txtが効かない。
-A INPUT -s 151.80.0.0/16 -p tcp -m multiport --dports 80,443 -j DROP -A INPUT -s 164.132.0.0/16 -p tcp -m multiport --dports 80,443 -j DROP -A INPUT -s 163.172.0.0/16 -p tcp -m multiport --dports 80,443 -j DROP -A INPUT -s 51.254.0.0/15 -p tcp -m multiport --dports 80,443 -j DROP