Configurar um delay para as verificações de bots ou robôs ao seu site é um dos passos essenciais para que o servidor não bloqueie esse tipo de verificação ou acesso. Há um motivo direto para isso, que tem relação com a segurança, tanto do seu ambiente de hospedagem, como de todo o servidor. Neste artigo vamos te explicar como configurar o delay para o “Crawl” (verificações), e logo abaixo te explicamos a importância dessa configuração.
Basicamente, todos os servidores ao redor do mundo possuem ferramentas de defesa para o servidor, o que não é diferente aqui na Kangaroo Host. Os maiores casos de ataque são de DOS e DDOS, que visam derrubar os servidores diante de números imensos de acesso ao mesmo tempo. Quando alguma plataforma precisa realizar essa verificação, pode acontecer falsos positivos, pois o servidor pode identificar os robôs como atacantes, e acaba barrando o acesso.
Como é uma verificação automática e não humanizada, isso é extremamente comum, principalmente quando não há um delay para que as verificações sejam realizadas, o que pode fazer o robôzinho verificar 10, 20, 50 páginas de uma vez só, e o servidor identificar como um ataque de negação de serviço. Abaixo mostramos como configurar o delay para os bots/robôs.
Como configurar delay em verificações de robôs
- Acesse o painel de controle da sua hospedagem
- Procure pela seção Arquivos, e acesse a opção Gerenciador de arquivos
- Agora, acesse o diretório do seu site (o diretório do domínio principal é public_html)
- Agora crie o arquivo robots.txt. Caso não saiba como criar um arquivo no cPanel, recomendamos que siga os passos deste outro artigo.
- Agora clique com o botão direito sobre o arquivo robots.txt, e depois em edit
- Dentro dele, cole o texto:
User-agent: *
Crawl-delay: 4
- Agora clique em Salvar Alterações
E pronto, ao seguir esses passos, agora o seu site está corretamente configurado para indicar aos robôs de verificação para respeitar pelo menos 4 segundos em cada requisição, o que pode impedir bloqueios e fazer com que as verificações das plataformas aconteçam sem problemas.
Se você quiser mudar o tempo de delay, recomendamos que não configure abaixo de 4 segundos, mas se desejar aumentar, configurando valores como 5 ou 10 segundos, basta alterar o “4” no código para o valor em segundos que deseja. Se você quiser configurar o delay apenas para um robô específico, você também pode, desde que saiba o nome correto dele, e você deve trocar o “*” (asterisco) para o nome do robô, o asterisco impõe a regra para todos.