Merhaba, linux sanal sunucumda barındığım 3 sitem var biri işletme, biri blog (wordpress) ve bir de smf forum olmak üzere.
Son 1 haftadır facebookexternalhit/1.1 user-agent i ile botlardan sanki dos saldırısı gibi çok fazla istek geliyor facebook ip adreslerinden. Siteleri ve sunucuyu yavaşlatıyor. Ip adreslerinin hepsini csf firewall tarafında engellemelimiyim veya başka ne yapabiliriz. Teşekkürler
Merhaba, meta tarafında sanırım bir geliştirme/güncelleme var ve bizde şu sıralar facebook botlarından gelen yoğun istek sayısı ile karşılaşıyoruz.
Tüm ip adreslerini belirleyerek engellemek çok iyi bir çözüm olmayabilir. Facebook tarafında botlara giden 403 yasak mesajları bir süre sonra gerektiğinde de botların ziyaretinin engellenmesine yol açabilir.
Bu konuda yapılabilecek en güzel şey, modsecurity kurallarıyla botlara bir ratelimit uygulamak. Yani yapabilecekleri istek sayısını kısıtlamak ve çok fazla istek göndermeleri durumunda bunu onlara bildirmek.
SecRule REQUEST_HEADERS:User-Agent "@rx (?:facebookexternalhit|meta-externalagent)" \"id:9999991,phase:2,pass,nolog,setvar:global.bothit=+1,deprecatevar:global.bothit=10/60"SecRule GLOBAL:bothit "@gt 10" \"chain,id:9999992,deny,status:429,setenv:RATELIMITED,log,msg:'Rate limit exceeded for Facebook or Meta bot'"SecRule REQUEST_HEADERS:User-Agent "@rx (?:facebookexternalhit|meta-externalagent)"Header always set Retry-After "60" env=RATELIMITEDErrorDocument 429 "Too Many Requests - Facebook bot rate limit exceeded."Bu örnekte facebookexternalhit ve ya meta-externalagent user-agentlarına ait ip adreslerinden gelen istekler sayılıyor ve bir dakika içerisinde 10dan fazla istek gelirse “ErrorDocument 429 Too Many Requests” hata koduyla beklemesi söyleniyor. Her dakika sayaç sıfırlanıyor ve aynı şekilde dakika başına 10 istek hakları oluyor.
Buradaki istek sayısı 10 ve bekleme süresi 60 değerlerini isteğinize göre değiştirebilirsiniz. Bu haliyle eğer csf entegreli kullanıyorsanız sürekli istek yapan ve ratelimite uymayan ipler engellenecektir. Ipleri engellemeden sadece 429 la durdurmak için modsec kuralındaki log kısımlarını nolog yapabilirsiniz. Esenlikler.