Hướng dẫn cấu hình Mod Security và CSF Firewall không chặn Google Bot

Vdo.com.vn – Mod Security và CSF Firewall là hai cỗ máy khổng lồ có khả năng phòng các cuộc tấn công Website một cách hiệu quả và đảm bảo an toàn nhất. Đối với mỗi một bộ máy lại có những điểm đặc trưng và lợi thế khác nhau.

Như đối với CSF (ConfigServer Security & Firewall) là một firewall miễn phí cực mạnh trên các hệ thống máy chủ Linux. Hiện tại CSF tương thích với tất cả các hệ thống Linux, tuy nhiên chỉ mới có giao diện web quản lý trên cPanel và DirectAdmin.

Còn đối với ModSecurity lại là một bộ máy phát hiện và phòng chống xâm nhập dành cho các ứng dụng Web gọi là Web application firewall . Hoạt động như một module của máy chủ web Apache, mục đích của ModSecurity là tăng cường bảo mật cho các ứng dụng Web, bảo vệ chúng khỏi các loại tấn công đã biết và chưa biết.

huong-dan-cau-hinh-mod-security-va-csf-firewall-khong-chan-googlebot-1

Tuy nhiên điểm đáng chú ý là nếu trên máy chủ hay máy chủ ảo của bạn có cài đặt Mod Security và CSF Firewall thì google bot có thể bị hiểu lầm là đang tấn công website và sẽ bị chặn bởi một lí do rất đơn giản Google bots tạo một lượng kết nối quá lớn tới website. Điều này khiến Google bot không có khả năng và không thể vào được website của bạn nữa.

Làm thế nào để có thể khắc phục được tình trạng trên một cách tốt nhất? Có cách nào giúp Mod Security và CSF Firewall không chặn Google Bot hay không? Câu trả lời là hoàn toàn có thể. Bạn nên hiểu rằng nguyên nhân Google bot không thể truy cập vào được site của bạn được nữa là do nó có sự hiểu nhầm giữa Mod Security và CSF Firewall . Vậy nên các bạn cần phải cấu hình để Google bot có thể thoải mái đi vào site của bạn. Bài viết “Hướng dẫn cấu hình Mod Security và CSF Firewall không chặn Google Bot” dưới đây của chúng tôi sẽ giúp bạn làm được điều đó. Bạn đọc hãy cùng theo dõi nhé!

1/ Với Mod Security Rules:

Mã:

#Allow googlebots

SecRule REMOTE_HOST googlebot.com$ allow,pass

#Add this to your config. The right way to identify Google bot is it’s User-Agent.

SecRule REQUEST_HEADERS:User-Agent “Googlebot” phase:1,nolog,allow,ctl:ruleEngine=off

# GoogleBot by user-agent…

SecRule HTTP_USER_AGENT “Google” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot” nolog,allow

SecRule HTTP_USER_AGENT “GoogleBot” nolog,allow

SecRule HTTP_USER_AGENT “googlebot” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot-Image” nolog,allow

##

SecRule HTTP_USER_AGENT “AdsBot-Google” nolog,allow

SecRule HTTP_USER_AGENT “Googlebot-Image/1.0″ nolog,allow

SecRule HTTP_USER_AGENT “Googlebot/2.1″ nolog,allow

SecRule HTTP_USER_AGENT “Googlebot/Test” nolog,allow

SecRule HTTP_USER_AGENT “Mediapartners-Google/2.1″ nolog,allow

SecRule HTTP_USER_AGENT “Mediapartners-Google*” nolog,allow

SecRule HTTP_USER_AGENT “msnbot” nolog,allow

2/ Với CSF Firewall:

Ta thêm vào file /etc/csf/csf.rignore đoạn code sau:

Mã:

.googlebot.com

.crawl.yahoo.net

.search.msn.com

Allow range ip của google vào csf.allow

Mã:

 216.239.32.0/19 # Googlebot

 64.233.160.0/19 # Googlebot

 72.14.192.0/18 # Googlebot

 209.85.128.0/17 # Googlebot

 66.102.0.0/20 # Googlebot

 74.125.0.0/16 # Googlebot

 66.249.64.0/19 #Googlebotallow

Rất đơn giản, bạn chỉ cần coppy, tìm và paste đoạn mã trên vào đúng vị trí chung tôi đã hướng dẫn như vậy là bạn đã có thể cài đặt một cách thành công rồi. Đảm bảo chúng mang lại hiệu quả tuyệt đối bạn nhé!

Hi vọng những kiến thức chúng tôi chia sẻ thực sự hữu ích đối với bạn. Đừng quên đánh giá và chia sẻ bài viết của chúng tôi nếu bạn cảm thấy thực sự có giá trị nhé!

Chúc các bạn thành công!

Nguồn Tổng Hợp