Information sur le code source

Enregistré le 02 Nov 2011 - Vu 1127 fois

Code source zippé: télécharger le zip

Impression: imprimer le code

Sociale bookmarking:

Votre avis:

Ecrit par : forty

Site de l'auteur voir

[7] sources en Apache voir

Description du code source

Informations sur le code source

Google permet de créer facilement des applications via son service App Engine. Malheureusement il héberge aussi de nombreux proxy qui profitent des serveurs puissants de Google pour afficher des copies de nombreux sites. Ces pages sont très facilement indexées et génèrent du duplicate content.

La solution pour les bloquer tous c'est donc d'interdire l'accès à vos page en lecture. Le moyen de détection le plus simple et de bloquer le User Agent commençant par AppEngine-Google. En effet, tous ces sites ont un USER_AGENT sur le même modèle (pour le moment) avec toujours le nom du sous-domaine concerné indiqué.

Code Source

.01
.02
.03
.04
.05
.06
.07
.08
.09
.10
.11
.12
.13
.14
.15
.16
.17
.18
.19
.20
.21
.22
.23
.24


################################################################################
#                                                                              #
#                         __                   _ __  _                         #
#               __ ______/ /______ _    ______(_) /_(_)__  ___ _               #
#              / // / __/ / __/ -_) |/|/ / __/ / __/ / _ \/ _ `/               #
#              \_,_/_/ /_/_/  \__/|__,__/_/ /_/\__/_/_//_/\_, /                #
#                                                        /___/                 #
#                                                                              #
#                                                                              #
################################################################################
#                                                                              #
# Titre          : Bloquer les proxy appspot.com                               #
#                                                                              #
# URL            : http://www.urlrewriting.fr/scripts91-Apache.htm             #
# Auteur         : forty                                                       #
# Date édition   : 02 Nov 2011                                                 #
# Website auteur : http://www.toplien.fr/                                      #
#                                                                              #
################################################################################

#interdit AppEngine-Google
RewriteCond %{HTTP_USER_AGENT} ^AppEngine-Google
RewriteRule ^.*$ - [F,L]

Commentaires [3]

Invité
le 16 Nov 2011 à 22:53:00

Bonjour et merci pour l'astuce.

Par contre, une fois indexées comment supprimer TOUTES ses nombreuses pages ?

forty
le 17 Nov 2011 à 14:02:00

Il est impossible de désindexer une page d'un site qui ne nous appartient pas.

Invité
le 20 Mai 2012 à 01:19:00

désindexer un site oui ca m'interresse .. merci

Ajouter un commentaire

	RSS snippets RSS commentaires * Email * Sécurité :
Attention: Les champs marqués d'une étoile * sont obligatoires

Librairie

Langages de programmation

La librairie est ouverte à tous et elle est accès principalement sur les langages Snippets. Vous trouverez aussi d'autres langages de programmation tel que le CSS, HTML, AJAX, ASP.. Plus de 300 références facilement accessibles. Visiter