Bref, j'ai changé mon robots.txt

bref

Milieu de mois, un collègue m'informe de publications "sujettes à controverse" sur un blog - je m'y rends - je lis que les SEO qui n'utilisent pas le robots.txt et le sitemap XML sont des incompétents - je commente succinctement en faisant de l'humour - je me fais rembarrer - je réponds plus sérieusement - je me fais rembarrer - je lis les autres commentaires plutôt en accord avec mon intervention - et j'oublie - pas de quoi en faire un sketch.

La relance

Le lendemain, je reçois un tweet – le blogueur me relance en m'expliquant que je suis toujours incompétent -  je ne suis pas pro – je n'utilise pas le robots.txt ni le sitemap.xml pour faire ranker mes sites – je ne passe pas de temps pour mes clients a les faire ranker sur Exalead et sur Yandex ! - …

Le retour

Le blogueur publie un nouveau billet – il fustige les personnes ayant commenté son précédent article – amusant me dis-je – Je prends le temps de répondre en commentaire - très sérieusement -  poliment – sans faire d'humour – j'argumente – dans la foulée, je propose un défi - si un jour nous sommes amenés à être en concurrence sur une thématique similaire – il n'est pas joueur – dommage – je trouve que la vraie SERP est plus sympa que celle des concours - une dizaine de commentaires parfois très longs et étayés complètent maintenant l'article – il n'est pas d'accord avec les commentaires.

La vie continue

Je continue à conseiller mes clients et à travailler sur leur visibilité - Comme beaucoup de SEO, je me concentre sur Google, mes clients me payent pour que je sois rentable - Une heure à travailler sur Google est bien plus rentable qu'une heure à travailler sur un autre moteur -  D'ailleurs, aucun de mes clients n'est capable de me citer 5 moteurs de recherche.

Le retour du blogueur

Sur Twitter, il me demande d'écrire publiquement qu'en matière de référencement de robots.txt ne sert à rien – je réponds que je n'ai jamais dit cela – je le renvoie vers un article qui résume ce que je pense, le robots.txt sert principalement à NE PAS INDEXER, ou plus exactement ne pas crawler, pas vraiment à améliorer la visibilité -
au passage - notons accessoirement que Google se fout pas mal du robots.txt (3ème paragraphe) et indexe quand même si ça lui chante...

Il me twitte hors sujet en me demandant si je ranke sur Yandex, Exalead, Bing, Ask  et quel est mon CTR sur Google – je réponds que même avec un CTR divisé par 5 sur Google, c'est 50 fois plus de trafic que sur bing - il me répond hors sujet que mon site n'est pas en ipv6 – je réponds que c'est hors sujet – il me répond hors sujet – je ne réponds pas.

Digressions, prétention et mépris

Il me twitte en m'adressant des liens vers ses tutos (hors sujet) – je lui twitte que ses tutos sont plutôt pas mal – il me twitte qu'il le savait déjà – que ça fait 8 ans qu'il fait du SEO.

Je passe voir si de nouveaux commentaires ont agrémenté ses articles – il a supprimé tous les commentaires – pas beaucoup de respect pour ceux qui on prit le temps de lui répondre – je lui dis – il me répond que les commentaires sont consultables en RSS – bonne nouvelle ! C'est super pratique !

En conclusion :

2 ans, 8 ans ou 15 ans de SEO, peu importe, on fait toujours des âneries. S'ouvrir aux opinions des autres est riche d'enseignements. Cela m'a souvent permis de me remettre en question.

Laissez la possibilité de commenter sur un blog expose à des argumentations contradictoires, elles ne font pas toujours plaisir. Mais supprimer ces interventions après publication relève pour moi du mépris.

Si vous avez l'impression qu'un jour je commence à agir comme cela, s'il vous plait, réveillez-moi, secouez-moi, remettez-moi dans les clous,  merci par avance.

Bref – j'ai modifié mon robots.txt  🙂

image d'illustration tirée de la série BREF de Canal Plus, à ne pas manquer.

Edit : Bon, je n'avais pas mis l'URL, mais monsieur Denis Szalkowski nous fait l'honneur de signer son commentaire n° 57 - Bref, vous pourrez mieux comprendre par vous même.

(je recevrai un mail quand un article est publié (no spam)

121 thoughts on “Bref, j'ai changé mon robots.txt

  1. David

    lol J'ai publié un CP sur Doyoulinkme dans le même genre il y a quelques semaines (à la sauce Bref quoi ). D'ailleurs , j'en avais profité pour souffler l'idée du site de CP à la sauce Bref à Hervé, le geo-trouvetout du SEO !

  2. Yassine

    En tout cas le titre est original et mérite bien des RT (chose faite). Étant donné que le dit blog n'est pas mentionné je vais aller regarder sur ton compte histoire de trouver des traces...
    Bonne journée

    PS: je vais aussi optimiser mon robot.txt et mon sitemap pour ranker 😉

  3. Conception web Sherbrooke

    «il me répond hors sujet que mon site n’est pas en ipv6»
    Elle est vraiment bonne celle-là...

    Je partage ton opinion, robots.txt me sert uniquement pour ne pas faire crawler certaines pages ou dossiers.

  4. Martin

    Tu es incompétent pour une autre raison, Sylvain : tu as omis d'inclure le fichier humans.txt à la base de ton blog, alors que chacun sait que les référenceurs compétents optimisent avant pour pour des humains. D'ailleurs, ce standard de fait en devenir (oui, tout ça) est utilisé par Google lui-même, c'est dire qu'il est indispensable pour tous.

    Bref, oui, nous commetons tous des erreurs. Après tout, nous sommes humains. Bref, corrige-toi et ajoute les fameux fichiers manquants !

    (Pour ceux qui ne me connaîtraient pas, je suis un troll très taquin qui aime le second degré.)

  5. Lilaweb

    Ha ha trop fort ton nouveau robots.txt, si avec ça tu ne ranke pas sur Baidu, c'est à ne plus rien comprendre au SEO... :p

  6. nicodesh

    lol pas mal, l'humour et le rythme sont là 😉 Non mais au final, j'ai fait partie de ceux qui ont commenté, sauf que, ma seule vraie question dans mon commentaire avait pour but de connaître ses références. Et il n'en a pas. Donc le débat est clos. C'est comme parler avec quelqu'un de comment prendre telle ou telle trajectoire sur tel circuit en moto et que la personne évite la question à chaque fois qu'on lui demande quel temps fait-elle sur ce circuit pour pouvoir se permettre de critiquer avec autant de condescendance. Bref, un Bortzmeyer-like de plus 🙂

  7. Fred

    Souvent il y a des gens aigris qui pensent avoir la science infuse et qui racontent purement et simplement n'importe quoi. Passé un temps, combien j'en voyais encore écrire qu'il y avait une densité de mot clé idéale onpage ...
    Bref j'ai bien ri en lisant ton article.

  8. Djolhan

    J'ai vu passer le premier billet, j'ai rigolé quand j'ai vu ca, et puis, j'ai vu passer l'autre et je me suis dit, mais pourquoi ??!!! lol

    Il faudrait peut être qu'il redescende sur terre ce "professionnel SEO". Il m'a l'air d'avoir effectivement... 8 ans de retard sur ce qui se fait aujourd'hui! 😀

  9. Samuel

    Bref, j'ai passé un super moment à lire cet article ou vous tournez en dérision certaines mentalités dans le SEO qui veulent faire croire qu'un robots.txt serait indispensable dans tous les cas de figures.

  10. 3615 SEO

    Heureusement que l'humour existe ! J'ai suivi l'histoire et, effectivement, je trouve dommage qu'une personne qui fait du SEO depuis 8 ans réagisse de la sorte.

    Car s'il y a bien une chose que le web apprend - de gré ou de force aux "pros" du web : ceux qui en vivent ou essaient - c'est que rien n'est jamais acquis ni durable.

    S'enflammer de la sorte pour une bout de fichier .txt est disproportionné. Effacer les commentaires, fermer tout nouveau commentaire et arranger la sauce à sa façon sur son blog est à mon sens dommage. Un peu d'humour et de recul aurait été bien plus bénéfique au personnage.

    Bref, l'incident est clos, et bien clos même 😉

  11. Cyril

    J'ai suivi l'affaire, et cet article m'a fait sourire. L'humour est une bonne réponse aux esprits fermés 😉

  12. Erwan

    Pas mal ta narration, à quand la vidéo ?

    ps : en même temps quand tu mets que "les éléments proviennent de sources réputées fiables, telles que Wikipédia" (cf l'autre article) ce n'est pas très cohérent.

  13. Loiseau2nuit

    Je me suis surpris à lire l'article sur le même rythme que la websérie et avec la transpo vocale dans la tête, trop bon ! 😀

    Moi je dis, ca mérite bien un billet sur le baume c't'histoire. je ne vois qu'eux pour être capable de te faire ranker avec un robots.txt ^^

  14. Quentin

    @Martin, pareil, l'article m'a fait penser au human.txt, que j'ai découvert il n'y a pas si longtemps que ça!!!!!
    En tout cas, bel article, plein d'humour. Comme quoi, dans le SEO on apprend toujours et rien n'est acquis!!!

  15. Sébastien

    Les années d'expérience ont toujours été perçues comme un facteur clé d'expertise. Il suffit de voir les offres d'emploi, les grilles de salaire, etc. Pourtant, à l'heure du web où la vitesse d'adaptation est un facteur crucial, je me demande si ça n'a pas perdu beaucoup de sa valeur. Bien sûr, il n'est pas possible de passer de débutant complet à SEO pro en deux mois, mais en l'espace d'une année, pour les passionnés avec un bagage technique, une jolie plume et beaucoup de temps de travail, on peut atteindre un niveau bien meilleur que beaucoup de "vieux de la vieille".

    A croire que ce n'est plus toujours dans les vieux pots qu'on fait les meilleures soupes !

  16. Buymeadonut

    T es con j ai éclate de rire en lisant ton robot.txt en plein milieux du bureau. tout le monde me regarde comme si j étais un Geek. Oo.

    Les désaccord entre blogueurs c est toujours déplaisant, mais bon faut savoir passer au dela.

    A+

  17. debouchage canalisation

    faut avouer qu'après pas mal de lectures sur ce site, je le trouve plutôt amateur... LOL 😉

    sinon vous êtes bon dans les ordinateurs?
    vous travaillez sur internet? donc vous êtes fort en informatique!

    c'est idem à ces exemples cités,

    on va pas refaire le monde quand même!
    Sylvain, pourquoi perdre autant de temps à faire comprendre à une chèvre l'utilité d'un robot.txt?

  18. LuniCréa

    Salut SR !

    J'avoue que cet espèce de "tweetclash" à 2 euros 50 aura fait rire plus d'un SEO et pourtant en allant lire ce monsieur sur son twitter et sur son site, j'ai beaucoup moins rigolé.

    Pendant un moment, j'ai ressenti une certaine tristesse à voir cette non-remise en question perpétuelle qui est à mon sens inhérent pourtant au métier de référenceur.

    Alors en nous expliquant que ça faisait un bail qu'il était SEO, un mot m'est venu à l'esprit : Pathétique !

    Bref, je suis fan de tes billets ! 😉

  19. Yassine

    J'ai trouvé l'article et je comprends pourquoi tu ne souhaites pas trop citer la personne enfin ça évite des soucis avec des avocats. En tout cas tu as laissé suffisamment de pistes pour trouver l'article.

  20. mathieu

    mais c'est bien connu google gère des milliards de page par jour, il attend bien évidemment que chaque petit webmaster lui donne des ordres...un peu comme le sitemap et la balise changefreq où bien sur google vient quand on lui demande de venir... 🙂

    D'un côte ça ne m'étonne pas que tu ne fasses pas de robots.txt...avec le nombre d'articles que tu écris tu n'as plus le temps de faire ce genre d'optimisations importantes...d'ailleurs je me demande si tu travailles encore ?
    Ca ne m'étonnerait pas que tu fasses travailler une armée de vietnamiens, de pakistanais and co qui te cassent tes captcha à longueur de journée dans des anciens atelier de tapis reconvertis en usine à captcha... 🙂

  21. Pierre

    Lol tu aurais pu nous faire une petite vidéo quand même ?

    J'ai suivi cette histoire de loin mais je n'avais pas vu qu'il avait fermé les com's ... c'est dommage en effet !

  22. Olivier

    Je l'ai lu avec la voix de Kyan Khojandi et ça le fait vraiment ! Google va voir quand même ce qui se passe même si "disallow"..

  23. guizme555

    Un excellent article plein d'humour comme on les aime.
    Petite question (sérieuse désolé) cependant : sur un gros site (genre 100 000 urls - chiffres pris avec le dieu Random), un sitemap ne peut-il pas aider un poil les robots à indexer certaines pages ? autre réflexion que je me fais : si la structure du dit site ainsi que la structure de ses urls n'est pas au point, le sitemap ne pourrait-il pas faire office d'outils de comparaison pour les robots ?

  24. Alexiane

    Y'en a tellement des gens comme lui, c'est ça le pire... Je vois tellement de conneries circuler ou des gens se dise expert SEO sur Twitter alors qu'ils sont très loin de l'être... D'ailleurs qui est expert maintenant ? Notre métier est une remise en question perpétuelle.

  25. Patrice

    Bonjour,

    Génial ton robots.txt 🙂

    Je suis entièrement d'accord avec toi. On apprend des erreurs et des échanges avec chacun.

    Comme toi, j'utilise les robots.txt pour ne pas indexer les pages de mes clients et de ne pas avoir de contenu dupliqué avec les pages dynamiques avec paramètres.

    Patrice

  26. Sylvain Richard - AxeNet Auteur de l’article

    @ Quizme555
    Un sitemap ne va pas nuire en effet. En revanche, il faudra toujours attendre que GG passe le voir, et ce n'est pas toujours rapide.
    J'utiliserais plutôt des ping à chaque nouvelle page créé.

    D'ailleurs, avec 100000 url, j'en mettrais même plusieurs des sitemap. En revanche, attention à ne pas avoir de bêtises dedans, ça peut devenir un inconvénient.

  27. Emmanuelle

    Arf, tu m'as bien fait rire, là...
    Et j'aime beaucoup ton robots.txt, de toute beauté !
    Change rien en ce qui me concerne, Harvey, t'es au top !

  28. guizme555

    @Sylvain
    Merci pour la réponse. Concernant la production de plusieurs sitemap, clairement d'accord avec cela histoire de rendre plus digeste le tout 🙂

  29. elannu

    J'ai rien compris à ton histoire... il faut changer son robots.txt?... :p de toute façon moi je suis avec toi Sylvain! 😀

  30. Annuaire Visipure

    En étant courtois et aimable envers Google comme tu l'es dans ton fichier robot.txt, on sait jamais, il pourrait bien le prendre et améliorer la visibilité ?

  31. Neupap

    Au départ, j'ai voulu écrire un article en reprenant ses arguments mais en remplaçant robots.txt par meta-keywords, et puis je me suis rappelé que j'avais pas de blog 🙂

    Sympa ta réponse.

  32. Nicolas

    C'est quand même dingue d'en être là après 8 ans dans une activité soit disant pro. Pour ce qui est de Bref je trouve que ça s'essouffle un peu, non ? Pour ce qui est de la modération de com abusive sur blog-axe.net je n'ai rien remarqué mais je ne suis pas non plus parmi les plus assidu. Mais t'inquiètes si tu donne aux gens l'occasion de se plaindre ils l'a saisiront !

  33. Vivien

    Étonnant de voir des gens provoquer alors que leur niveau de compétences est pour le moins... à peaufiner. On pourrait alors dire qu'une certification ou un diplôme en SEO/SMO serait preuve de compétences (et encore j'en suis même pas sur), mais c'est un long débat.
    Pour ce qui est du robot.txt, tout à fait en accord pour dire qu'il sert d'avantage à désindexer certaines pages d'un site web qu'à autre chose (en matière de SEO du moins).

  34. LaurentB

    Ahah tu fais durer l'histoire 😀
    Bah, j'ai aussi été sommé de publiquement dire que le robots.txt n'était pas vital pour le référencement. J'ai moins apprécié la transformation de mes propos ; au lieu de "vital" en "ne sert à rien".

  35. olivier

    Effectivement ça arrive à google d'indexer des pages interdites via le fichier robots.txt, je viens juste d'en faire l'expérience. Je pense que de passer les pages en noindex est plus sur, surtout que si quelqu'un fait un lien vers une page interdite par le robots.txt (oui je sais c'est rare les liens naturels mais çà doit quand même arriver quelques fois...) elle sera visitée et indexée.

  36. Seo

    Juste ces quelques mots pour t'indiquer que suivant tes conseils je vais de ce pas modifier mon robots.txt 😉

  37. Ramenos

    Bref, le robots.txt détermine si tu es un bon référenceur ou un mauvais référenceur. Fun ta petite histoire. On peut avoir le lien vers le blog du comique en question ?

  38. stéphane

    au final encore quelqu'un qui se tire une belle dans le pied... bref se fait de l'autosabotage et se crée des problèmes....
    il a peut-être trop de travail???? il tiens peut-être à éloigner les nouveaux clients, bref, il fait tout pour ne pas soigner sa réputation et cela montre qu'il n'y connait rien en SEO et en Référencement...
    stephane

  39. Marie

    Je ne voudrais pas être pénible mais tu as une faute d'orthographe dans ton robots.txt "j adore quand tu m indexeS"

    😀

  40. Crunch

    Original ce robots.txt !

    De mon côté, à part pour bloquer quelques éléments, rien d'utile 😉

  41. Jérémy

    C'est cool en fait c'est toi qui te tape les boulets, c'est plutôt sympa ! ^^ Enfin bon, c'est quoi au fait un robots.txt ?

  42. William

    Hmm faudrait faire une update sur les cours de la licence référencement, j'ai pas l'impression qu'on m'ai un jour parlé de cette obsolescence en matière d'index. Ni que l'on m'ai parlé des pings (heureusement que mon maître d'apprentissage est assez bienveillant pour l'avoir fait).
    Pourrais-je avoir un léger indice sur l'identité de ce bloggeur ? 😀
    Merci tout plein

  43. Fabien

    Comment peut-on revendiquer 8 ans d'expérience dans le domaine complexe et paradoxale du SEO et être aussi borné ?

    La fonction du robots.txt est très limitée, chaque référenceur digne de ce nom a tôt ou tard eu l'occasion de s'en apercevoir (l'indexation des fameuses pages censées être bloquées...)

    Un peu d'humilité et d'ouverture d'esprit ne ferais certainement pas de mal à ce monsieur. Croire dur comme fer à ses propres convictions sans jamais penser à se remettre en cause est une très dangereuse façon de penser, que ce soit dans le SEO ou la vie de tous les jours.

  44. David

    En lisant le texte à la mode Bref, on s'y croirait vraiment ! Le rythme saccadé peut donc être reproduit par écrit.

    Pour le prochain billet à titre humoristique, je te propose d'imiter le SAV des émissions. T'auras le choix entre "super con.ard", "tata Suzanne", etc.

    Mince alors j'ai pas assez investi dans mon robots.txt, c'est pour ça que je ranke pas... Je me disais aussi. L'une des premières forces d'un bon SEO est de savoir se remettre en cause (surtout quand une majorité de confrères professionnels démontrent le contraire). C'est d'autant plus vrai que la vérité d'hier n'est pas forcément celle d'aujourd'hui en référencement.

  45. percevalSEO

    Moi je pense qu'il a voulu faire un buzz mais qu'au final il s'est couvert de ridicule... Sur twitter il a répondu à tout ceux qui l'ont invectivé par rapport à la supression des commentaires... ha non pardon la désactivation 🙂 cf : "@percevalSEO Oui, j'en avais un peu marre des insultes de gens qui n'y connaissent rien au #SEO et au #Référencement ! Désolé." Il a bien pris soin de mettre les hashtag et tout et tout. Ha j'ai trouvé il veut ranker sur Klout ! Quel visionnaire ! Allez je pars cueillir des morilles 😉 ça vaut mieux que de continuer à parler de lui !

  46. Denis

    Je répète ce que j'ai dit :

    "Sur la base d’éléments formels (et il y en a beaucoup d’autres encore), j’affirme que l’absence du fichier robots.txt à la racine d’un site et du chemin indiquant, dans ce fichier, l’emplacement du fichier au format sitemap est un signe manifeste d’incompétence pour un professionnel qui s’autoproclame expert du référencement/SEO."

    Pourquoi Laurent a-t-il un "bon" fichier robots.txt ? Et franchement, qu'est-ce que ça coûte ?

    -> http://www.laurentbourrelly.com/robots.txt

    Posez-lui la question ! Pourquoi le maintient-il ? Il nous a dit que c'était un des éléments d'évaluation de ses audits. Moi-aussi.

  47. Yannick

    Que dire, tu es tombé sur un censuré...le Hic c'est qu'il a des clients qui doivent en pâtir..

  48. Michael Reisner

    Merci pour l'article. Je pense qu'en conclusion, il faut vraiment suivre les règles de google qui semble avoir parfois des différences entre les versions webmaster help en francais et en anglais!

    PS: merci pour l'échange sur twitter (@mikereisner)

  49. Sylvain Richard - AxeNet Auteur de l’article

    @ Denis

    Ah bah voila, je n'avais pas donné votre URL, mais vous le faites.
    Vu que vos commentaires sont fermés vous allez me les énerver ici.
    Pour ma part, je passe la main.

    ps : Certains diront que je suis bien gentil de vous laisser vous exprimer ici après que vous ayez supprimé mes réponses sur votre blog. Mais contrairement à vous, je ne supprimerai rien tant que les commentaires restent polis.

    Je suis tout de même étonné que vous posiez à nouveau la question ici après que Laurent Bourrelly vous ait longuement répondu sur vos commentaires que vous avez supprimé.

  50. Marie

    @Denis : moi j'ai des robots.txt sur des sites blacklistés, preuve que c'est vachement efficace pour le référencement 😀
    Entre nous, tu mélanges tout Denis mais bon c'est pas grave hein 😀

  51. sebastien133

    Je dirai bien quelque chose, mais franchement, j'ai peur que ce ne soit hors-sujet... 😉

    Je suis content de lire ce blog toutes les semaines, et je me félicite que tu ais mis un robot.txt.

    Ainsi, un jour, peut-être auras-tu le meilleur blog SEO que je connaisse. 😉

  52. Djolhan

    Tiens, juste comme ca, j'aimerai que ce Mr Denis expert SEO m'explique à quoi il sert son robots.txt une fois que le sitemap est connu des moteurs de recherche ? 😉

  53. LaurentB

    @Denis : à la fin je vais finir par m'énerver !!!!
    La différence entre mon jugement et le vôtre par rapport au robots.txt est très simple.
    1) Vous pensez que c'est une preuve d'incompétence que de ne pas l'avoir et qu'il fait la paire avec le sitemap.xml en tant que piliers fondamentaux du référencement.
    2) De mon côté, cela fait partie des éléments (parmi +140) que j'analyse, mais jamais je ne dirais que ça empêche la bonne tenue d'un site au niveau indexation et encore moins positionnement.
    Surtout, je ne dis pas que son absence est une preuve d'incompétence. Oui ça génère des tonnes d'erreur 404 dans les logs serveur, mais les crawlers se débrouillent très bien sans lui. Puis ils ne le respectent même pas en réalité...

    Le plan du site au format xml est une belle légende urbaine. Merci Google pour ça !
    Non seulement il n'est pas indispensable, mais en plus c'est purement un outil de contrôle. Peu importe que ça permette au moteur de "découvrir" de nouvelles URLs car si elles ne sont pas liées correctement au reste du site, l'indexation est très improbable.
    En d'autres termes, un sitemap n'est pas un remède contre une architecture pourrie.
    Je ne vois plus de plan du site au format html qui est pourtant bien plus efficace et intéressant.

    C'est bon maintenant, on va me foutre la paix avec cette histoire ?

  54. Loic Hélias

    Excellent moment de détente à (il est quelle heure là?) 22h:21m.

    Bref une journée qui va se terminer sur cet article.
    Pour répondre un peu au débat en tant que SEO qui rank uniquement avec le SMO, bon j'arrête de mettre de l'huile sur le feu.
    Je suis d'accord avec Laurent sur les 2 points suivants:
    - Le robot.txt n'est pas pris en compte par Google, cf mon tweet d'il y a 2 jours où un de mes sites en cours, avec présence du robot en disallow dès le début est indexé, et bien indexé même, ce qui m'a passablement énervé.
    - Vous allez peut être rire, mais le sitemap pour des petits sites peut parfois être déconseillé, tiens qui m'avait dit ça? D'ailleurs j'aimerai bien un avis clair là dessus.

    Attention au copyright sur la photo, on ne sait jamais !

    Bonne soirée

  55. Marie

    Moi je voudrais quand même féliciter LaurentB pour son joli robots.txt qui contrairement à celui de Sylvain, ne comporte pas de faute d'orthographe 🙂

  56. Bertrand

    On a eu Tom Cruise dans la guerre des Monde à la télé et les Robots étaient déjà trop super méchants ... alors un monde qui ne serait contrôllé que par les robots.txt ? Je n'ose à peine y croire. Luttons ensemble contre cette nouvelle dictature POUR UN RANKING LIBRE !!!!

    Bertrand

  57. Christophe

    Moi j'arrête le SEO vu que je suis un incompétent qui fait ranker tous mes clients sans robots.txt 🙂

    Bon allez, c'est bientôt l'ouverture de la pêche, je vais me concentrer sur cette activité dans laquelle je suis réellement compétent.

  58. Ben

    Donc avec un robot.txt digne de ce nom, ya plus besoin d'inscrire ses sites sur google c'est ça ??! 😉

  59. Jimmy

    euh... c'est normal que cette article s'affiche comme si j'étais sur un mobile (plugin WP-touch) alors que je le consulte à partir de mon ordinateur portable ??? (juste en dessous de cette case je vois le switch qui permet d'activer ou pas le Thème du mobile et le footer est :
    All content Copyright Blog Axe-Net
    Propulsé par WordPress + WPtouch 1.9.39

    Bref... il y a un truc qui cloche !

  60. Jimmy

    tiens c'est intéressant, une fois mon commentaire posté je rafraîchis la page et hop me voilà de retour sur le vrai Blog Axe-net 😉
    WP-Touch nous fait des sienne !

  61. Denis

    Je n'ai supprimé aucun commentaire. Vous savez d'ailleurs pourquoi je les ai fermés. Toutefois, ils sont accessibles par le fil RSS des articles. Oui, vous savez, les fils RSS... Tiens encore un outil qui facilite grandement la vitesse de l'indexation de contenus, hein ? On pourrait aussi en parler en matière de SEO.

    @Laurent

    De notre camarade à tous, Vladimir Ilitch Oulianov : "Les faits sont têtus".

  62. pierre

    Décidément les débats sont ouverts en ce moment sur le blog, après le SMO/SEO nous voila sur le robots.txt.

    C'est appréciable de voir des échanges construits tout en laissant à tous la possibilité de s'exprimer !

    Merci Sylvain pour cette place de "libre échange" qui nous permet de progresser sur nos réflexions SEO.

  63. Sylvain Richard - AxeNet Auteur de l’article

    @ Jimmy
    Un souci de compatibilité entre le plugin de cache et wp-touch 🙂
    On a réglé celui de la newsletter qui envoyait les messages 2 fois, on doit affiner (ou supprimer) le système de recherche WP qui ne vaut pas un clou, et ensuite, on verra cela...

    @ Denis
    Oui je sais, il sont accessibles par un moyen que personne n'utilisera jamais car par convention les visiteurs s'attendent à les voir sous les articles. Mais bon, vous les mettez ou vous voulez...

    Ahhh, les RSS. Vous nous faites un billet sur le sujet ?

  64. Thomas

    D'accord... Et la marmotte, elle emballe le chocolat 😀

    Bref, ce ne serait pas le genre de gars à annoncer que faire du backlink ne sert à rien !

    Roh dis donc sinon le coup des commentaires uniquement en RSS, c'est vachement couillu ! Il faut que je me rappelle de ne pas tester 😀

    Merci pour ce petit billet d'humour, quelque chose me dit qu'il y a encore beaucoup de boulot pour les bons SEO (ou en tout cas, ceux qui savent se remettre en question comme tu le soulignes dans ton article) !

  65. Emmanuelle

    Non mais je rêve, 80 commentaires pour cette histoire de robots !
    Sylvain, un Duck si tu dépasses 150 !

    Par contre, un truc que j'ai pas compris : quand tu dis "Mais bon, vous les mettez ou vous voulez…", c'est-à-dire où exactement ?
    Merci.

  66. Sylvain F

    @Denis : Quand autant d'acteurs importants du milieu (et qui ont fait leurs preuves au moins sur les SERP) s'accordent à dire que le robots.txt est un fichier qui n'est certainement pas primordial sur le positionnement, pourquoi n'essayes-tu pas de revoir ton jugement ?

    À vrai dire, je pensais jusqu'à la lecture de cet article que le sitemap.xml était un élément réellement important concernant l'indexation des pages du site. D'après les avis (de personnes expérimentées) en commentaire, il semblerait que son effet ne soit pas si important, comme pour le robots.txt. Du coup, même si je continuerai à en intégrer un quand je pourrai le faire de manière automatisée, ce ne sera plus une de mes tâches que je ferai en premier. Et comme j'aime bien ne pas croire aveuglement ce qu'on me dit, je vérifierai si effectivement son impact n'est pas aussi fort et me ferai mon propre avis.

    Pourquoi n'essayes-tu pas d'avoir le même type de démarche concernant le robots.txt avant de crier que tous ces gens sont des incompétents ?

  67. Chob

    Allez, faîtes-vous des bisous et on n'en parle plus parce que franchement, les clients n'en ont rien à battre des robots.txt et autres sitemap.xml.
    In fine, ce qui intéresse un annonceur, c'est sa visibilité et son taux de transformation, et moins les moyens. Ou alors il faudrait un concours complètement transparent, où chaque concurrent décrirait sa méthode, ses moyens et les résultats obtenus. On pourrait alors de faire une idée sur des bases solides et non sur les capacités d'argumentation des uns et des autres.
    PS : Sylvain, j'ai fait un copier-coller de ce commentaire sublime au cas où tu le supprimerai malencontreusement 😉

  68. Mickael

    Un billet plein d'humour... il fallait bien ça pour traiter un sujet aussi banal finalement 🙂
    Évidemment comme beaucoup ici, je pense que le robots.txt n'est pas le point fondamental pour faire du seo... D'ailleurs si on sait le lire, on voit bien que c'est plutôt pour ne pas indexer...
    Après, c'est vrai, il y a des règles et des normes à respecter dans le seo... blablabla...

    C'est comme passer son site au w3c validator. Vous pouvez avoir des sites avec 50 000 erreurs sur leur page d’accueil et qui seront parfaitement bien indexer...

  69. Thomas

    Pour moi qui commence à faire des commentaires sur les blogs SEO et qui espère arrivé un jour avoir les compétences pour écrire aussi un blog. J'adore cet article.
    Je crois que j'ai compris un truc pour reconnaître un pro du SEO, d'un humm comment dire, ah oui d'un branquignole SEO, cela se mesure en trois points :
    1- Est-il humble
    2- SE remet-il en question
    3- Sait-il qu'il ne sait rien

    En plus franchement à quoi cela sert-il d'avoir d'avoir raison si on est seul ?
    En SEO plus qu'ailleurs je pense qu'il ne sert à rien d'affirmer des choses comme des vérités absolues.

    bref j'ai fais un commentaire 😉

  70. Sylvain Richard - AxeNet Auteur de l’article

    @ Emmanuelle
    Je voulais dire que le monsieur range ses commentaires ou il veut, je ne commenterai plus la bas, donc je ne vais pas m'occuper de son ménage, rangement, organisation.

  71. Jean-Christophe

    Ah la la la. Vraiment sympa ce petit échange. Comment garder le sourire toute la semaine malgré les petits virus de l'hiver.

    En tout cas, je pense sérieusement à remplacer KeywordLuv sur mon blog par un système de chargement de robots.txt... 😀

  72. Franck

    Merci pour cet article très réjouissant ! La remise en cause et l'humilité devraient être effectivement les deux principales qualités en SEO. Encore un effort et les 150 commentaires seront dépassés...

  73. Christophe

    @Denis: "Oui, vous savez, les fils RSS… Tiens encore un outil qui facilite grandement la vitesse de l’indexation de contenus, hein ? On pourrait aussi en parler en matière de SEO."

    La c'est vraiment le mec qui sait plus quoi dire pour défendre sa grosse c*nnerie...

  74. jeu puzzles

    Excellent article, et qui ne manque pas d’humour!

    Il en faut, surtout lorsque l'on croise autant de mauvaise foi de la par de certaines personnes!

  75. Arnaud

    Excellent ton article, j'aime beaucoup le ton employé ! 🙂
    C'est vrai que ça résume bien certaines personnes assez fermé aux avis des autres et qui pensent avoir la bonne solutions niveau référencement.

  76. Fred

    Merci pour cet article à la mode Bref,
    En lisant, le rythme était bien saccadé et on se croyez vraiment dans Bref !

  77. Palbertus

    Encore lui! Il avait déjà fait une très grande polémique sur les consultants SEO à l'époque (http://www.bortzmeyer.org/seo-principes.html), qui lui avait permit grâce à tous les backlinks de se ranker en 1ère page...
    En résumé, il est clair que l'approche du SEO par des profils plutôt dev/informaticien n'est pas la même que celle des marketeux. Bref, je fais du SEO 😉

  78. xain

    En tout cas je n'avais jamais entendu dire que le fichier robots.txt pouvait aider au positionnement. Ce qui est sur, c'est que le positionnement sur Bing est pour moi complètement incompréhensible, et qu'on a des petites pistes pour google. Alors mon but c'est plutôt de faire ce que sais qui marche pour le moteur utilisé par 95% des français, plutôt que de tenter l'aventure sur des moteurs de recherche que quasiment personne n'utilise... Bref, j'ai pas modifié mon robots.txt..

  79. Vince

    Merci Laurent !
    Merci Sylvain !
    Denis pense que M.C. ets un dieu, c'est pour cela qu'il continuera à croire aveuglément à ce qu'il raconte : c'est le principe ! ... Sylvain, va dire à un catholique convaincu de remettre en question la Bible...

  80. juliette

    ...

    Par contre il me semble qu'il est une chose professionnelle et même obligatoire M. Denis Szalkowski, ce sont les mentions légales...

    Et je n'en vois point... Et si ça n'est pas pénalisé par Google ça l'est par la loi !

  81. Destination

    Ca existe encore le fichier robots.txt ?

    plus sérieusement , Google et bing offre tous les deux la possibilité de soumettre l'url du sitemap , je ne vois pas en quoi ca servirait de le repréciser une 2eme fois

    le fichier robot est surtout utile pour le maillage interne du site afin de ne pas indexer certaines urls etc et encore
    je préfére utiliser les balises pour préciser de ne pas indexer certaines pages et mettre manuellement les liens en "nofollow"

  82. miu

    Non, moi, je suis d'accord avec Denis...ça se saurait, franchement, depuis le temps, si tu étais un bon SEO, non? 😉

  83. Pija

    Le souci c'est que certains croient dur comme fer que le fichier robots.txt va être la clef ultime dans le référencement. Je pense que ce gars suit à la lettre le protocole "Matt Cutts".

    Je trouve que tu as bien perdu ton temps pour essayer de le raisonner, je n'avais pas jugé bon de commenter son article quand j'ai vu le contenu

  84. Michaël

    Le retour d'expérience des uns laisse entrevoir un raisonnement sophistique chez les autres : alors que l'alchimie de ceux-ci devrait permettre de dégager une réalité évidente !
    Un vrai monde paradoxal serait devenu le métier de référenceur ?
    Alors que l'expérimentation est la matière à réflexion et que l'humour est la décontraction de l'intelligence...
    Le partage de connaissances ne doit jamais souffrir de trop de certitudes parce que celles-ci amènent forcément de la polémique qui n'aurait pas lieu d'être : la visibilité, la compétence se mesurent assez facilement en terme de requêtes concurrentielles !

  85. Marc

    Drolissime! Très bien écrit et et révélateur d'une pseudo excellence de certains sur le web et ce tous domaines confondus (informatique, photo, voiture...)

    Comme souvent, l'humour est la meilleure arme contre la bêtise 😉

  86. david

    un ton humoristique pour s'adresser à des personnes parfois hautaines... Excellent en tout cas!!!

  87. Antoine

    tu as bien raison, si on laisse les gens mettre des commentaires, ce n'est pas pour ne garder que ceux qui potentiellement t'encenseraient, donc bonjour le mépris de ce blogueur. Et moi je pense comme toi, ya bien assez de taf avec google pour penser aux autres moteurs de recherche que personne ne connait.

  88. Mathieu

    Il y en a vraiment qui prennent la grosse tête sur le web, surtout pour le SEO.
    Dommage, parce qu'avec un peu moins d'ego tout le monde en profiterait.

    @juliette : "Et si ça n’est pas pénalisé par Google ça l’est par la loi !"

    La loi ça existe encore ce truc 😛
    Plus sérieusement, serveur à l'étranger et puis voilà.

  89. Renaud

    J'adore ce genre de débats! Et surtout lorsqu'ils impliquent des personnes un peu connues parmi les référenceurs.

    Comme quoi le référencement est un domaine hautement complexe où même des professionnels du domaine ont du mal à se mettre d'accord. Alors pas étonnant que les pauvres petits site internet s'arrachent les cheveux sur Google.

    En tout cas j'aime beaucoup l'idée du concours. Mais est-ce qu'il serait vraiment possible d'isoler l'influence seule du robot.txt sur le positionnement ?

  90. occasion bebe

    Très bien écrit !

    Un autre texte délicieux à la sauce Bref !

    Régalez-vous !

    Bref, J'ai vendu ma poussette !

  91. Jonathan

    Génialissime ce billet !
    J'aime beaucoup le mix bref/SEO/geek !

    par contre je suis bien d'accord, la censure n'a jamais fait avancer les choses...

  92. Paul

    Just forget about him and carry on without your robots.txt !
    (je dois avouer que j'optimise tjrs mes robots.txt, afin d'avoir une indexation "clean" d'un site...)
    ca sert à rien de mettre un lien vers le xml dans le sitemap...comme c'est le cas d'un SEO avec 8 (27 ?) années d'experience...

  93. Ludovic

    En tout cas bravo pour avoir gardé la tête froide... Il est sur que dans le référencement il y a énormément de critères à prendre en compte et qu'on tombera toujours sur une personne pour nous dire que le critère A et plus important que le B...

    Et pour le robots.txt j'adore, il est posté sur Facebook et Twitter!

  94. Cyril

    du kyan khojandi dans le texte, merci pour ce billet plein d'humour.
    Je peux comprendre la position de ce « professionnel SEO ». avec toute l’expérience dont il jouit, mais il oublie que SEO évolue plus vite que nous. il faut toujours être à l'affut des nouveautés, et rester ouvert aux idées novatrices.

  95. slimnature

    énorme !!!!!

    je me suis bien marré en voyant ton robots.txt

    ca fais du bien le matin

  96. tuto android

    On dirait presque un règlement de compte. A chacun ses techniques SEO

  97. Minicoeur

    En bref, les techniques SEO restent un grand mystère pour le débutant...
    Seul vraie conviction : bref ! cartonne vraiment.

  98. Alouette

    C'est fou ce que dans le monde SEO il y a des gens qui se prennent au sérieux, pour des gourous... alors que nous sommes tous sur pied d'égalité: nous tâtonnons, nous essayons de faire pour le mieux, nous nous trompons souvent et parfois nous réussissons! Donc vous avez tout à fait raison: honnêtement, le fichier robots.txt, ça n'est pas très important. La plupart des sites que j'ai conçu ne n'en ont pas, et pourtant ils ne sont pas si mal classés.

Partagez sur :

Les commentaires sont fermés.