Analyse approfondie : ChatGPT Search vs. Google sur 62 requêtes

L’émergence de ChatGPT Search a suscité de nombreuses questions sur la qualité de ses résultats par rapport à Google. Cet article propose une analyse détaillée des forces et faiblesses de ces deux plateformes, basée sur 62 requêtes soigneusement testées et évaluées.

Cette analyse s’inspire de l’excellent travail réalisé par Search Engine Land, qui a mené une étude approfondie sur les performances de ChatGPT Search et Google. Leur rigueur et leur approche méthodologique nous permettent de mieux comprendre les forces et faiblesses de ces deux outils.

Contexte et méthodologie

La technologie utilisée pour ChatGPT Search s’appelle SearchGPT. Pour simplifier, nous l’appellerons ChatGPT Search ici.

L’étude couvre une variété de requêtes réparties en plusieurs catégories : informatives, commerciales, locales, etc. Les requêtes de type navigationnel, qui favorisent naturellement Google, ont été exclues. Chaque réponse a été analysée sur la base des critères suivants :

• Erreurs : Contient-elle des informations incorrectes ?
• Omissions : Manque-t-il des informations importantes ?
• Faiblesses : Aspects faibles non liés à des erreurs ou omissions.
• Pertinence : Répond-elle correctement à l’intention de l’utilisateur ?
• Ressources supplémentaires : Fournit-elle des ressources pour approfondir ?
• Qualité globale : Synthèse des critères précédents.

Chaque requête a nécessité environ une heure d’analyse. Les résultats des deux plateformes ont été comparés et notés.

Résultats par type de requête

1. Requêtes informatives

• Nombre : 42 requêtes.
• Vainqueur : Google.
  • Score moyen Google : 5,83.
  • Score moyen ChatGPT Search : 5,19.

Google reste une référence pour les recherches d’information grâce à la richesse de ses résultats. ChatGPT Search, bien que compétitif, souffre d’erreurs et d’omissions.

2. Analyse de contenu

• Vainqueur : ChatGPT Search.
  • Score moyen ChatGPT Search : 3,25.
  • Score moyen Google : 1,00.

ChatGPT Search excelle dans l’analyse des lacunes de contenu (content gap analysis), un domaine où Google n’est pas encore performant. Cela le rend utile pour les créateurs de contenu qui cherchent à améliorer leurs pages ou trouver des idées d’articles.

3. Requêtes locales

• Vainqueur : Google.
  • Score moyen Google : 6,25.
  • Score moyen ChatGPT Search : 2,00.

Google domine grâce à ses outils comme Google Maps et Waze, et à sa base de données locale étendue.

4. Requêtes commerciales

• Vainqueur : Google.
  • Score moyen Google : 6,44.
  • Score moyen ChatGPT Search : 3,81.

Les requêtes axées sur les produits ou services penchent fortement en faveur de Google, qui offre des résultats détaillés, incluant des avis et des options d’achat.

5. Requêtes avec ambiguïtés (désambiguïsation)

• Vainqueur : ChatGPT Search.
  • Score moyen ChatGPT Search : 6,00.
  • Score moyen Google : 5,29.

ChatGPT Search s’illustre en proposant plusieurs interprétations pour des termes ambigus, facilitant la compréhension pour l’utilisateur. Google tend à privilégier les interprétations majoritaires.

6. Maintien du contexte dans les requêtes en chaîne

• Vainqueur : Aucun.
  • Score moyen ChatGPT Search : 2,00.
  • Score moyen Google : 3,00.

Les deux plateformes échouent à maintenir un contexte précis dans une série de requêtes liées.

Analyse des problèmes récurrents

1. Erreurs : des informations incorrectes apparaissent souvent, notamment dans les résultats générés par IA.
   • Exemple : ChatGPT Search n’a pas correctement décrit les règles de prolongation de la NFL.
   • Score : ChatGPT Search 3,00 vs. Google 4,00.
2. Omissions : certaines réponses négligent des éléments clés.
   • Exemple : ChatGPT Search a omis de mentionner le rôle du Tylenol dans la gestion de la douleur postopératoire.
   • Score : ChatGPT Search 6,00 vs. Google 5,00.
3. Faiblesses : des réponses manquent de clarté ou de pertinence.
   • Exemple : Google propose parfois des étapes mal ordonnées dans ses guides d’utilisation.
   • Score : ChatGPT Search 3,00 vs. Google 5,00.
4. Couverture incomplète : certaines intentions utilisateur nécessitent des recherches supplémentaires.
   • Exemple : Google, pour un achat local, privilégie les annonces en ligne, négligeant les points de vente physiques.
   • Score : ChatGPT Search 6,00 vs. Google 4,00.
5. Ressources insuffisantes : l’accès limité à des options diversifiées nuit à l’expérience utilisateur.
   • Exemple : ChatGPT Search propose des hôtels via une seule source (Kayak), contrairement à Google qui diversifie les options.
   • Score : ChatGPT Search 3,00 vs. Google 6,00.

Résumé des performances globales

Pour résumer

• Google reste supérieur pour la majorité des scénarios, particulièrement les recherches locales et commerciales. ChatGPT Search montre cependant un réel potentiel dans des domaines comme l’analyse de contenu et les requêtes nécessitant une désambiguïsation.
• Ces résultats, basés sur un échantillon limité, doivent être élargis pour une évaluation complète. Cette analyse donne toutefois un aperçu des forces et faiblesses actuelles des deux plateformes.
• Dans ce contexte, le GEO (Generative Engine Optimization) apparaît comme une extension stratégique du SEO. Il ouvre de nouvelles perspectives pour structurer le contenu et répondre aux besoins évolutifs des utilisateurs et des moteurs de recherche modernes.