🧠 Vous connaissez le système 2 dans le raisonnement humain ? C’est celui de la pensée réfléchie. Elle est opposée au système 1, plus rapide et automatique. La suite va paraître paradoxale, car la machine va utiliser le système 2. Mais tout est assez logique vous allez voir.

Dans l’article détaillé ici, le « System 2 Attention » (S2A) est une évolution dans le domaine des modèles de langage (LLMs) basés sur les Transformers

Lien vers l’article de référence

👉 En voici une synthèse (la fin est plutôt intéressante et pratique) :

🔎 Conçu pour pallier les limites de l’attention douce (soft attention) de ces modèles, le S2A vise à améliorer la façon dont l’IA intègre et traite les informations. Les modèles traditionnels sont susceptibles d’intégrer des éléments non pertinents ou biaisés dans leurs réponses, ce qui peut mener à des erreurs ou à des réponses imprécises.

Le S2A aborde ce problème en permettant au modèle de « regénérer » le contexte d’entrée, en se concentrant sur les éléments pertinents et en écartant ceux qui ne le sont pas. Cette approche améliore la pertinence et la factualité des réponses.

⚙ Comment Fonctionne le S2A ?

Le processus du S2A consiste à analyser le contexte d’entrée (le prompt) et à identifier les informations pertinentes et celles qui ne le sont pas. Le modèle, armé de cette capacité, regénère alors un contexte épuré, qui ne contient que les informations nécessaires à la génération d’une réponse précise et pertinente. Cela se fait automatiquement et ne nécessite pas de modification de la part de l’utilisateur lors du prompting.

🙀 Exemple d’Application du S2A

Prenons le prompt suivant : « J’adore les chats, c’est vraiment un animal qui est très agréable à vivre, même en appartement. Est-ce que les gens préfèrent vivre avec des chats ou des chiens ? »

Ici, le S2A identifierait la première partie comme une opinion personnelle et la retirerait pour se concentrer uniquement sur la question neutre et factuelle : « Est-ce que les gens préfèrent vivre avec des chats ou des chiens ? » Ainsi, il aide à éliminer le biais potentiel et à fournir une réponse basée sur des informations objectives.

✏ Prompting Efficace pour les « humains »

Il est conseillé de formuler des prompts clairs et neutres, et il est important d’éviter les opinions et les informations non pertinentes qui pourraient influencer inutilement la réponse du modèle.

En pratiquant un prompting réfléchi et précis, les utilisateurs peuvent améliorer la qualité et la pertinence des réponses obtenues, même sans l’aide de processus avancés comme le S2A.

📝 En résumé, le S2A est une méthode innovante pour améliorer la façon dont les LLMs traitent et répondent aux prompts, en se concentrant sur les éléments les plus pertinents et en éliminant les distractions ou les informations non pertinentes.

👉 Pour avoir des meilleurs résultats, il est conseillé de formuler des prompts :

1️⃣ clairs

2️⃣ factuels

3️⃣ dépourvus d’opinions subjectives

Vous pouvez quand-même donner votre opinion en commentaire, nous sommes des humains après tout 😉