Bing Chat prend désormais en charge la recherche multimodale. Les utilisateurs peuvent ainsi soumettre des images au chatbot qui sera capable de les analyser et de répondre à des questions à leur sujet. Microsoft n’hésite pas à marcher sur les plates-bandes de Google.
Bing Chat continue de s’agrémenter de nouveaux outils dédiés aux images. Le dernier en date se nomme “Visual Search”. Comme son nom l’indique, il permet aux utilisateurs de nourrir leurs prompts avec des images. Le chatbot se charge ensuite de les analyser pour répondre aux questions des usagers. Après un test concluant, cette nouvelle fonctionnalité de reconnaissance d’image est enfin accessible pour tous les utilisateurs.
“Basé sur le modèle GPT-4 d’OpenAI, Visual Search permet de télécharger des images et de rechercher sur le Web des contenus liés. Prenez une photo, ou utilisez-en une que vous avez récupérée ailleurs, et demandez à Bing de vous en parler. Le chatbot peut saisir le contexte d’une image, l’interpréter et répondre à des questions à son sujet”, précise Microsoft sur son blog.
A lire > Bing Chat : cette fonction très attendue change la donne sur le ChatGPT de Microsoft
Bing Chat peut désormais reconnaître les images
Microsoft s’attaque ici à Google qui avait déjà déployé un outil similaire en 2021 baptisé MUM. Grâce à celui-ci, le moteur de recherche peut se baser sur une image pour fournir une réponse plus étoffée. Avec Visual Search, les utilisateurs de Bing peuvent télécharger une image et faire interagir l’IA avec elle. De quoi ouvrir en grand le champ des possibles !
Dans une vidéo de démonstration, Microsoft soumet un croquis approximatif d’une interface utilisateur dessinée à la main. Il demande ensuite à Bing de fournir du code HTLM et CSS basé sur le dessin. En quelques secondes, le chatbot génère des dizaines de lignes de code et parvient à générer un programme HTLM fonctionnel dont le design se rapproche sensiblement du dessin de référence. Plutôt bluffant n’est-ce pas ?
Il existe bien d’autres façons d’exploiter Visual Search sur Bing Chat. Vous pouvez par exemple prendre une photo d’un bâtiment et étudier son contexte historique. Demander une recette adaptée en prenant en photo les ingrédients que vous avez sous la main. Ou encore obtenir des conseils pour réparer un appareil endommagé.
A lire > Microsoft Bing : comment utiliser ChatGPT sur le moteur de recherche ?
