La nouvelle application iOS de Hugging Face utilise l'IA pour décrire ce que vous regardez

La startup d'IA Hugging Face a lancé une nouvelle application pour iOS qui ne fait qu'une seule chose : utilise l'IA hors ligne et locale pour décrire ce que voit la caméra de votre iPhone.

L'application, appelée HuggingSnap, utilise le modèle de vision interne de Hugging Face, smolvlm2, pour analyser ce que voit votre téléphone en temps réel sans envoyer de données dans le cloud. Pointez votre caméra et posez une question ou demandez une description, et HuggingSnap identifie les objets, explique les scènes, lit le texte et essaie généralement de donner un sens à ce que vous regardez.

Crédits image : Hugging Face

Le concept n'est certainement pas nouveau. De nombreuses applications alimentées par une IA – et les propres fonctionnalités alimentées par une IA d'Apple – peuvent accomplir la même chose. Mais comme le souligne Hugging Face dans la description de l'App Store de HuggingSnap, HuggingSnap fonctionne hors ligne, est économe en énergie et traite toutes les données sur votre téléphone.

Il est utile pour faire du shopping, voyager, étudier ou simplement explorer votre environnement,

HuggingSnap nécessite iOS 18 ou ultérieur. Il est également compatible avec les appareils macOS et l'Apple Vision Pro, si vous souhaitez l'utiliser sur un ordinateur portable ou un casque à la place.