Tweelingen begrijpt zelf wat er op het scherm wordt bekeken

Google test een nieuwe functie voor Gemini waarmee het automatisch de schermcontext kan afleiden en vragen kan beantwoorden.

Tot nu toe waren er minstens twee stappen nodig om Gemini te vragen wat je op je Android-smartphone bekijkt: de Assistent openen en op 'Vraag naar scherm' tikken. Maar Google test een nieuwe functie die alles eenvoudiger kan maken. Gemini kan automatisch begrijpen wanneer je een vraag stelt over wat er op je scherm staat, zonder dat er handmatige instructies nodig zijn.

Gemini leidt automatisch schermcontext af, hoe de nieuwe optie werkt

Een nieuwe instelling genaamd " Schermcontext " is ontdekt in versie 16.37.46.sa.arm64 van de Google-app. Na activering kan Gemini automatisch toegang krijgen tot de content die op het scherm zichtbaar is, de context afleiden en nauwkeuriger reageren. Er verschijnt een bericht zoals "App-content ophalen...", gevolgd door een waarschuwing die uitlegt wat er zojuist is gebeurd, wat handig is als de activering per ongeluk was.

Voor privacybescherming is toestemming van de gebruiker vereist

Google wil niet dat Gemini zonder toestemming meekijkt op je scherm. Daarom is toegang tot visuele content onderworpen aan twee machtigingen : screenshots en schermcontext . Alleen als beide zijn ingeschakeld, kan Gemini vloeiender 'kijken' en vragen beantwoorden. Deze interface is momenteel nog in ontwikkeling, zoals blijkt uit de kleine letter 'Gemini', maar het zou de interactie veel natuurlijker moeten maken.

Tweelingen worden intuïtiever

Als Google zijn contextuele herkenning kan verbeteren, kunnen we onnodige schermvegen vaarwel zeggen en snellere, nauwkeurigere antwoorden krijgen. Een kleine verandering die een groot verschil kan maken in het dagelijks gebruik.