Een opvallende zet van Microsoft. Het introduceert Copilot Vision AI, het is eigenlijk een soort Gemini Live zoals Google, maar dan kijkt het niet naar wat er op je webcam te zien is, maar wat er op je scherm te zien is. Op zich niet zo bijzonder, zou je denken, maar Microsoft had vorig jaar nog te maken met enorm veel weerstand toen het een functie wilde introduceren die altijd meekeek op je scherm en er screenshots van maakte: Recall.
Recall is overigens wel geïntroduceerd: het heeft het in april dit jaar beschikbaar gemaakt. In het Nederlands heet het ‘Herinnering’ en het idee is dat de functie regelmatig screenshots maakt van je scherm, waardoor je de AI kunt vragen wat je ook alweer hebt bekeken en hij kan dan middels die screenshots precies vertellen wat je op een formulier hebt ingevuld, welke site de informatie bevatte waar je naar vraagt, enzovoort. Het is een soort van geheugen.
Copilot Vision werkt iets anders. Het idee is dat de AI-tool realtime meekijkt met wat er op je scherm te zien is. Eerder kon het alleen naar twee apps tegelijk kijken, maar nu is je hele scherm de speeltuin van Copilot. Hij kan daarnaast kijken in vensters of apps die je open hebt staan. Het is dus meer alsof je je scherm deelt in een call, alleen bel je niet met een mens van vlees en bloed, maar met kunstmatige intelligentie.
Het is op dit moment alleen nog beschikbaar voor mensen die aan het Insider-programma van Windows meedoen. Als het er eenmaal bij iedereen is, dan kun je het verwachten binnen de Copilot-app. Het is herkenbaar aan een icoon met een brilletje. Je selecteert zelf welk bureaublad hij mag bekijken. Copilot bekijkt wat er te zien is en analyseert het, zodat het je vragen kan beantwoorden. Dan hoeft niet alleen heel feitelijk te zijn over wat er voor je neus staat.
Microsoft geeft aan dat het je ook kan helpen om bijvoorbeeld verder te komen met een presentatie. Hij kan je bij een creatief project tips geven of je vertellen wat je beter kunt doen aan je curriculum vitae. En dit is ook een functie die je kan helpen bij het gamen. Als je een spel speelt, dan deel je het scherm van het spel en dan kan hij je daarbij helpen.
Even terug naar Gemini Live, want zoiets bestaat wel voor Copilot Vision. Op je mobiele apparaat kun je in de app van Copilot ook delen wat er op je camera te zien is, waardoor je realtime een gesprek kunt voeren over wat je ziet. Of je nou een dier ziet dat je niet kunt plaatsen of hulp nodig hebt bij je huiswerk: met de camera van je mobiel kun je heel direct een vraag stellen in plaats van dat je eerst een afbeelding hoeft te maken en te uploaden.
