Elke nieuwe uitvinding of nieuwe technologie brengt valkuilen met zich mee. Hoe bedreven je ook denkt te zijn in het ontdekken van die valkuilen, er komt een moment dat je er toch in valt.
Dat gebeurde vorige week met me. Ik zag een bericht op LinkedIn hoe het mogelijk zou zijn om in ChatGPT een samenvatting van een webpagina te krijgen, op basis van de URL. Als we straks toegang hebben tot plugins in ChatGPT, zal dat een eitje worden. Deze auteur beweert dat het net zo goed zonder plugin kan. Namelijk met het commando “TLDR <je url>”.
Als het nog onbekend is voor je, TLDR staat voor Too Long, Didn’t Read en is een veelgebruikte afkorting bij langere artikelen. Bovenaan de tekst vind je de afkorting, gevolgd door een korte samenvatting van het artikel.
Experiment
Het leek mij onwaarschijnlijk dat ChatGPT aan de hand van een URL een samenvatting kan maken. Immers, het achterliggende model heeft geen toegang tot het web, waarmee het pagina’s kan ophalen, lezen, begrijpen en samenvatten. Maar ik ben altijd bereid om een experiment te doen. Ik had net het artikel op mijn scherm “ChatGPT is a blurry JPEG of the web“, een geweldige uiteenzetting van Ted Chiang hoe de chatdienst duidelijk beperkingen heeft ten opzichte van de gesproken en geschreven taal.
Dus ik geef het commando “TLDR https://www.newyorker.com/tech/annals-of-technology/chatgpt-is-a-blurry-jpeg-of-the-web” en zie het resultaat voor mijn neus verschijnen.
Title: ChatGPT Is a Blurry Jpeg of the Web
TL;DR: The article discusses how ChatGPT, an advanced AI language model, is like a blurry jpeg of the internet. Although it can generate human-like text and is useful for various applications, it has some limitations. These include incorporating false information, biases, and out-of-date knowledge from its training data. The article also points out that AI technology is constantly evolving, and it’s important to consider both its possibilities and limitations.
Ik geef toe, ik was verbaasd. Ik had het artikel net gelezen en deze samenvatting klopt tot op zekere hoogte. Het is niet volledig, het mist een paar punten van Chiang, maar het is redelijk OK. Ik had op dat moment LinkedIn nog open staan en maakte een korte post. Had ik een easteregg ontdekt? Of was er iets anders aan de hand?
Natuurlijk is er iets anders aan de hand.
Hallucinatie
Niet veel later deed ik nog eens een test met wat andere URL’s en al snel kwam de aap uit de mouw. ChatGPT raadt aan de hand van de URL wat de inhoud van het artikel zou kunnen zijn. Gerichte hallucinatie. Ik heb hetzelfde artikel opgeslagen in mijn Readwise Reader en een publieke link opengesteld. Als ik die link aan ChatGPT geef krijg ik het standaard antwoord “I’m sorry, but I cannot access external links or web content.”
Dit gebeurde vorige week. Inmiddels is ook bij de makers van ChatGPT duidelijk dat de conversatie tussen mens en machine echt wel duidelijker mag. De tekst die ik nu terugkrijg bij het commando is duidelijk veranderd.
> As an AI, I cannot access external links. However, based on the provided URL, I can provide you with a TLDR:
“ChatGPT, while an impressive AI technology, may still have limitations in understanding and processing the vast and diverse content of the internet, making it akin to a blurry JPEG of the web.”
Please note that this <mark>summary</mark> is based on the information provided in the URL and not the actual content of the article. If you have any specific information or questions from the article, please feel free to share them, and I’ll be happy to help.
Ze hebben geleerd van de feedback van het publiek en passen de conversatie aan. Een duidelijke herinnering dat ChatGPT in beta is, geen kant-en-klaar product en wij de testmarkt zijn. Plus het gegeven dat ChatGPT (nog) geen zoekmachine is maar een redenerings-machine. Het zal op basis van de input die je geeft, proberen een antwoord bij elkaar te redeneren. Letter voor letter. Het heeft geen gevoel, geen mening, geen besluitvaardigheid in zichzelf. Dat krijgt het van de makers.
Naschrift: ChatGPT vind ik verder een prima helpertje om die grijze massa in mijn hoofd op weg te helpen. Zo kreeg ik deze vijf suggesties voor titels bij dit artikel
- “De verrassende waarheid achter ChatGPT’s samenvattingen op basis van URL’s”
- “ChatGPT’s raadselachtige samenvattingen: ontdekking of illusie?”
- “Het experiment: ChatGPT, URL’s en de zoektocht naar samenvattingen”
- “Gerichte hallucinatie: hoe ChatGPT samenvattingen creëert zonder toegang tot het web”
- “ChatGPT: tussen een redeneringsmachine en een zoekmachine – het verhaal van URL-gebaseerde samenvattingen”
Ik ben voor nummer 4 gegaan. Mee eens?
De featured image bij deze post is gegenereerd in Midjourney met de prompt: “A surreal and captivating image of a highly advanced robot experiencing a visual hallucination while browsing a webpage on a laptop. The robot, equipped with synthetic skin and state-of-the-art sensors, exhibits human-like expressions that hint at its inner turmoil as it attempts to process the distorted digital information. The scene is captured using a Canon EOS R5 mirrorless camera with a RF 24-70mm f/2.8L IS USM lens, renowned for its sharpness and superb color rendition. The camera settings include an aperture of f/4, ISO 200, and a shutter speed of 1/60 sec, perfectly balancing the ambient background lighting and the ethereal glow emanating from the robot’s visual display. The composition showcases the stark contrast between the robot’s futuristic design and the timeless atmosphere of the background, with its towering bookshelves and warm, inviting colors. Surrounding the robot, a swirling vortex of colorful pixels and symbols symbolize the chaotic nature of its hallucination, creating a mesmerizing and thought-provoking image that explores the boundaries of artificial intelligence and consciousness.”
Ik had deze ochtend zelfde ervaring met een actueel NL artikel in van een krant dat vandaag achter een ‘slotje’ verscheen. Op basis van de URL kreeg ik een prima samenvatting over het onderwerp (titel), maar gebruikte heel andere argumenten en zelfs qoutes en bronnen dan in het artikel staat.
Kreeg je dezelfde melding dat de samenvatting is gebaseerd op de URL en niet op de werkelijke inhoud?