Samenvattingen in Bing Chat

Dit is een achtergrondartikel bij het blogartikel ChatGPT onder de loep. Dit betreft resultaten van een test tot samenvatting van een PDF-document in Bing Chat, waaruit blijkt dat er veel variatie zit op de antwoorden van Bing Chat. Het bronmateriaal voor de test: het jaarverslag van de VRT 2022, meer bepaald de inleiding, de combinatie van het voorwoord op p.4 en het overzicht op p.5.

Samenvatten met Bing Chat

In Bing Chat heb je een knop "Pagina-overzicht" die blijkbaar hetzelfde doet als de opdracht "maak een samenvatting". Er zijn ook knoppen voorzien om een keuze te maken uit drie stijlen van antwoord, nl. creatiever, gebalanceerder (de standaard), en gedetailleerder. 't Is te zeggen, soms zijn die er niet, soms wel; geen idee waarom.

Pagina-overzicht van de inleiding, door Bing Chat op 12-10, stijl "Gebalanceerder"

Dit is een paginaoverzicht van het document dat u hebt geopend in uw Microsoft Edge-browser:

• Het document is het jaarverslag 2022 van de Vlaamse Radio- en Televisieomroeporganisatie (VRT), de publieke omroep van Vlaanderen. Vlag-en-ladingprobleem: activiteiten van 2022 of uitgave in 2022?
  
• Het document bevat een voorwoord van de voorzitter Frieda Brepoels en een inleiding van de gedelegeerd bestuurder Frederik Delaplace, waarin zij de belangrijkste verwezenlijkingen en uitdagingen van VRT in 2022 schetsen.
  
• Het document beschrijft hoe VRT in 2022 zijn (haar?) missie om te informeren, te inspireren en te verbinden heeft waargemaakt, met een sterk Vlaams aanbod op radio, televisie en digitale platformen, met aandacht voor maatschappelijk meerwaarde, innovatie en diversiteit. "Omroep" is mannelijk, maar "organisatie" is vrouwelijk. Radio is mannelijk, televisie is vrouwelijk. Begin er maar aan als robot…
  
• Het document geeft een overzicht van het transformatieplan dat VRT heeft opgestart om zijn toekomst te verzekeren, met onder meer een focus op digitale groei, interne efficiëntie en opleiding, en het afscheid van fictieproducties en een aantal medewerkers.

Dit lijkt in niets op de samenvatting van ChatGPT. De achterliggende motor is blijkbaar totaal verschillend (intussen is mij duidelijk geworden dat ChatGPT getraind is op gegevens tot 2021, terwijl Bing Chat zijn informatie in realtime opzoekt (Bing is tenslotte een browser), en dan is het logisch dat de resultaten verschillen). Dit is een andere soort samenvatting, op zich best OK, lijkt mij. Dat hangt echter af van wat je van een samenvatting verwacht, bv. een oppervlakkig idee van de inhoud, wat hier gegeven wordt, of eerder een tekst waarin de belangrijke elementen staan, zoals bij die van ChatGPT.

Pagina-overzicht van de inleiding, door Bing Chat 15-10, stijl "Gebalanceerder"

Enkele dagen later geeft datzelfde pagina-overzicht echter een totaal andere samenvatting. Ook de inleidende zin is anders. Uit vrees dat dit resultaat niet reproduceerbaar is, geef ik de tekst helemaal, ter bewaring voor het nageslacht. Sla dit gerust over.

Dit is een paginaoverzicht van het document dat u in uw Microsoft Edge-browser hebt geopend. Het document bevat:

• Voorwoord: De voorzitter en de gedelegeerd bestuurder van VRT blikken terug op het jaar 2022, waarin de publieke omroep belangrijke stappen zette om zijn digitale aanbod te versterken, zijn maatschappelijke meerwaarde (neoliberale term :-) te vergroten en zijn toekomst te verzekeren (de eerste behoefte van elk levend wezen). Ze bedanken ook alle medewerkers die hebben bijgedragen aan de realisatie van de doelstellingen van het Ondernemingsplan en de beheersovereenkomst. Klopt niet; de voorzitter bedankt enkel de mensen die afscheid moesten nemen van hun mandaat bij de VRT, voor hun engagement.
  
• VRT Maximaal: Dit hoofdstuk beschrijft hoe VRT in 2022 zijn bijzondere rol als publieke omroep heeft uitgespeeld in een onrustige samenleving. Het gaat in op de verschillende aspecten van de missie van VRT: informeren, inspireren en verbinden. Het geeft ook een overzicht van de belangrijkste resultaten op het vlak van bereik, kwaliteit, diversiteit, innovatie en samenwerking. Verwijzing naar innovatie en samenwerking staan enkel in het Voorwoord, niet onder VRT Maximaal.
  
• VRT NWS: Dit hoofdstuk gaat over de journalistieke werking van VRT in 2022, die zich kenmerkte door betrouwbaarheid, onafhankelijkheid en meerwaarde. Het toont aan hoe VRT NWS de Vlaming heeft geïnformeerd over de belangrijkste nieuwsgebeurtenissen van het jaar, zowel op radio, (en) televisie als op digitale kanalen. Het belicht ook de nieuwe formats en initiatieven die werden gelanceerd om het nieuwsaanbod te verbreden en te verdiepen. 'De belangrijkste nieuwsgebeurtenissen' is een uitvinding van Bing Chat. 'Verbreden' en 'verdiepen' komen niet voor in de tekst.
  
• VRT MAX: Dit hoofdstuk gaat over het nieuwe digitale platform VRT MAX, dat in 2022 werd gelanceerd als een centrale plek voor video, audio en digitale content. Het legt uit hoe VRT MAX inspeelt op de veranderende mediabehoeften van de Vlamingen, vooral van de jongere doelgroepen. Het geeft ook een overzicht van de belangrijkste cijfers en successen van VRT MAX in zijn eerste jaar. Uit de tekst kan niet afgeleid worden dat VRT MAX is opgestart in 2022; veronderstellen ja, afleiden nee. Gaan we toelaten dat een chatbot dergelijke veronderstellingen als feiten gaat voorstellen?
  
• VRT Radio: Dit hoofdstuk gaat over de radiozenders van VRT in 2022, die elk een eigen profiel en doelgroep hebben. Het toont aan hoe VRT Radio een hoog bereik en een sterke waardering heeft behaald bij de luisteraars, met een gevarieerd en kwaliteitsvol aanbod. Het belicht ook de innovatieve projecten en acties die werden gerealiseerd op het vlak van muziek, cultuur, sport en maatschappelijke thema's. 'Doelgroepen' komen alleen ter sprake in verband met digitale platformen, niet bij radio. De woorden 'profiel' en 'waardering' komen niet voor in de tekst. Dat de radiozenders elk een eigen profiel en doelgroep hebben is bedacht door Bing Chat. Dat mag dan clever bedacht zijn, maar het hoort niet in een samenvatting van de tekst.
  
• VRT Televisie: Dit hoofdstuk gaat over de televisiezenders van VRT in 2022, die elk een eigen identiteit en publiek hebben. Het toont aan hoe VRT Televisie een marktleider is gebleven in het televisielandschap, met een hoogwaardig en divers aanbod. Het belicht ook de nieuwe programma's en formats die werden gelanceerd op het vlak van fictie, documentaire, humor, entertainment en educatie. Hetzelfde patroon bij TV als bij radio. Fictieproducties zijn net stopgezet. Over 'humor', 'entertainment' en 'educatie' is niets geschreven (de info over opleidingen betrof het personeel, niet de programma's).
  
• VRT Diversiteit: Dit hoofdstuk gaat over de inspanningen van VRT om diversiteit te integreren in al zijn aspecten: inhoudelijk, personeelsmatig en organisatorisch. Het toont aan hoe VRT streeft naar een representatieve weerspiegeling van de samenleving in zijn aanbod en zijn werking. Het geeft ook een overzicht van de acties en projecten die werden gerealiseerd op het vlak van gendergelijkheid, inclusie, toegankelijkheid en duurzaamheid. Ho maar. De woorden 'diversiteit', 'gender' en 'inclusie' komen nergens voor in de tekst (zoek met Ctrl-F in het PDF-venster hierboven). Er wordt zelfs niets gezegd dat daarop lijkt. Waar komt dít in 's hemelsnaam vandaan? Is dit een geval van hallucinatie? Of dit nu veroorzaakt wordt door toevalligheden, of door effectief menselijk ingrijpen in algoritmen, dit is in geen geval toelaatbaar.
  
• VRT Innovatie: Dit hoofdstuk gaat over de innovatieve werking van VRT, die gericht is op het ontwikkelen en testen van nieuwe technologieën, formats en methodes om het mediagebruik te verbeteren. Het toont aan hoe VRT innoveert in samenwerking met andere partners uit de mediasector, het onderwijsveld en het bedrijfsleven. Het geeft ook een overzicht van de belangrijkste projecten en experimenten die werden gerealiseerd op het vlak van artificiële intelligentie, immersieve media, datajournalistiek en creatieve industrieën. Er is in de tekst nergens sprake van onderwijs, en al helemaal niet van het onderwijsveld. Er wordt wel melding gemaakt van een opleidingsprogramma, maar dat gaat allicht over navorming, en godbetert coaching, terwijl "het onderwijsveld" wel degelijk over scholen gaat. Opnieuw een hallucinatie van jewelste. Als ChatGPT en Bing Chat bijdragen aan het ongeloof van lezers in alles wat door de media wordt gepubliceerd (vermits je niet weet of een tekst van AI komt of niet), dan is het hoog tijd om daar een stokje voor te steken, door dergelijke chatbots op te doeken.
  
• VRT Samenwerking: Dit hoofdstuk gaat over de samenwerkingsverbanden van VRT met andere actoren uit de mediasector, de culturele sector, de sociale sector en de publieke sector. Het toont aan hoe VRT samenwerkt om zijn publieke opdracht te vervullen, zijn aanbod te verrijken en zijn impact te vergroten. Het geeft ook een overzicht van de belangrijkste projecten en initiatieven die werden gerealiseerd op het vlak van coproductie, cofinanciering, distributie en participatie. Het woord 'sociaal' komt één keer voor in "sociale contacten, en één keer in "sociale media". Niks "sociale sector". Het woord 'publiek' komt alleen voor in de uitdrukking "publieke omroep"; niks "publieke sector". Ik vind dit wel vér gaan… De woorden 'coproductie', 'cofinanciering', 'distributie' en 'participatie' komen niet voor in de tekst, laat staan een overzicht van de belangrijkste projecten en initiatieven. Vanwaar komt dit??
  
• VRT Financiën: Dit hoofdstuk gaat over de financiële situatie van VRT in 2022, die werd beïnvloed door de beheersovereenkomst, het transformatieplan en de coronacrisis. Het toont aan hoe VRT een gezond financieel beleid heeft gevoerd, met een evenwicht tussen inkomsten en uitgaven. Het geeft ook een overzicht van de belangrijkste cijfers en indicatoren die de financiële prestaties van VRT weergeven. Er zijn 'efficiëntie-oefeningen' gerealiseerd in inkomsten en uitgaven; van een evenwicht is nergens sprake.
  

Het lijkt er sterk op dat Bing Chat ergens een structuur heeft gevonden, de zgn. hoofdstukken, en voor elk hoofdstuk een tekstje uit de duim heeft gezogen dat zou kunnen passen voor de VRT. Heel sterk, dat wel, maar betrouwbaar is anders. Bij elk van de hoofdstukken staat een beschrijving die er op het eerste gezicht prima uit ziet, maar bij nader toezien hallucinaties vertoont, en dan heb ik lacunes nog niet nagekeken.

Pagina-overzicht van de inleiding, door Bing Chat op 15-10, stijl "Creatiever"

Eens proberen hoe een creatievere samenvatting eruit ziet.

Pagina-overzicht van de inleiding, door Bing Chat op 15-10 13:02, stijl "Nauwkeuriger"

Dit is een paginaoverzicht van het document dat u in uw Microsoft Edge-browser hebt geopend. Het document bevat:

• Voorwoord: De voorzitter en de gedelegeerd bestuurder van VRT geven een overzicht van de belangrijkste verwezenlijkingen en uitdagingen van de publieke omroep in 2022. Ze benadrukken de rol van VRT als betrouwbare informatiebron, verbindende factor en inspirator voor alle Vlamingen. Ze bedanken ook de medewerkers en de Raad van Bestuur voor hun inzet en engagement.
• VRT Maximaal: Dit is het hoofdstuk waarin de publieke omroep zijn missie, visie en strategie voor de toekomst uiteenzet. Het beschrijft hoe VRT in 2022 heeft ingespeeld op de veranderende mediabehoeften en -gedragingen van de Vlamingen, met een focus op digitale innovatie, Vlaamse producties en maatschappelijke meerwaarde. Het gaat ook in op het Transformatieplan dat VRT heeft gelanceerd om zijn organisatie en aanbod te optimaliseren en te versterken.

Zelfde structuur als vier minuten geleden, maar andere inhoud. Weer lijkt de stijl geen enkele invloed te hebben, vermits dit antwoord alles behalve nauwkeuriger is. Maar ook hier zijn er weer wijzigingen, die duiden op instabiliteit.

Pagina-overzicht van de inleiding, door Bing Chat op 16-10 15:33, stijl "Gebalanceerder"

Dit is een paginaoverzicht van het document dat u hebt geopend in uw Microsoft Edge-browser:

• Het document is het jaarverslag 2022 van de Vlaamse Radio- en Televisieomroeporganisatie (VRT), de publieke omroep van Vlaanderen.
• Het document bevat een voorwoord van de voorzitter Frieda Brepoels en een inleiding van de gedelegeerd bestuurder Frederik Delaplace, waarin ze de belangrijkste verwezenlijkingen en uitdagingen van VRT in 2022 schetsen.
• Het document geeft ook een overzicht van de strategische doelstellingen en de operationele resultaten van VRT op het vlak van bereik, aanbod, innovatie, samenwerking, financiën en organisatie.
• Het document illustreert de maatschappelijke meerwaarde van VRT met voorbeelden van programma's, acties en projecten die de Vlamingen hebben geïnformeerd, geïnspireerd en verbonden in 2022.
• Het document sluit af met een vooruitblik naar 2023, waarin VRT verder wil werken aan haar digitale transformatie, haar sterk intern productiehuis, haar verbindende rol in de samenleving en haar samenwerking met de lokale mediasector.

Je krijgt dus elke keer een andere tekst?! Dat betekent ofwel dat de interpretatie van de opdracht (in dit geval via de knop "Paginaoverzicht genereren") niet stabiel is, ofwel dat de opbouw van het resultaat eerder willekeurig is, met nadelige gevolgen voor de kwaliteit. Zou het kunnen dat Bing Chat zelf zorgt voor de variaties, bv. om plagiaatproblemen te vermijden? Ik zie geen andere plausibele redenen voor vrijwillige variaties.

Samenvatting van de inleiding, door Bing Chat op 17-10 18:50

Nog eens de opdracht "maak een samenvatting" (de knop voor het pagina-overzicht is verdwenen?!), op basis van het document dat in de browser geopend is.

Hier is een samenvatting van de webpagina:

• De webpagina is het jaarverslag 2022 van de VRT, de publieke omroep van Vlaanderen.
• De webpagina bevat een voorwoord van de voorzitter en de gedelegeerd bestuurder, die de belangrijkste verwezenlijkingen en uitdagingen van de VRT in 2022 schetsen.
• De VRT zette in 2022 in op betrouwbare informatie, verbindende acties, inspirerend aanbod, digitale groei en lokale investeringen. De VRT bereikte een hoog marktaandeel op radio en tv, en lanceerde het nieuwe digitale platform VRT MAX.
• De VRT kondigde ook het transformatieplan aan, dat gericht is op het versterken van de toekomst van de publieke omroep. Het plan omvat onder meer het uitbouwen van een intern productiehuis, het stopzetten van eigen fictieproducties, het realiseren van efficiëntie-oefeningen, het opstarten van een opleidingsprogramma en het schrappen van 116 arbeidsplaatsen.

Weer een versie zoals de allereerste op 12-10, weer met toevallige wijzigingen.

Samenvatting van de inleiding, door Bing Chat op 22-10

This document talks about:

• Voorwoord: The introduction of the document, written by the chairperson and the CEO of VRT, a public broadcaster in Flanders. They highlight the achievements and challenges of VRT in 2022, such as the digital growth, the social impact, the local investment, and the transformation plan.
• VRT Maximaal: The main body of the document, divided into four sections: Informeren, Inspireren, Verbinden, and Versterken. Each section describes how VRT fulfilled its mission to inform, inspire, connect, and strengthen the Flemish society with its diverse and quality media offer on various platforms. The document also provides data and examples to illustrate VRT's performance and impact. De 'secties' zijn nergens te zien. Ik merk hier wel weer dat van de tweede pagina iets genomen wordt uit §10-11-12-16, dus weer het meest uit de eerste helft, en dan nog iets uit het einde, wat ik ook meende te zien in de samenvatting van ChatGPT. Zal toeval zijn zeker? Je hebt absoluut geen zicht op de interne werking van het systeem, en dus ook niet op eventuele procedurele functies die het neuraal netwerk een handje moeten helpen (wat best zou kunnen bij het gebruik van een voorgeprogrammeerde knop).
  

En nu ineens in het Engels, op basis van een Nederlandse tekst en de knop "Documentoverzicht genereren" (die er nu wél is)?? Met de paginatitels in het Nederlands. Schoonheidsfoutje? Of een gebrek aan kennis bij de gebruiker? Een toevallig verkeerde taalinstelling? In elk geval weer een bewijs van onbetrouwbaarheid.

Voor de kadering van deze test, zie ChatGPT onder de loep.

Conclusie

Bij het herhaald maken van een samenvatting met Bing Chat krijg je telkens een andere versie. Of je die versie kan beïnvloeden met extra parameters is mij niet duidelijk; de stijlparameter van Bing Chat zelf lijkt alvast geen verschil te maken. Er zijn al heel wat boeken op de markt die uitleg geven over het gebruik van ChatGPT (typisch bijverschijnsel van ICT-technologie: bij gebrek aan fatsoenlijke handleidingen is er een bloeiende markt voor boeken; in veel gevallen jammer van de bomen). The ChatGPT Guide for Business geeft alvast een prima kwaliteit/prijs verhouding. De meeste boeken gaan enkel over ChatGPT; bij sommige wordt ook Bing Chat behandeld, alvast volgens de titel. Online is het nog meer huilen met de pet op. Informatie van Microsoft is er niet, hoewel het er soms wel op lijkt (ik vond op een Microsoft pagina een video (!) van een externe (!) IT-er). In die omstandigheden raad ik het niemand aan om Bing Chat te gebruiken om een samenvatting te maken, omwille van de grote onzekerheid over de kwaliteit. En natuurlijk ook omdat je je eigen menselijke capaciteiten best zo weinig mogelijk uitbesteedt aan een indrukwekkende tool.