Dataset

Een dataset is een georganiseerde verzameling gegevens. Het gaat om voorbeelden waarmee een computer kan leren. Je kunt het vergelijken met een goed geordende bibliotheek: alle data staan netjes op een vaste plek. Denk aan lijsten met gegevens in tabellen of teksten. Datasets vormen voor AI-modellen de brandstof voor de slimme algoritmes. Ook voor onze AI-chatbots gebruiken we datasets. We verzamelen, structureren en bewerken data om de chatbots te laten leren en presteren. Zonder kwalitatieve en goed georganiseerde datasets kan een chatbot niet werken. Daarom besteden we veel aandacht aan het zorgvuldig selecteren, opschonen en labelen van datasets, zodat een chatbot het juiste antwoord geeft.

Waarom zijn datasets belangrijk?

AI-systemen leren van data. Ze geven de machine voorbeelden waarop het patronen kan ontdekken. Via een dataset krijgt de machine de informatie die het nodig heeft om de taken uit te voeren en patronen te herkennen. Zonder goede voorbeelden kan een AI-model niets leren. Met meer én diverse data wordt een model doorgaans slimmer en betrouwbaarder.

Voorbeelden van datasettypen

Datasets komen in vele vormen voor. Ze kunnen gestructureerd zijn (zoals een tabel in een spreadsheet) of ongestructureerd (bijvoorbeeld tekst of media). Ongestructureerde datasets kunnen allerlei formaten hebben, zoals tekstbestanden, afbeeldingen of audio. Enkele veelvoorkomende datasettypen zijn:

• Tekst, zoals verzamelingen geschreven data, zoals boeken, nieuwsartikelen, blogs of chatgesprekken
• Afbeeldingen, zoals sets met foto’s of scans. AI-systemen trainen hierop om objecten of patronen in beelden te herkennen.
• Audio, zoals geluidssamples of spraakopnames. Spraakassistenten gebruiken bijvoorbeeld opnames van gesproken zinnen met bijbehorende transcripties.
• Tabellen, zoals financiële cijfers, sensormetingen of spreadsheets vol gestructureerde gegevens.

Datasets in AI-toepassingen

• Chatbots en NLP. AI-chatbots gebruiken tekstdata om te leren communiceren. We trainen ze bijvoorbeeld met klantenservicegesprekken, socialmediaberichten, online reviews of productdocumentatie.
• Beeldherkenning. AI voor beeldherkenning wordt getraind met grote verzamelingen gelabelde afbeeldingen. Dergelijke datasets kunnen duizenden tot miljoenen foto’s bevatten, met bijbehorende labels om het model te leren wat er op elke foto staat. Zo leert het systeem bijvoorbeeld dat bepaalde kenmerken typisch zijn voor een kat, een voorbeeld van deep learning.
• Spraakassistenten. Voice assistenten gebruiken audio-datasets om spraak om te zetten in tekst. Deze datasets bestaan uit geluidsopnamen met bijbehorende transcripties. Door hierop te trainen leert het AI-model de klanken en woorden te herkennen, zodat het gesproken opdrachten kan begrijpen en uitvoeren. Siri is een voorbeeld van spraakassistent. Net als andere voice assistenten (zoals Google Assistant of Alexa) gebruikt Siri grote audio-datasets om te leren hoe mensen praten. Het traint met geluidsopnamen en transcripties, waardoor Siri spraak kan omzetten in tekst en begrijpen wat je bedoelt.

In al deze voorbeelden is de basis hetzelfde: een AI-model krijgt grote hoeveelheden voorbeelden (de dataset) aangeboden om van te leren. Hoe gevarieerder en completer de data, hoe beter de toepassing meestal werkt. Datasets vormen de basis van bijna elke AI-toepassing. Ze leveren de grondstof waarmee algoritmes worden gevoed. Zonder datasets zouden computers niet kunnen leren wat wij aan hen willen vragen, herkennen of voorspellen.