Transfer learning

Een van de uitdagingen waar je tegenaan loopt bij het trainen van AI-modellen is veranderingen. Als je bijvoorbeeld een nieuw product X krijgt, dan kun je een mens gewoon vertellen dat ze voor dit product hetzelfde proces moeten volgen als bij product Y. Bij een AI-model werkt dat net even anders. Om te voorkomen dat je een model bij iedere nieuwe situatie weer helemaal opnieuw moet trainen, kun je gebruik maken van transfer learning. In deze blog laten we zien hoe dat werkt en in welke situaties transfer learning geschikt is.

Wat is transfer Learning

Transfer learning is een techniek waarbij je een bestaand AI-model, dat getraind is voor een specifieke taak, aanpast en opnieuw gebruikt voor een andere, gerelateerde taak. Je hoeft dan niet helemaal vanaf nul te beginnen. Hoe meer overeenkomsten de nieuwe taak heeft met de oude taak, hoe beter transfer learning werkt.

Een model dat bijvoorbeeld getraind is om klantvragen te beantwoorden, kan met enkele updates worden geoptimaliseerd voor een nieuwe productcategorie.

Hoe werkt transfer learning

Transfer learning maakt gebruik van de al geleerde patronen en kennis van een ‘bronmodel’ en past deze toe op een nieuwe, gerelateerde taak of dataset. In plaats van een nieuw model vanaf nul te trainen, gebruik je een bestaand model (het bronmodel) als startpunt. Vervolgens ga je dit bronmodel ‘bijtrainen’ met data die specifiek is voor de nieuwe taak. Hiermee bespaar je een hoop tijd en en heb je minder rekenkracht nodig.

Bijvoorbeeld, een model dat getraind is om katten en honden te onderscheiden in afbeeldingen kan door transfer learning worden aangepast om andere dieren te herkennen. Dit werkt omdat het model al heeft geleerd om vormen, kleuren en texturen te identificeren die bij dieren horen. Daardoor hoeft het nieuwe model zich alleen nog te specialiseren in de kenmerken van de nieuwe diersoorten.

Wanneer is transfer learning handig

Transfer learning is vooral handig in de volgende situaties:

Als er vaak veranderingen zijn dan kun je het model snel bijtrainen op nieuwe informatie, zonder dat je elke keer weer een volledig nieuwe trainingscyclus hoeft te doorlopen. Hierdoor houd je het model eenvoudig actueel.
Als je weinig data hebt, maar wel een model dat getraind is op een vergelijkbare taak, dan kun je transfer learning gebruiken om dit model als bronmodel te gebruiken voor de nieuwe taak. Technieken als data augmentation en generatieve AI kunnen helpen om de hoeveelheid data uit te breiden.
Soms is het verzamelen van data moeilijk of kostbaar, bijvoorbeeld bij medische of bouwtechnische data. Het kan dan voordeliger zijn om op een bestaand model voort te bouwen.
Tenslotte kan transfer learning handig zijn als je een model wilt uitbreiden met specialistische kennis. Stel dat je bijvoorbeeld een model hebt dat is getraind op algemene bouwproducten. Je wilt nu dat het model specifiek adviezen geeft over duurzame bouwproducten. Met transfer learning kun je het model bijtrainen met data over duurzame producten, zodat het zich kan specialiseren in dit nichegebied zonder dat je helemaal opnieuw hoeft te beginnen.

Voordelen van transfer learning

Transfer Learning heeft een aantal voordelen.

Ten eerste is het trainingsproces veel sneller. Je start met een bronmodel, waardoor je voortborduurt op basiskennis in plaats van dat je een volledig nieuwe training start. Zo kun je een model een stuk makkelijker up to date houden.
Ten tweede krijg je betere prestaties met minder data. Omdat het model de taak niet helemaal opnieuw hoeft te leren, is er vaak minder data nodig voor de nieuwe taak. Zo kun je ook van de voordelen van AI profiteren als je (nog) niet veel data hebt. Er moet dan wel bestaand model beschikbaar zijn waarop je kunt voortborduren.
Ten derde heb je voor het trainen minder rekenkracht nodig en dat betekent lagere kosten. En door de tijdwinst kun je het nieuwe model ook nog eens sneller gebruiken.

Nadelen van transfer learning

Helaas kun je transfer learning niet in elke situatie gebruiken. Transfer learning werkt alleen als de onderliggende structuren van de nieuwe taak voldoende lijken op die van de oorspronkelijke taak. Als een model bijvoorbeeld is getraind om afbeeldingen van dieren te herkennen en je wilt het gebruiken om bouwmaterialen te herkennen, dan kan het model hier moeite mee hebben. Het model zoekt immers naar eigenschappen die typisch zijn voor dieren (zoals vacht of ogen) en deze kennis helpt niet bij bouwmaterialen en kan zelfs verwarrend werken.

Een tweede nadeel is het risico van overfitting. Bij overfitting heeft het model de patronen van de oorspronkelijke taak te goed geleerd, waardoor het model het geleerde niet kan generaliseren naar een nieuwe taak. Het model maakt dan verkeerde aannames en geeft suboptimale resultaten.

Stel dat je een AI-model traint om klantvragen te beantwoorden over retourvoorwaarden van producten. Tijdens de training heeft het model vooral vragen gezien die allemaal op dezelfde manier geformuleerd zijn. Bijvoorbeeld “Hoe retourneer ik mijn bestelling?” Het model leert deze specifieke vragen goed te herkennen en geeft er nauwkeurige antwoorden op. De resultaten zijn dan ook uitstekend.

Maar stel dat de klant de vraag net iets anders stelt:”Kan ik mijn bestelling terugsturen?” Bij overfitting herkent het model deze alternatieve formuleringen niet goed, omdat het teveel let op de precieze woordkeuze en zinsstructuur zoals het die gezien heeft in de trainingsdata. Hierdoor heeft het model moeite om het goede antwoord te geven, ook al betekenen de vragen hetzelfde.

Overfitting kun je voorkomen door tijdens de training variaties in de vraagstelling toe te voegen, bijvoorbeeld door data augmentation in te zetten. Hierdoor leert het model flexibelere patronen te herkennen, waardoor het beter omgaat met diverse formuleringen in nieuwe klantvragen.

Je kunt overfitting herkennen door het model op een nieuwe testset, die het model nog niet eerder heeft gezien, te evalueren. Als het model tijdens de training goed presteert, maar op de testset een stuk slechter scoort, dan is dit vaak een teken van overfitting.

Conclusie

Transfer learning is een handige techniek om met een AI-model flexibel in te kunnen spelen op veranderingen. Je voorkomt hiermee dat je een model bij iedere nieuwe situatie of product weer helemaal opnieuw moet trainen, maar borduurt voort op bestaande kennis. Houd er wel rekening mee dat transfer learning alleen werkt als de nieuwe taak voldoende overeenkomt met de oude. Daarnaast is het belangrijk om overfitting te voorkomen, bijvoorbeeld door erop te letten dat de trainingsdata voldoende divers is. Met de juiste aanpak is transfer learning echter een kostenefficiënte en flexibele manier om AI-modellen up-to-date te houden!

Stop kennisverlies vandaag nog

Wil jij ook de waardevolle kennis van je medewerkers duurzaam borgen met de kracht van AI, zodat deze behouden blijft voor jouw organisatie? Ontdek wat er mogelijk is in samenwerking met Learning Adventures.

Neem contact met ons op en start vandaag nog met het borgen van kennis voor de toekomst!

Learning Adventures