Wat is Natural Language Processing?

Natural Language Processing is het analyseren van menselijke taal en de communicatie tussen mens en computer. Het valt onder het vakgebied AI.

Wat is Natural Language Processing?

Natural Language Processing, ook wel NLP genoemd, valt binnen het vakgebied kunstmatige intelligentie (AI). Dit zorgt ervoor dat mensen en computers met elkaar kunnen communiceren. Mensen praten met woorden, terwijl computers dit met tekens doen. NLP maakt dus de brug tussen de menselijke manier van communiceren en de manier waarop computers dit doen.

De verwerking van de natuurlijke taal bestaat uit twee fasen: de voorbewerking van gegevens en de ontwikkeling van algoritmen. De eerste fase omvat het voorbereiden en opschonen van tekstgegevens zodat machines deze kunnen analyseren. Tijdens de voorbewerking worden de gegevens in een werkbare vorm gezet en worden de kenmerken in de tekst benadrukt waarmee een algoritme kan werken. Er zijn verschillende manieren waarop dit gedaan kan worden:

• De tekst opsplitsen in kleinere eenheden
• Veel voorkomende woorden uit de tekst verwijderen
• Markeren van woorden op basis van woordsoort (werkwoord, zelfstandig naamwoord, etc.)

Na de voorbewerking wordt het algoritme ontwikkeld om deze te kunnen verwerken. Er zijn twee hoofdtypen algoritmen die vaak worden gebruikt, namelijk: op regels gebaseerd systeem en op basis van machine-learning. De eerste maakt gebruik van zorgvuldig ontworpen taalkundige regels. De tweede maakt gebruik van statistische methoden.

Taken van Natural Language Processing

NLP kent verschillende taken om ervoor te zorgen dat de menselijke taal te begrijpen is voor computers.  Zo stuurt het computerprogramma’s aan die tekst van de ene taal kunnen vertalen naar de andere taal. Daarnaast zijn er nog veel meer taken die NLP uitvoert. Deze taken zijn onder andere:

• Spraakherkenning
• Document samenvatting
• Machine vertaling
• Categorisatie van de inhoud
• Contextuele extractie
• Onderwerp ontdekken en modelleren
• Sentiment analyse

Natural Language Processing en tekstanalyse

NLP gaat hand in hand met tekstanalyse. Tekstanalyse wordt gebruikt om tekstuele inhoud te verkennen. Daarnaast wordt het ook gebruikt om nieuwe variabelen af te leiden uit onbewerkte tekst die vervolgens gebruikt worden voor de invoer van andere statische methoden. NLP en tekstanalyse worden samen voor veel toepassingen gebruikt, onder andere voor:

• Het identificeren van patronen en aanwijzingen in e-mails om spam te helpen opsporen
• Het classificeren van inhoud in zinvolle onderwerpen
• Belangrijke influencers identificeren en bewustzijn over specifieke onderwerpen volgen op social media

NLP in het dagelijkse leven

De algemene toepassingen kom je regelmatig tegen in het dagelijkse leven. We zullen een aantal voorbeelden noemen.  Allereerst kent iedereen Alexa of Siri wel, de virtuele assistent van je smartphone. Wanneer jij Siri bijvoorbeeld de vraag stelt: “Wat is de hoofdstad van Italië?”, dan zal Siri je vertellen dat dit Rome is. Een ander voorbeeld is de spam map in je email. NLP filtert de meeste emails en plaatst ongewenste email dan in de spambox. Kijk maar eens in je spambox en dan zie je veel gelijkenissen tussen de onderwerpregels. Het derde voorbeeld is een zoekbalk op een website. Het navigeren naar een bepaalde pagina door gebruik te maken van een zoekbalk is een functie van het categoriseren van de inhoud.