Verbetering van de betrouwbaarheid en bruikbaarheid van een op AI-gebaseerde tool voor datavalidatie en -correctie

In de praktijk blijkt dat de gegevenskwaliteit waar drinkwaterbedrijven op vertrouwen niet altijd afdoende is voor afgewogen beslissingen of automatische sturing door bijvoorbeeld complicaties bij sensoren of data-uitval. Het is arbeidsintensief om deze data handmatig te verwerken en corrigeren, en handmatige verwerking heeft als nadeel dat de gecorrigeerde sensorsignalen niet voor geavanceerde real-time sturing kunnen worden ingezet. Daarnaast is bestaande datamanagement- en procesbewakingssoftware nog onvoldoende toegerust met datavalidatiegereedschap. Daarom is in een Europees project, FIWARE4water, een proof-of-concept ontwikkeld van op AI-gebaseerde datavalidatie en -correctie (DVR).

Deze DVR-tool is enerzijds specifiek geënt op het FIWARE-open datamodelsysteemconcept en anderzijds op de data van een geselecteerde afvalwaterzuivering van Waternet. Echter, nog geen enkel waterbedrijf past FIWARE in zijn datasystemen toe. Daarnaast zijn veel waterbedrijven (nog) niet bereid om die omschakeling te maken. De betrouwbaarheid van de huidige tool kan verder nog verbeterd worden, bijvoorbeeld bij het invullen van de verwachte sensordata bij langdurige datauitval van sensoren. Daarom is binnen het collectief onderzoek van de waterbedrijven (BTO) de wens ontstaan om het niveau van technologische gereedheid (TRL) van dit gereedschap te verhogen tot een niveau dat geschikt is voor implementatie in de huidige productieomgeving van de waterbedrijven door middel van doorontwikkeling, tests en demonstraties.

Betrouwbaarheid en bruikbaarheid datavalidatiegereedschap en kennisuitwisseling

In dit project wordt aan het volgende gewerkt:

• Verbetering betrouwbaarheid van op AI-gebaseerde DVR-tool
  De betrouwbaarheid van de tool wordt verbeterd door het opnieuw trainen van de huidige op AI-gebaseerde modellen met nieuwe gegevenssets. Daarmee is de verwachting dat de dynamiek van de sensorsignalen beter voorspeld kan worden. Daarnaast worden de huidige methoden voor detectie van sensorgebaseerde anomalieën (anomaliedetectietechnieken) bijgewerkt. Wanneer nodig worden nieuwe technieken opgenomen om de prestaties te verbeteren.
• Verbetering bruikbaarheid van op AI-gebaseerde DVR-tool
  Momenteel draait de tool op een ontwikkelingsserver in het IT-systeem van Waternet. Dit gebeurt in combinatie met op FIWARE-gebaseerde componenten, zoals verwacht werd voor het Fiware4Water-project. Voor een breder gebruik binnen de huidige systemen van geïnteresseerde waterbedrijven wordt de tool onafhankelijk gemaakt met een eigen database en API-wrapper die in Docker-containers kunnen worden gemodulariseerd. Voorts wordt een geautomatiseerde training ontwikkeld voor de op AI-gebaseerde modellen binnen de Waternet gebruikstoepassing. Daardoor kunnen de modellen gemakkelijk opnieuw worden getraind met trainingsdatasets die nieuwe operationele omstandigheden bevatten. De verschillende componenten van de AI-DVR-tool worden afzonderlijk gemodulariseerd in Docker-containers. Op die manier kunnen ook andere waterleidingbedrijven de implementatie van (delen van) de tool overwegen. De eerste prioriteit betreft het modulair maken van de anomaliedetectie. Door een reeks testdatasets van de geïnteresseerde waterbedrijven te verzamelen, kan de anomaliedetectiecomponent van het instrument verder worden uitgedaagd op benchmarkingproblemen. Dit maakt het mogelijk om de prestaties en de mate van overdraagbaarheid te beoordelen. Ten slotte worden de verschillende soorten anomalieën die momenteel bij detectie worden gesignaleerd van een label voorzien, zodat ze eenvoudig met een dashboard zijn te visualiseren.
• Kennisuitwisseling en beoordeling toepassing
  Op basis van de ervaringen met de ontwikkeling en toepassing van de op AI-gebaseerde DVR-tool in het systeem van Waternet, worden specifieke lessen getrokken die de overdracht van de tool naar andere waterbedrijven mogelijk maakt. De resultaten en potentiële gebruikstoepassingen worden gedeeld met andere bedrijven binnen de Nederlandse en Vlaamse watersector middels een rapportage.

Technologie, gereed voor gebruik

Het is de bedoeling om de DVR-tool te gebruiken als een (vrijwel) real-time screeningslaag binnen bestaande procesbewakings- en/of -regelsystemen. De tool controleert de kwaliteit van de gegevens en brengt afwijkende waarden in overeenstemming met modelvoorspellingen. Op deze wijze kunnen gegevens worden gescreend en gecorrigeerd voordat deze door data-gedreven modellen (zoals digital twins) worden gebruikt. Zo’n screening is waardevol voor waterbedrijven die streven naar het toepassen van een meer data-gestuurde strategie.

Dit project beoogt de op AI-gebaseerde DVR-tool te bouwen, te verbeteren en uit te breiden, zodat de betrouwbaarheid en bruikbaarheid ervan worden verbeterd en de technologie gereed is voor gebruik. Verder wordt de levensvatbaarheid van de op AI-gebaseerde DVR-tool beoordeeld door andere bedrijven in de Nederlandse en Vlaamse watersector. Het mogelijk maken en modulariseren van transfer learning – het opnieuw trainen van modellen op andere data door delen van de modelstructuur over te nemen en dit proces te automatiseren – valt buiten het projectkader. In plaats daarvan worden de toegepaste methoden goed gedocumenteerd. Inzichten in de geleerde lessen met betrekking tot de ontwikkeling en invoering van op AI-gebaseerde instrumenten in IT-architecturen van waterbedrijven worden gedeeld.