Met Twitter op zoek naar stankoverlast

“De Milieudienst Rijnmond heeft een meldkamer waar onder meer telefoontjes van mensen binnen komen, maar waar ook informatie van sensoren wordt gebruikt om bijvoorbeeld het weglekken of vervliegen van schadelijke chemicaliën te detecteren”, legt Van Keulen uit. “Mensen bellen echter niet meer als er iets aan de hand is, dus moet je op een andere manier met de burger in contact komen. Daarom wilden ze sensorinformatie koppelen aan tweets van mensen die klagen over stank. Zo hoopten ze problemen eerder op het spoor te komen. Ook is het mogelijk om, als ze de meldingen in plaats en tijd kunnen volgen, terug te kijken in de historie en te achterhalen waar een probleem ontstond. De milieudienst zet deze technologie dan ook in voor allerlei zaken, bijvoorbeeld om via Twitter vervuild oppervlaktewater door illegale lozingen op te sporen.”

Stank

Twitter maakt het mogelijk om tweets automatisch van een GPS-locatie te voorzien. Een makkelijk dataproject, denk je misschien. Even die locatiemetadata filteren en je ziet bijvoorbeeld alle tweets over Rotterdam-Noord. Was het maar zo simpel, aldus Van Keulen. Iedereen kiest er zelf voor om die GPS-functie aan te zetten en slechts twee procent van de mensen heeft dat ook daadwerkelijk gedaan. Zonder de locatie van de tweets kun je ze niet op een kaart tonen en niet filteren op Rotterdam-Noord. En aan stanktweets uit New York heeft de DCMR natuurlijk niet veel.

De onderzoekers besloten daarom naar de inhoud van de tweet te kijken voor het bepalen van de locatie waarover iemand stank rapporteert. “Maar iedereen beschrijft een locatie op heel verschillende manieren: met straatnamen, bijzondere gebouwen, markante landschapselementen enzovoorts. Die moeten allemaal meegenomen worden. Ook gebruikt niet iedereen dezelfde woorden voor stank.”

Miljoenen tweets

Hiervoor is een pilot opgezet. Er werden lijsten opgesteld met dergelijke woorden om tweets te identificeren en te filteren. Ook werd naar tweets over historische lozingen en andere gebeurtenissen gezocht. “In de gevonden berichten werden dan weer nieuwe woorden gelezen die aan de lijst werden toegevoegd,” verklaart Van Keulen. Bottleneck bij het project: mensen bleken veel minder dan verwacht over zaken als stank te twitteren. Waarschijnlijk omdat ze denken dat er toch niets met die melding gedaan werd. Daarom veranderde DCMR van aanpak en ging diverse burgers actief benaderen of ze bewust wilden gaan twitteren.

Hoe visualiseer je de meldingen en klachten op een kaart van het gebied? De onderzoekers wilden een interactieve kaart ontwikkelen die vanuit grote hoeveelheden data, exacte geaggregeerde informatie toont en snel genoeg update voor vloeiend inzoomen en in plaats en tijd kan verschuiven. Van Keulen maakt de vergelijking met Buienradar. “Daarbij zijn de buienplaatjes vooraf berekend, maar in ons project kon je dus real-time de meldingconcentraties van stank voorbij zien trekken.” Data aggregatie is een proces waarin informatie wordt verzameld en uitgedrukt in een gebundelde vorm.

Arcadis heeft een eigen omgeving ontwikkeld genaamd Atrium om dergelijke geografische applicaties te maken. “Ze gebruiken daarbij open source GIS-software (Geographic Information Systems) en open source databases zoals PostgreSQL. Daarmee is het mogelijk om thematische informatie, zoals bijvoorbeeld hoeveelheden meldingen of tweets, op een kaart te visualiseren.” Met GIS-software kunnen ruimtelijke gegevens of informatie over geografische objecten, worden opgeslagen, geanalyseerd en gepresenteerd. PostgreSQL is een databasemanagementsysteem, onder meer geschikt voor Linux en Windows.

Een complex probleem bij het zoomen en verschuiven op een kaart en de analyse van miljoenen tweets is het behoud van snelheid. Van Keulen: “Alles vooraf berekenen is niet mogelijk, maar alles direct berekenen is te traag. En afhankelijkheid van specialistische databasetechnologie is voor partijen als Arcadis commercieel niet interessant. Daarom hebben we zelf een nieuwe technologie ontworpen die als een plugin aan een open source database als PostgreSQL toegevoegd kan worden.”