Case: een communicatiestilstand van enkele seconden bij een industriële camera geïsoleerd

Overzicht van de case

Deze case gaat over de besturing van een industriële camera waarbij de communicatie normaal werkte, maar af en toe slechts enkele seconden stilviel. Omdat het zowel op een stilstand in de applicatie als op een netwerkprobleem kon lijken, moest eerst worden uitgezocht wat er precies stilstond.

Symptoom

• De communicatie viel met lage frequentie enkele seconden stil
• De UI en het proces als geheel leken niet volledig te zijn vastgelopen
• Bij apparatuurbesturing zijn zelfs enkele seconden stilstand al van grote invloed op de werkvloer

Randvoorwaarden

• Het probleem trad zelden op en de reproductievoorwaarden waren uit de logs alleen moeilijk af te leiden
• Het kon overal vandaan komen: de camera-SDK, de NIC, de switch of de applicatiecode
• De oorzaak moest worden geïsoleerd zonder condities te verstoren die dicht bij de productieconfiguratie liggen

Wat wij hebben waargenomen

• Om eerst oorzaken van stilstand binnen de applicatie uit te sluiten, controleerden wij vertragingen in de verwerking en het optreden van uitzonderingen
• Met packet capture zagen wij Retransmission en de tijdsverschillen
• Wij controleerden of het patroon van de TCP-opties en de wachttijd voor hertransmissie overeenkwam met het symptoom

Hoe wij het probleem hebben geïsoleerd

Wij onderzochten of de communicatiestilstand niet moest worden opgevat als “de applicatie staat stil”, maar als wachten op hertransmissie na pakketverlies. Daaruit konden wij concluderen dat de stilstand geen deadlock in de applicatie was, maar een situatie waarin de wachttijd aan de TCP-kant op de voorgrond treedt.

Hoe wij het hebben verbeterd

• Wij beoordeelden of het om een situatie ging waarin RFC 1323-timestampinstellingen effect hebben
• Wij pasten de configuratie aan zodat de wachttijd voor hertransmissie korter wordt
• Wij legden de observatieprocedure en de invalshoeken voor het isoleren van de oorzaak vast, zodat het probleem ook in de toekomst op netwerkniveau kan worden bekeken

Diensten waar deze case bij aansluit

Deze case sluit aan bij zowel Foutanalyse en oorzaakonderzoek, waarmee wij moeilijk te reproduceren communicatiestilstanden met bewijs isoleren, als Windows-applicatieontwikkeling, waarmee wij het ontwerp van communicatie en monitoring vanuit de applicatiekant opnieuw bekijken.

Verwante artikelen

Vraag ons om advies

Heeft u een vraagstuk dat aansluit bij de inhoud van deze pagina? Bespreek het dan met ons en laat ons weten wat de huidige context is en welke ondersteuning u nodig hebt.