Případová studie: izolace několikasekundového výpadku komunikace s průmyslovou kamerou

Přehled případu

Případová studie se týká řízení průmyslové kamery, kde běžně vše funguje, ale občas se komunikace na několik sekund zastaví. Porucha vypadala jak na problém v aplikaci, tak na problém v síti, takže bylo nejprve potřeba rozlišit, co přesně se zastavuje.

Příznaky

• Komunikace se zastaví jen zřídka a jen na několik sekund
• Uživatelské rozhraní ani celý proces nevypadají úplně zastavené
• U řízení zařízení má i několikasekundový výpadek velký dopad v provozu

Omezení

• Porucha se vyskytuje vzácně a z logů samotných nejsou podmínky reprodukce dobře vidět
• Příčina by mohla být kdekoli: v SDK kamery, síťové kartě, přepínači i v implementaci aplikace
• Izolaci bylo nutné provést bez narušení podmínek blízkých produkčnímu nasazení

Co jsme pozorovali

• Abychom nejprve vyloučili příčiny uvnitř aplikace, ověřili jsme zpoždění zpracování a výskyt výjimek
• Pomocí zachytávání paketů jsme sledovali Retransmission a časové rozestupy
• Ověřovali jsme, zda tvar voleb protokolu TCP a doby čekání na opakované odeslání odpovídá příznakům

Jak jsme příčinu izolovali

Ověřovali jsme, zda lze výpadek komunikace chápat nikoli jako „zastavení aplikace“, ale jako čekání na opakované odeslání po ztrátě paketů. Výsledek ukázal, že příčinou není deadlock v aplikaci, ale že do popředí vystupuje čekání na straně protokolu TCP.

Jak jsme situaci zlepšili

• Posoudili jsme, za jakých podmínek nastavení časových razítek podle RFC 1323 skutečně pomáhá
• Upravili jsme konfiguraci tak, aby bylo možné zkrátit čekání na opakované odeslání
• Aby bylo možné problémy sledovat i v budoucnu na úrovni přenosu, uspořádali jsme postup pozorování a hlediska izolace příčiny

Služby, na které se případ vztahuje

Tato případová studie se vztahuje na dvě služby: na vyšetřování chyb a analýzu příčin, při kterém se hůře reprodukovatelné výpadky komunikace izolují na základě dokladů, i na vývoj aplikací pro Windows, při kterém se z pohledu aplikace přehodnocuje návrh komunikace a monitorování.

Související články

Poraďte se s námi

Pokud tato stránka odpovídá situaci, kterou řešíte, poraďte se s námi a připojte současný kontext i to, jakou podporu potřebujete.