Nghiên cứu tình huống truy vết một sự cố tắt sau vận hành dài ngày đến rò rỉ handle

Tóm tắt tình huống

Đây là tình huống một ứng dụng Windows đột ngột tắt chỉ sau khoảng một tháng vận hành liên tục. Chúng tôi bắt đầu bằng việc sắp xếp các điểm quan sát và cuối cùng thu hẹp cuộc điều tra vào rò rỉ handle. Điểm mấu chốt không chỉ là bản thân nguyên nhân, mà là quyết định nên chuẩn bị những quan sát nào trước tiên.

Triệu chứng

• Không xuất hiện trong vài ngày; sự cố tắt chỉ xảy ra sau thời gian vận hành dài.
• Hình thái của các ngoại lệ không cho phép dễ dàng kết luận có rò rỉ hay không.
• Chỉ xảy ra trong môi trường thực tế và đòi hỏi phải cô đọng việc tái hiện trên máy phát triển.

Ràng buộc

• Chờ tái hiện trong một tháng là không thực tế.
• Vì bao gồm cả việc kết nối lại camera và các đường lỗi, log của trường hợp bình thường là không đủ.
• Cần quan sát liên tục xem những tài nguyên nào đang tăng lên.

Chúng tôi đã quan sát gì

• Heartbeat của Handle Count, Private Bytes và Thread Count.
• Log tại các ranh giới bắt đầu phiên, kết nối lại và kết thúc.
• Log vòng đời được ghép cặp giữa create/open/register và close/dispose/unregister.

Chúng tôi đã cô lập như thế nào

Thay vì bám trực tiếp vào “tắt sau vận hành dài ngày”, chúng tôi cô đọng việc tái hiện vào các đường lỗi xung quanh việc kết nối lại và thời gian chờ. Kết quả, chúng tôi thấy nghi ngờ rò rỉ handle, hơn là rò rỉ bộ nhớ, là giả thuyết vững chắc nhất và có thể tập trung quan sát vào đó.

Chúng tôi đã cải thiện như thế nào

• Chúng tôi tăng các hạng mục giám sát để theo dõi xu hướng tăng trưởng, không chỉ thời điểm tắt.
• Chúng tôi sắp xếp log tại các ranh giới để dễ theo dõi trách nhiệm nào đã mở và trách nhiệm nào đã đóng từng tài nguyên.
• Chúng tôi tổ chức kết quả điều tra để kết nối nó với một nền tảng kiểm thử đường lỗi trong tương lai.

Các dịch vụ liên quan đến tình huống này

Tình huống này kết nối với cả dịch vụ điều tra và phân tích lỗi, nhằm cô lập những vấn đề chỉ xuất hiện sau vận hành dài ngày, lẫn dịch vụ phát triển ứng dụng Windows, nhằm sắp xếp từ phía triển khai phần log, việc kết nối lại và quan sát vận hành.

Bài viết liên quan

Liên hệ với chúng tôi

Nếu trang này mô tả tình huống giống của bạn, hãy cho chúng tôi biết bối cảnh hiện tại và loại hỗ trợ bạn cần.