Cách Chúng Tôi Khắc Phục Lỗi Worker Gunicorn trong Ứng Dụng Flask của Chúng Tôi: Một Hành Trình Khắc Phục Sự Cố Thực Sự

Khi bạn quản lý các máy chủ sản xuất, luôn có lúc mọi thứ không diễn ra như ý muốn ngay cả khi bạn nghĩ rằng mọi thứ đang hoạt động trơn tru. Gần đây, chúng tôi đã gặp phải chính xác điều đó - một vấn đề thực sự trong ứng dụng Python/Flask của chúng tôi chạy trên Gunicorn. Khách hàng của chúng tôi báo cáo sự cố gián đoạn định kỳ với ứng dụng, và chúng tôi nhanh chóng nhận ra đã đến lúc cần tìm hiểu kỹ vấn đề này. Đây là câu chuyện về cách chúng tôi giải quyết nó, những gì chúng tôi đã học được và các bước đơn giản mà chúng tôi sẽ thực hiện trong tương lai để tránh gặp phải vấn đề tương tự.

Cấu Hình Ban Đầu

Cấu hình của chúng tôi có một bộ cân bằng tải với hai máy chủ xử lý các yêu cầu của khách hàng. Trong điều kiện bình thường, bộ cân bằng tải giữ cho lưu lượng truy cập hoạt động trơn tru, nhưng khách hàng của chúng tôi bắt đầu gặp phải sự cố khả dụng bật/tắt này.

Dưới đây là cách chúng tôi bắt đầu khắc phục sự cố:

1. Xác minh các tiến trình: Đầu tiên, chúng tôi kiểm tra tất cả các tiến trình máy chủ để xác nhận rằng chúng đang chạy. Mọi thứ dường như ổn ở cấp độ này - không có sự cố hoặc tiến trình treo rõ ràng nào.
    

2. Kiểm tra nhật ký: Vì tất cả các tiến trình dường như đang chạy trơn tru, chúng tôi chuyển sang các nhật ký được quản lý bởi Supervisord. Đó là nơi chúng tôi thấy một mô hình lặp lại: ứng dụng bị chấm dứt một cách ngẫu nhiên. Và trong nhật ký lỗi của chúng tôi, chúng tôi đã tìm thấy các mục cụ thể này:

   RuntimeError: reentrant call inside <_io.BufferedWriter name='<stderr>'> </stderr>

   
   Cùng với đó, chúng tôi liên tục thấy:

   Worker with pid %s was terminated due to signal %s

   
   Với sự kết hợp của các lỗi "reentrant" và việc chấm dứt worker này, có vẻ như chúng tôi gặp phải sự kết hợp của các vấn đề về bộ nhớ, xung đột Gunicorn và lỗi ghi nhật ký. Nhưng chúng tôi cần thêm thông tin.

Tìm hiểu sâu hơn: Nghiên cứu lỗi

Với những manh mối này, chúng tôi bắt đầu tìm kiếm trực tuyến, tìm kiếm các thuật ngữ như "reentrant call inside <_io.BufferedWriter>" và "Gunicorn RuntimeError.” May mắn thay, chúng tôi đã tìm thấy các cuộc thảo luận trên GitHub từ những người khác đã gặp phải vấn đề tương tự. Dưới đây là một vài cuộc thảo luận chính mà chúng tôi đã tham khảo:

• Issue #1509
   
• Issue #2475
   
• Issue #2667
   

Đọc qua những điều này, một vấn đề trở nên rõ ràng: chúng tôi đang chạy một phiên bản Gunicorn lỗi thời - 20.0.1. Phiên bản phát hành mới nhất là 23.0.0, và nó bao gồm các bản sửa lỗi cho việc ghi nhật ký và quản lý tiến trình giải quyết trực tiếp các vấn đề này. Vì vậy, chúng tôi quyết định thử nâng cấp.

Kiểm tra giải pháp

1. Nâng cấp đầu tiên: Thay vì nhảy ngay vào phiên bản mới nhất, chúng tôi đã nâng cấp lên 21.2.0. Chúng tôi muốn thận trọng, vì vậy chúng tôi đã theo dõi ứng dụng một cách chặt chẽ. Sau vài giờ, chúng tôi thấy sự ổn định - không còn sự chấm dứt ngẫu nhiên nữa, và mọi thứ đều hoạt động như mong đợi.
    

2. Sử dụng phiên bản mới nhất: Khi chúng tôi cảm thấy tự tin, chúng tôi đã nâng cấp lên 23.0.0, phiên bản Gunicorn mới nhất (yêu cầu nâng cấp phiên bản Python mới hơn - khó hơn nhưng đáng giá). Và kể từ đó, ứng dụng đã ổn định mà không có một lỗi reentrant nào. Khả năng truy cập ứng dụng của khách hàng của chúng tôi đã trở lại bình thường, và rõ ràng là việc nâng cấp đã giải quyết được vấn đề.

Những gì chúng tôi đã học được

Trải nghiệm này đã làm nổi bật một vài bài học:

1. Nhật ký là manh mối đầu tiên của bạn: Luôn bắt đầu bằng cách xác nhận các tiến trình đang chạy và kiểm tra kỹ lưỡng các nhật ký. Nhật ký thường chứa các gợi ý quan trọng.
    

2. Tìm kiếm các vấn đề tương tự: Khi bạn thấy một lỗi lạ, những người khác có thể đã gặp phải nó. Tìm kiếm trên GitHub với các thuật ngữ cụ thể có thể chỉ cho bạn các cuộc thảo luận hữu ích và đôi khi thậm chí là các giải pháp chính xác.
    

3. Thực hiện nâng cấp chậm rãi: Thay vì nhảy vào phiên bản mới nhất, nên nâng cấp và kiểm tra từng bước. Chúng tôi đã thấy sự cải thiện ngay lập tức với 21.2.0, và cách tiếp cận dần dần đó cho phép chúng tôi đảm bảo sự ổn định trước khi chuyển sang 23.0.0.
    

4. Luôn cập nhật các bản phát hành: Đăng ký các kho lưu trữ GitHub cho các thư viện mà bạn phụ thuộc vào - như Gunicorn - giúp bạn cập nhật các bản cập nhật quan trọng. Đây là một cách đơn giản để tránh những vấn đề đột ngột này.

Kết luận

Khắc phục sự cố sản xuất có thể gây căng thẳng, nhưng việc áp dụng phương pháp từng bước thực sự đã được đền đáp ở đây. Trải nghiệm này đã nhắc nhở chúng tôi về tầm quan trọng của việc giám sát các phụ thuộc và giữ cho chúng được cập nhật. Hy vọng câu chuyện của chúng tôi mang lại cho bạn một vài hiểu biết để giải quyết những thách thức tương tự - hoặc tránh chúng hoàn toàn.