Bản Ghi Chép Đã Nuốt Máy Chủ

Giới thiệu

Log được cho là người bạn đồng hành của bạn: dấu vết để gỡ lỗi, một bản ghi lại những gì đã sai. Nhưng khi sử dụng không cẩn thận, chúng có thể làm quá tải hệ thống của bạn, che khuất các vấn đề thực sự, hoặc thậm chí làm sập ứng dụng của bạn.

Đây là “Bẫy ghi nhật ký”: một tình huống mà chúng tôi tại Glinteco thường gặp phải khi giải cứu các khách hàng có hệ thống đang bị nhấn chìm trong chính nhật ký của họ. Đó là một vấn đề phổ biến, có thể tránh được nhưng lại phân biệt các nhóm chỉ triển khai với những nhóm triển khai với sự tự tin.

Cảnh tượng: Lỗi im lặng, Nhật ký ồn ào

Một ứng dụng Django chạy hoàn hảo trong quá trình phát triển nhưng hoạt động lạ trong sản xuất:

• Lỗi nghiêm trọng không được chú ý. Bị chôn vùi dưới hàng nghìn dòng DEBUG vô nghĩa
   

• Dung lượng đĩa tăng đột biến qua đêm. Tệp nhật ký phình to cho đến khi chúng làm đầy bộ nhớ
   

• Việc sử dụng CPU tăng lên. Máy chủ không phục vụ người dùng; nó đang bị mắc kẹt trong việc ghi nhật ký

Tại thời điểm này, Bẫy Ghi Nhật Ký đã được kích hoạt và điều lẽ ra là người bạn tốt nhất của nhà phát triển lại trở thành kẻ thù tồi tệ nhất của họ.

Ngay cả các công ty lớn cũng đã phải đối mặt với sự gián đoạn do khả năng quan sát kém hoặc các hoạt động ghi nhật ký không được kiểm soát, chứng minh rằng đây không chỉ là vấn đề của các công ty khởi nghiệp nhỏ.

Cách các nhóm rơi vào Bẫy Ghi Nhật Ký

Những sai lầm này có vẻ vô hại nhưng lại có những hậu quả tốn kém:

• Ghi nhật ký quá nhiều lời: Để nhật ký DEBUG trong sản xuất
   

• Nhật ký không có cấu trúc: Đổ dữ liệu văn bản thuần túy mà không có định dạng chuẩn
   

• Không có chính sách xoay vòng hoặc lưu giữ: Tệp nhật ký phát triển mãi mãi
   

• Lỗi ghi nhật ký đệ quy: Vòng lặp đệ quy được kích hoạt bởi việc ghi nhật ký bên trong bộ xử lý ngoại lệ

Đây không chỉ là một sự bất tiện về mặt kỹ thuật, mà thực sự là một vấn đề kinh doanh: thời gian ngừng hoạt động bị mất, người dùng thất vọng và thời gian của nhà phát triển bị lãng phí.

Theo Gartner, các doanh nghiệp đang tăng chi tiêu cho khả năng quan sát và giám sát nhật ký lên hai con số, cho thấy việc bỏ qua những vấn đề này tốn kém như thế nào.

Gỡ lỗi & Khắc phục Bẫy

Đây là cách các nhóm giàu kinh nghiệm (và những gì chúng tôi làm tại Glinteco) giải quyết vấn đề này:

1. Giám sát đĩa & Khối lượng

    

   • du -sh /var/log/* và kiểm tra tốc độ ghi nhật ký phát hiện các vấn đề trước khi chúng bùng nổ.
      

2. Đặt mức độ nhật ký phù hợp

    

   • DEBUG cho phát triển, INFO/WARN cho sản xuất
      

3. Triển khai Ghi nhật ký có cấu trúc

    

   • Nhật ký JSON giúp phân tích bằng ELK/Datadog dễ dàng hơn
      

   • Tại sao nhật ký có cấu trúc đang trở thành tiêu chuẩn mới
      

4. Bật Xoay vòng & Lưu giữ

    

   • RotatingFileHandler của Python hoặc bộ thu gom đám mây giúp nhật ký gọn nhẹ hơn
      

5. Bảo vệ chống lại Đệ quy

    

   • Tránh các vòng lặp ghi nhật ký đệ quy làm sập ứng dụng
      

6. Tập trung Khả năng Quan sát

    

   • Các công cụ như Sentry, Prometheus, hoặc Grafana giúp bạn kiểm soát.

Bài học kinh nghiệm

Log nên làm sáng tỏ các vấn đề, không gây ra các vấn đề mới. Bẫy Ghi Nhật Ký là lời nhắc nhở để xem việc ghi nhật ký như một phần của kiến trúc của bạn, chứ không phải là một ý nghĩ sau này.

Tại Glinteco, chúng tôi đã chuyển đổi các thiết lập nhật ký hỗn loạn, bị sập thành các hệ thống khả năng quan sát hợp lý cho các công ty khởi nghiệp và doanh nghiệp trên khắp Úc, Nhật Bản, Hoa Kỳ và hơn thế nữa. Sứ mệnh của chúng tôi: đảm bảo các nhà phát triển của bạn tập trung vào việc xây dựng các tính năng, không phải là theo đuổi các tệp nhật ký.

Nếu ứng dụng của bạn đang gặp khó khăn vì trọng lượng của chính nhật ký của nó, hãy liên hệ với chúng tôi. Chúng tôi sẽ giúp bạn biến sự hỗn loạn ồn ào thành những hiểu biết rõ ràng và khả thi.