Gặp gỡ Nguyễn Công Khoa: Chuyên gia DevOps và chuyên gia thu thập dữ liệu với hơn 14 năm kinh nghiệm

Giới thiệu

Tại Glinteco, sự đổi mới và chuyên môn luôn song hành. Hôm nay, chúng ta hãy cùng tìm hiểu về Nguyễn Công Khoa, một Kỹ sư DevOps đa năng và chuyên gia thu thập dữ liệu chuyên nghiệp với hơn 14 năm kinh nghiệm. Được biết đến với tính cách chủ động, tỉ mỉ và chăm chỉ, Khoa không chỉ là bậc thầy về DevOps mà còn là chuyên gia lão luyện trong lĩnh vực thu thập dữ liệu, với nhiều mẹo để vượt qua việc phát hiện bot và các thách thức reCAPTCHA.

Bộ kỹ năng đa dạng

Tốt nghiệp Đại học Bách khoa Hà Nội với bằng Cử nhân Toán ứng dụng và Tin học, Khoa đã có một sự nghiệp phong phú trải dài qua các lĩnh vực DevOps, kiến trúc hệ thống và thu thập dữ liệu. Kinh nghiệm đa dạng đã giúp ông trở thành một người giải quyết vấn đề, người luôn nỗ lực giải quyết những thách thức kỹ thuật phức tạp.

Những điểm nổi bật trong chuyên môn của Khoa
 

• Thủ lĩnh DevOps: Thành thạo các công cụ như Docker, Ansible, Terraform, và GitLab.Github CI/CD để triển khai hệ thống hiệu quả.
   
• Dịch vụ AWS và Cloud: Thành thạo trong việc xây dựng pipeline, API và dịch vụ trong môi trường đám mây.
   
• Chuyên gia thu thập dữ liệu: Phát triển các kỹ thuật tiên tiến để vượt qua các cơ chế phát hiện bot như reCAPTCHA, đảm bảo việc trích xuất dữ liệu hiệu quả và không bị phát hiện.

Đóng góp cho Glinteco

Kể từ khi gia nhập Glinteco, Khoa đã đóng vai trò quan trọng trong việc nâng cao cả cơ sở hạ tầng DevOps và khả năng thu thập dữ liệu của chúng tôi. Sự hiểu biết sâu sắc về hệ thống backend và tư duy chủ động của ông đã rất hữu ích trong việc cung cấp các giải pháp mạnh mẽ cho khách hàng.

Thành tựu đáng chú ý tại Glinteco
 

• DSTax.com: Thiết kế và triển khai nền tảng tích hợp thuế dựa trên microservices, tối ưu hóa hiệu suất với Kubernetes và Prometheus.
   
• Endeverus.com: Thiết kế pipeline CI/CD để triển khai tính năng mượt mà và tăng cường độ tin cậy của hệ thống. Xây dựng hệ thống tự động mở rộng Celery Worker và tích hợp nhật ký với Datadog.
   
• STLPro.com: Thiết kế và triển khai các bot tiên tiến sử dụng Playwright, Selenium và Puppeteer để tự động hóa các tác vụ như mua hàng tự động, theo dõi vận chuyển, hoàn tất đơn hàng và thông báo qua email trong cửa hàng Amazon.
   
• Hệ thống theo dõi Matomo: Thiết lập hệ thống theo dõi Matomo có khả năng mở rộng bằng Docker và Nginx, tự động mở rộng từ 1 lên 4 ứng dụng theo dõi web để xử lý 50 triệu hành động mỗi tháng. Cũng cấu hình GitHub CI/CD để tự động triển khai.
   
• Chuyên môn thu thập dữ liệu: Triển khai các chiến lược phức tạp để vượt qua reCAPTCHA và phát hiện bot cho các dự án yêu cầu thu thập dữ liệu quy mô lớn.

Mẹo hay từ Khoa: Tránh bị phát hiện là bot

Kinh nghiệm của Khoa trong việc thu thập dữ liệu đã trang bị cho ông các chiến lược tiên tiến để vượt qua những thách thức như phát hiện bot và reCAPTCHA. Dưới đây là một vài hiểu biết mà ông thường chia sẻ:
 

1. Xoay vòng User-Agent động: Ngăn chặn phát hiện bằng cách bắt chước các thiết bị và trình duyệt khác nhau.
    
2. Quản lý Proxy: Sử dụng proxy luân phiên để phân phối các yêu cầu trên nhiều IP.
    
3. Trình duyệt không đầu: Tận dụng các công cụ như Selenium và Playwright để mô phỏng các tương tác giống như con người.
    
4. Cơ chế giải mã ngược: Áp dụng đoạn mã hacky để vượt qua các cơ chế CAPTCHA nâng cao.
    
5. Nhận thức về giới hạn tốc độ: Giữ tốc độ yêu cầu phù hợp với ngưỡng chấp nhận được để tránh kích hoạt các biện pháp phòng chống bot.

Con người đằng sau chuyên môn

Kỹ năng kỹ thuật của Khoa được bổ sung bởi những đặc điểm tính cách nổi bật: linh hoạt, trách nhiệm và trung thực. Cách làm việc tỉ mỉ của ông đảm bảo mọi khía cạnh của dự án đều được tối ưu hóa, trong khi tư duy chủ động thúc đẩy sự đổi mới trên diện rộng.

Kết luận

Chuyên môn kép về DevOps và thu thập dữ liệu của Nguyễn Công Khoa làm cho ông trở thành một thành viên độc đáo và vô cùng quý giá của đội ngũ Glinteco. Cho dù đó là triển khai các hệ thống có khả năng mở rộng hay giải quyết các thách thức reCAPTCHA, kỹ năng và sự tận tâm của Khoa đã giúp ông nổi bật như một người lãnh đạo trong lĩnh vực của mình.

Tuyển dụng chuyên gia devop, quản trị viên chuyên nghiệp - Lên lịch gọi điện với chúng tôi