Senior AI QA/QC Engineer

Job purpose

Chịu trách nhiệm thiết kế và triển khai hệ thống kiểm soát chất lượng cho các sản phẩm AI từ PoC đến Production, đảm bảo sản phẩm đáp ứng các tiêu chí về hiệu năng, độ tin cậy, tính công bằng, khả năng giải thích và tuân thủ trước khi đưa vào vận hành thông qua:

• Xây dựng khung kiểm thử với “cổng chất lượng” (quality gates) rõ ràng.

• Thiết kế quy trình kiểm thử đánh giá độ chính xác, khả năng giải thích và tính công bằng của mô hình.

• Phát hiện và ngăn ngừa rủi ro trước khi phát hành, tạm dừng roll-out và đề xuất biện pháp khắc phục.

• Phối hợp cùng với AI Engineer, MLOps, PO AI để tích hợp các tiêu chuẩn QC xuyên suốt quá trình phát triển, huấn luyện và triển khai AI.

Job Responsibilities

1. Xây dựng khung kiểm thử AI

• Thiết kế và phát triển khung kiểm thử AI với quality gates cho từng giai đoạn PoC -> Staging -> Production.

• Xác định chỉ số đánh giá phù hợp với sản phẩm AI: hiệu năng, độ tin cậy, tính công bằng, khả năng giải thích, mức độ phù hợp ngữ cảnh.

• Xây dựng cơ chế kiểm thử theo hướng Data – Centric và mở rộng cho multi-agent.

• Liên tục cải tiến khung QC dựa trên dữ liệu Production, phản hồi từ người dùng, DevOps, AI Engineer.

2. Triển khai & vận hành kiểm thử

• Thiết lập và triển khai khung đánh giá rủi ro chất lượng AI: bias, drift, prompt failure, hiện tượng hallucination.

• Xây kịch bản và tổ chức kịch bản kiểm thử AI:

• Tự động: Kiểm thu hồi quy (regression), stress test đầu vào, kiểm thử chống phá (adversarial), kiểm thử thống kế (distributional tests).

• Thủ công: Edge-case detection, kiểm thử trải nghiệm người dùng với đầu ra không cố định.

• Tích hợp toàn bộ quy trình kiểm thử vào chuỗi CI/CD AI first: đảm bảo các bạn cập nhật mô hình đều được kiểm tra chất lượng trước khi triển khai thực tế.

• Tham vấn và hỗ trợ AI Engineer, Data Team chuẩn hoá dữ liệu kiểm thử, lựa chọn ground truth theo từng use case và user segment.

• Liên tục đánh giá hiệu quả Phương pháp, công cụ kiểm thử, nghiên cứu bổ sung giải pháp mới.

3. Đánh giá & ngăn ngừa rủi ro AI

• Phân tích nguyên nhân lỗi: model bias, data drift, prompt failure.

• Đề xuất và phối hợp triển khai các biện pháp remediation: huấn luyện lại mô hình, điều chỉnh prompt, tinh chỉnh tham số.

• Thiết lập quy trình phê duyệt lại trước khi phát hành bản sửa.

4. Giám sát chất lượng Production

• Thiết lập dashboard giám sát realtime toàn bộ hoạt động AI Production với các chỉ số cốt lõi: độ trễ phản hồi (latency), mức xử lý (throughput), tỷ lệ lỗi (error rate), sự bất thường đầu ra …

• Chủ động đưa ra quyết định tạm dừng roll-out hoặc roll-back mô hình khi phát hiện các rủi ro vượt mức an toàn trong quality gate, kích hoạt các quy trình kiểm định lại đối với các model không đạt yêu cầu chất lượng, ảnh hưởng tới người dùng cuối.

5. Phát triển năng lực đội ngũ

• Tổ chức workshop internal về phương pháp kiểm thử AI.

• Soạn thảo tài liệu hướng dẫn, checklist kiểm thử cho từng loại agent.

• Hướng dẫn Tester áp dụng khung kiểm thử AI đã chuẩn hoá, vận hành các công cụ kiểm thử.

Học vấn

Tốt nghiệp Đại học trở lên các chuyên ngành Công nghệ Thông tin, Khoa học Máy tính, Toán học, Thống kê hoặc lĩnh vực liên quan.

Kinh nghiệm

05 năm kinh nghiệm trở lên trong lĩnh vực kiểm soát chất lượng phần mềm (Software Quality Assurance), trong đó có ít nhất 02 năm kinh nghiệm kiểm thử sản phẩm AI (PoC hoặc Production).

Có kinh nghiệm triển khai CI/CD pipelines trong môi trường AI/ML.

Kiến thức & Kỹ năng chuyên môn

Có kiến thức về AI/ML (Supervised/Unsupervised Learning, Reinforcement Learning…).

Am hiểu về Prompt Enginering và kiểm thử prompt, Adversarial testing.

Thành thạo các công cụ test AI: Deepchecks, Alibi Explain, CheckList NLP, synthetic data tools.

Có hiểu biết về AI Ethics và AI Governance.

Năng lực & Kỹ năng mềm

Tư duy phản biện và khả năng phân tích logic tốt.

Kỹ năng giao tiếp, phản hồi và hợp tác nhóm hiệu quả.

Có khả năng tư duy hệ thống và quản lý rủi ro trong quá trình kiểm thử.

Yêu cầu khác

Khả năng học hỏi nhanh, chủ động nghiên cứu và thử nghiệm các giải pháp mới.

Có kinh nghiệm làm việc theo quy trình Agile/Scrum.

Tinh thần cầu tiến, trách nhiệm cao và sẵn sàng thích nghi với công nghệ mới.