أول أمس
مهندس جودة الذكاء الاصطناعي (العقد)
Side · Hyderabad, Telangana, India
Workableقدّم عبر موقع الشركة
Contract
Onsite
نبذة عن الوظيفة
مهندس جودة الذكاء الاصطناعي
الموقع :- حيدر أباد وضع العمل:-WFO (5 أيام في الأسبوع) نوع الدور: - تعاقدي (3 أشهر ويعتمد التمديد على متطلبات المشروع والأداء)
المسؤوليات الرئيسية
- اختبار والتحقق من صحة الرؤى والتوصيات وسير عمل اتخاذ القرار التي تم إنشاؤها بواسطة الذكاء الاصطناعي.
- تقييم أنظمة LLM وRAG للتأكد من دقتها وأهميتها والاتساق والواقعية والهلوسة.
- التحقق من صحة جودة الاسترجاع، وملاءمة السياق، والتأريض، وجودة الاستجابة في أنظمة RAG.
- اختبار وكلاء الذكاء الاصطناعي وسير العمل المستقل عبر السيناريوهات الوظيفية والسلبية وحالة الحافة.
- تحديد معايير تقييم الذكاء الاصطناعي، ومجموعات بيانات الاختبار، ومقاييس الجودة، وعمليات التحقق من الصحة.
- إجراء اختبار الانحدار للنماذج والمطالبات وتكوينات RAG وسير عمل الذكاء الاصطناعي.
- التعاون مع مهندسي الذكاء الاصطناعي/تعلم الآلة لتحديد المشكلات وتحسين جودة نظام الذكاء الاصطناعي.
المتطلبات
المهارات المطلوبة
- فهم قوي للذكاء الاصطناعي/التعلم الآلي واختبار الذكاء الاصطناعي التوليدي.
- التدريب العملي على الخبرة في اختبار التطبيقات المستندة إلى LLM وRAG.
- المعرفة بتقييم LLM، والكشف عن الهلوسة، وأهميتها، وجودة الاستجابة.
- فهم وكلاء الذكاء الاصطناعي وأنظمة التوصية.
- مهارات تحليلية وحل المشكلات قوية.
جيد أن يكون
- تجربة مع PyTest وأطر الاختبار الآلي.
- خبرة في بناء أطر تقييم وانحدار الذكاء الاصطناعي الآلية.
- الإلمام بأدوات مثل RAGAS، DeepEval، LangSmith، أو ما يعادلها.
- تجربة مع أتمتة الاختبار المستندة إلى CI/CD، أو اختبار الأداء، أو حواجز الحماية AI.
- الإلمام بالمنصات السحابية (AWS/Azure/GCP) وأدوات المراقبة.
مقاييس النجاح
- دقة عالية، وملاءمة، وموثوقية مخرجات الذكاء الاصطناعي.
- تغطية تقييم قوية عبر مسارات عمل الذكاء الاصطناعي المهمة.
- الاكتشاف المبكر والحد من الهلوسة وتراجعات الذكاء الاصطناعي.
- انخفاض مشاكل جودة الإنتاج AI.
- زيادة الثقة في الرؤى والتوصيات التي ينشئها الذكاء الاصطناعي.
المسؤوليات
1Test and validate AI-generated insights, recommendations, and decision-making workflows.
2Evaluate LLM and RAG systems for accuracy, relevance, consistency, factuality, and hallucinations.
3Validate retrieval quality, context relevance, grounding, and response quality in RAG systems.
4Test AI agents and autonomous workflows across functional, negative, and edge-case scenarios.
5Define AI evaluation criteria, test datasets, quality metrics, and validation processes.
6Perform regression testing for models, prompts, RAG configurations, and AI workflows.
7Collaborate with AI/ML engineers to identify issues and improve AI system quality.
8AI Quality Engineer
المتطلبات
1Strong understanding of AI/ML and Generative AI testing.
2Hands-on experience testing LLM and RAG-based applications .
3Knowledge of LLM evaluation, hallucination detection, relevance, and response quality.
4Understanding of AI agents and recommendation systems.
5Strong analytical and problem-solving skills.
6Experience with PyTest and automated testing frameworks.
7Experience building automated AI evaluation and regression frameworks.
8Familiarity with tools such as RAGAS, DeepEval, LangSmith, or equivalent.
9Experience with CI/CD-based test automation, performance testing, or AI guardrails.
10Familiarity with cloud platforms (AWS/Azure/GCP) and observability tools.
11High accuracy, relevance, and reliability of AI outputs.
12Strong evaluation coverage across critical AI workflows.
13Early detection and reduction of hallucinations and AI regressions.
14Reduced production AI quality issues.
المهارات والوسوم
Quality AssuranceINAWSAzureAIQA
