أمس
مهندس بيانات أول (سبارك)
SSC HR Solutions · Cairo, Cairo Governorate, Egypt
Workableقدّم عبر موقع الشركة
Remote
Senior
نبذة عن الوظيفة
الوصف إنشاء وتشغيل خطوط أنابيب بيانات مجمعة واسعة النطاق، مما يحافظ على المهام بسرعة وبأسعار معقولة مع نمو أحجام البيانات. يعمل مع Apache Spark لبناء وإدارة مهام معالجة البيانات واسعة النطاق، بما في ذلك ضبط الأداء للحفاظ على تنفيذ خطوط الأنابيب بكفاءة وموثوقية. يدعم نمذجة البيانات للتحليلات وينظم البيانات في البحيرة بحيث تكون قابلة للاستخدام في اتجاه مجرى النهر. يتعامل مع الجدولة الآلية والمراقبة وفحوصات جودة البيانات، أثناء العمل مع فرق النظام الأساسي والمنتج في تدفقات البيانات الشاملة.
المتطلبات
المتطلبات
- استخدام قوي لـ Apache Spark بما في ذلك ضبط الأداء، وليس استخدام Spark من خلال جهاز كمبيوتر محمول مُدار فقط.
- نمذجة البيانات للتحليلات وتنظيم البيانات في البحيرة بحيث تكون قابلة للاستخدام في اتجاه مجرى النهر.
- الجدولة الآلية، والرصد، والتحقق من جودة البيانات.
- يعمل مع فرق النظام الأساسي والمنتجات على تدفقات البيانات نهاية إلى نهاية.
- Apache Iceberg أو تنسيقات الطاولة المفتوحة الأخرى.
- Trino أو محركات الاستعلام المماثلة.
- في أماكن العمل أو تجربة المجموعة المدارة ذاتيا.
المسؤوليات
1Requirements
2Strong hands on Apache Spark including performance tuning, not Spark usage through a managed notebook only.
3Data modelling for analytics and organising data in a lakehouse so it is usable downstream.
4Automated scheduling, monitoring, and data quality checks.
5Works with platform and product teams on end to end data flows.
6Apache Iceberg or other open table formats.
7Trino or similar query engines.
8On premises or self managed cluster experience.
المتطلبات
1Strong hands on Apache Spark including performance tuning, not Spark usage through a managed notebook only.
2Data modelling for analytics and organising data in a lakehouse so it is usable downstream.
3Automated scheduling, monitoring, and data quality checks.
4Works with platform and product teams on end to end data flows.
5Apache Iceberg or other open table formats.
6Trino or similar query engines.
7On premises or self managed cluster experience.
المهارات والوسوم
EngineeringEGData Analysis
