Data engineer

קצת על התפקיד:

• השתלבות בצוות Data בפרויקטים מתקדמים בתחום ה-AI
• קליטה, עיבוד וניתוח של כמויות גדולות של נתונים בשיתוף פעולה עם Data Scientists
• תכנון ופיתוח תהליכי Data מורכבים וקריטיים בסביבות Cloud ו-On-Prem
• פיתוח ואופטימיזציה של תהליכים לעיבוד והעברת Large Scale Data
• עבודה עם Spark, Python וכלי Data Pipelines כגון Airflow ו-Kubeflow
• עבודה בסביבות AWS ובטכנולוגיות Docker, Linux, CI/CD ו-Kubernetes

מה אנחנו מחפשים?

• לפחות 3 שנות ניסיון כ-Data Engineer – חובה
• לפחות 3 שנות ניסיון ב-Python ובשפות Object-Oriented Programming – חובה
• ניסיון מעשי עם Spark לעיבוד Large Scale Data – חובה
• תואר במדעי המחשב, הנדסה, מתמטיקה או סטטיסטיקה – חובה
• לפחות שנתיים ניסיון ב-AWS עם Athena, Glue, Step Functions, EMR, Redshift או RDS – יתרון משמעותי
• ניסיון בתכנון, פיתוח ואופטימיזציה של פתרונות לעיבוד כמויות גדולות של נתונים, כולל Partitions ופורמטים כגון Parquet, Avro, HDF5 ו-Delta Lake
• ניסיון עם Docker, Linux, CI/CD, Kubernetes וכלי Data Pipelines כגון Airflow ו-Kubeflow
• הבנה של מושגים ותהליכים בתחום Machine Learning