Deskripsi Pekerjaan
DataTech Indonesia, perusahaan teknologi data terdepan di Asia Tenggara, membuka lowongan untuk Insinyur Apache Spark yang berbakat. Bergabunglah dengan tim kami untuk merancang dan mengimplementasikan solusi big data yang mengubah industri. Kami menawarkan lingkungan kerja dinamis dengan kesempatan untuk mengembangkan sistem data skala enterprise menggunakan teknologi terkini.
Tanggung Jawab Utama: Membangun pipeline data real-time, mengoptimalkan performa cluster Spark, dan berkolaborasi dengan tim data science untuk implementasi model machine learning.
Tanggung Jawab
- Mengembangkan dan memelihara aplikasi Apache Spark untuk pemrosesan data skala besar
- Optimalkan performa job Spark dengan tuning konfigurasi dan resource allocationIntegrasi sistem data dengan platform cloud (AWS/GCP/Azure)
- Berinteraksi dengan tim data science untuk implementasi algoritma ML
- Merancang arsitektur data streaming dengan Spark Streaming/Kafka
- Memonitoring dan troubleshooting cluster Spark produksi
- Dokumentasi teknik dan best practice untuk tim
Kualifikasi
- Pengalaman minimal 3 tahun sebagai insinyur data dengan fokus Apache Spark
- Keahlian kuat dalam Scala/Python dan pemrograman fungsional
- Memahami konsep distribusi sistem dan algoritma paralel
- Pengalaman dengan streaming data (Kafka, Flink) dan batch processing
- Certifikasi AWS/GCP/Azure (Data Engineer/Spark) diutamakan
- Kemampuan analisis kompleks dan pemecahan masalah sistem
- Bahasa Inggris lisan dan tulisan yang baik