Deskripsi Pekerjaan
Jadilah bagian dari revolusi AI! Kami mencari Evaluator Model Bahasa berbakat untuk meningkatkan kualitas model bahasa generatif di pasar Indonesia. Bergabunglah dengan tim kami yang inovatif dan berkontribusi pada pengembangan solusi AI yang memengaruhi jutaan pengguna.
Dalam peran ini, Anda akan mengevaluasi respons model bahasa berdasarkan akurasi, relevansi, dan keamanan. Anda akan bekerja dengan tim R&D untuk mengidentifikasi pola dan memberikan wawasan kritis yang mengarah pada peningkatan model.
Tanggung Jawab
- Evaluasi respons model bahasa berdasarkan kriteria kualitas yang ditetapkan (akurasi, relevansi, keamanan, dan kekayaan budaya)
- Menyusun laporan evaluasi terstruktur dengan feedback konstruktif untuk tim pengembangan
- Mengidentifikasi bias, stereotipe, dan potensi konten berbahaya dalam respons model
- Bekerja sama dengan ahli bahasa untuk memastikan konteks dan nuansa lokal yang akurat
- Melatih model berdasarkan feedback evaluasi untuk meningkatkan performa
- Memelihara database evaluasi dan menganalisis tren kesalahan model
Kualifikasi
- Sarjana dalam Linguistik, Ilmu Komputer, atau bidang terkait
- Pengalaman minimal 2 tahun dalam evaluasi AI atau model bahasa
- Kemahiran tinggi dalam Bahasa Indonesia dan Bahasa Inggris (lisan dan tulisan)
- Pemahaman mendalam tentang dinamika sosial dan budaya Indonesia
- Kemampuan analitis yang kuat dan perhatian terhadap detail
- Kemampuan bekerja mandiri dengan manajemen waktu yang efektif
- Keahlian dalam alat evaluasi AI seperti Anthropic Constitutional AI