Ulasan ahli tentang keluaran Google Gemini seharusnya berasal dari non-ahli

Seperti model genAI lainnya, respons Google Gemini terkadang tidak akurat, namun dalam kasus ini mungkin karena penguji tidak memiliki keahlian untuk memeriksa faktanya.

Menurut TechCrunch, perusahaan yang disewa untuk meningkatkan akurasi Gemini kini meminta penguji mengevaluasi respons meskipun mereka tidak memiliki “pengetahuan domain”.

Laporan tersebut menimbulkan pertanyaan tentang ketelitian dan standar yang menurut Google berlaku untuk menguji akurasi Gemini. Di bagian “Membangun secara bertanggung jawab” pada pengumuman Gemini 2.0, Google mengatakan pihaknya “bekerja dengan penguji tepercaya dan pakar eksternal serta melakukan penilaian risiko ekstensif serta evaluasi keselamatan dan jaminan.” Ada fokus yang masuk akal dalam mengevaluasi respons terhadap konten sensitif dan berbahaya, namun lebih sedikit perhatian yang diberikan pada respons yang belum tentu berbahaya namun tidak akurat.

Google tampaknya mengabaikan masalah halusinasi dan kesalahan hanya dengan menambahkan penafian bahwa “Gemini dapat membuat kesalahan, jadi periksa kembali,” yang secara efektif membebaskannya dari tanggung jawab apa pun. Namun hal ini belum memperhitungkan manusia yang melakukan pekerjaan di balik layar.

Sebelumnya GlobalLogic, anak perusahaan Hitachi, menginstruksikan para insinyur dan analis cepat untuk melewatkan respons Gemini yang tidak sepenuhnya mereka pahami. “Jika Anda tidak memiliki keahlian penting (misalnya coding, matematika) untuk menilai perintah ini, silakan lewati tugas ini,” kata pedoman yang dilihat oleh outlet tersebut.

Namun minggu lalu, GlobalLogic mengubah instruksinya, dengan mengatakan, “Anda tidak boleh melewatkan perintah yang memerlukan pengetahuan domain khusus,” dan sebagai gantinya “menilai bagian dari perintah yang Anda pahami,” dan perhatikan bahwa mereka tidak memiliki keahlian yang diperlukan dalam hal ini. analisis mereka. Dengan kata lain, keahlian tidak diperlakukan sebagai prasyarat untuk pekerjaan ini.

Kontraktor sekarang hanya dapat melewati perintah yang “benar-benar hilang informasi,” menurut TechCrunch, atau yang berisi konten sensitif yang memerlukan formulir persetujuan.