Tampilan pertama OpenAI Sora: YouTuber Marques Brownlee memecahkan masalah dengan model video AI

Salah satu produk terkait AI yang paling ditunggu-tunggu baru saja hadir: generator video AI OpenAI, Sora diluncurkan pada hari Senin sebagai bagian dari perusahaan 12 Hari OpenAI peristiwa.

OpenAI telah memberikan cuplikan keluaran Sora di masa lalu. Tapi, apa bedanya saat peluncurannya? OpenAI tentunya telah bekerja keras untuk memperbarui dan meningkatkan generator video AI-nya sebagai persiapan peluncuran publiknya.

YouTuber Marques Brownlee punya pertama lihat Soramerilis video review produk OpenAI terbarunya beberapa jam sebelum OpenAI secara resmi mengumumkan peluncurannya. Apa yang Brownlee pikirkan?

Apa yang Sora kuasai

Menurut Brownlee, pengujian Sora menemukan bahwa generator video AI unggul dalam menciptakan lanskap. Gambar alam atau lanskap terkenal yang dihasilkan oleh AI dari atas, seperti drone, terlihat seperti rekaman stok di kehidupan nyata. Tentu saja, seperti yang diungkapkan Brownlee, jika Anda benar-benar paham tentang tampilan lingkungan sekitar suatu bangunan terkenal, Anda mungkin bisa melihat perbedaannya. Namun, tidak terlalu banyak yang terlihat jelas dihasilkan oleh AI dalam jenis klip yang dibuat Sora ini.

Mungkin jenis video yang paling mampu dibuat Sora, menurut Brownlee, adalah video abstrak. Seni abstrak berjenis background atau screensaver dapat dibuat dengan cukup baik oleh Sora bahkan dengan instruksi khusus.

Brownlee juga menemukan bahwa jenis konten animasi tertentu yang dihasilkan Sora, seperti animasi jenis stop-motion atau claymation, terkadang terlihat lumayan karena gerakan yang terkadang tersentak-sentak yang masih mengganggu video AI terlihat seperti pilihan gaya.

Yang paling mengejutkan, Brownlee menemukan bahwa Sora mampu menangani visual teks animasi yang sangat spesifik. Kata-kata sering kali muncul sebagai teks kacau dalam model pembuatan gambar dan video AI lainnya. Dengan Sora, Brownlee menemukan bahwa selama teksnya spesifik, ucapkan beberapa kata di kartu judul, Sora mampu menghasilkan visual dengan ejaan yang benar.

Dimana Sora salah

Namun, Sora masih menghadirkan banyak masalah yang sama yang dihadapi oleh semua generator video AI sebelumnya.

Hal pertama yang disebutkan Brownlee adalah kepermanenan objek. Sora mempunyai masalah dalam menampilkan, katakanlah, objek tertentu di tangan seseorang sepanjang durasi video. Terkadang benda tersebut akan bergerak atau tiba-tiba menghilang. Sama seperti teks AI, video AI Sora mengalami halusinasi.

Yang membawa Brownlee ke masalah terbesar Sora: Fisika secara umum. Video fotorealistik nampaknya cukup menantang bagi Sora karena sepertinya tidak bisa mengatur pergerakan dengan benar. Seseorang yang hanya berjalan akan mulai melambat atau mempercepat dengan cara yang tidak wajar. Bagian tubuh atau objek tiba-tiba akan berubah menjadi sesuatu yang sama sekali berbeda pada waktu-waktu tertentu.

Dan, meskipun Brownlee menyebutkan perbaikan tersebut pada teks, kecuali Anda menjelaskannya secara spesifik, Sora masih mengacaukan ejaan teks latar belakang apa pun seperti yang mungkin Anda lihat pada bangunan atau rambu jalan.

Sora masih merupakan pekerjaan berkelanjutan, seperti yang dibagikan OpenAI saat peluncuran. Meskipun mungkin menawarkan peningkatan dari generator video AI lainnya, jelas bahwa ada beberapa area di mana semua model video AI akan menemukan tantangan.