Teknologi AI Terbaru: Agentic Video Understanding untuk Analisis Video yang…

Analisis video panjang seringkali menjadi biaya terbesar bagi perusahaan atau developer yang membangun aplikasi berbasis kecerdasan buatan. Biasanya, proses ini memakan energi komputasi yang sangat besar hingga menguras anggaran, sementara hasil akhirnya seringkali kurang memuaskan karena AI sering melewatkan detail penting di detik-detik tertentu. Google baru saja memperkenalkan solusi baru bernama Agentic Video Understanding yang dikembangkan untuk model Gemini. Fitur ini bertujuan untuk memperbaiki akurasi analisis sambil secara drastis mengurangi biaya yang dikeluarkan, menjadikannya pilihan utama bagi siapa saja yang ingin memproses konten video secara efisien.

Solusi ini tidak hanya sekadar fitur tambahan, melainkan perubahan fundamental dalam cara AI memproses media. Sebelumnya, model AI biasanya hanya memproses video dengan kecepatan tetap, mirip seperti menonton rekaman CCTV yang berjalan pelan-pelan. Dengan fitur baru ini, AI bisa berperan aktif, menentukan sendiri bagian video mana yang perlu diperhatikan dan pada kecepatan berapa. Ini membuat pekerjaan analisis video menjadi jauh lebih efisien dan menghemat sumber daya secara signifikan.

Pengenalan Agentic Video Understanding

Anda mungkin sudah familiar dengan model-model AI berbasis teks atau gambar, namun pengembangan terbaru ini fokus pada kemampuan pemahaman video yang lebih dalam. Agentic Video Understanding adalah fitur baru yang diluncurkan oleh Google untuk model Gemini 3.7 Flash, 3.6 Flash, dan 3.5 Flash-Lite. Fitur ini memungkinkan model untuk melakukan pemindaian dinamis pada segmen video tertentu, yang secara langsung meningkatkan akurasi analisis tanpa harus memproses seluruh video secara penuh.

Istilah "Agentic" di sini merujuk pada kemampuan model untuk bertindak seperti agen yang memiliki tujuan, bukan sekadar mesin yang memproses data secara pasif. Dalam konteks ini, model AI tidak hanya menunggu perintah untuk menganalisis video, melainkan secara otomatis mendeteksi bagian mana yang relevan dengan pertanyaan yang diajukan. Fitur ini sering disebut sebagai lanjutan dari konsep Agentic Vision, yang sudah digunakan sebelumnya untuk pemrosesan gambar. Sekarang, konsep tersebut diperluas ke ranah video, memberikan kemampuan yang lebih kaya untuk memahami konten visual dan suara sekaligus.

Perbedaan Mendasar: Static vs. Agentic Processing

Untuk memahami kehebatan fitur ini, Anda perlu melihat bagaimana sistem lama bekerja dibandingkan dengan sistem baru ini. Metode lama yang sering disebut sebagai static processing bekerja dengan mengonsumsi aliran media pada kecepatan baca tetap. Secara default, model akan mengambil satu gambar (frame) per detik (1 FPS) dari video tersebut. Ini berarti jika Anda memiliki video berdurasi satu jam, model akan menganalisis 3.600 gambar secara berurutan.

Metode ini memiliki kelemahan besar. Pertama, kecepatan 1 FPS seringkali terlalu lambat untuk mendeteksi perubahan yang terjadi sangat cepat. Kedua, karena model harus memproses setiap frame, penggunaan "token" yang sangat tinggi akan terjadi. Token dapat dipahami sebagai satuan data atau mata uang dalam sistem AI yang menentukan seberapa mahal sebuah proses komputasi. Dengan fitur Agentic Video Understanding, model tidak lagi terikat pada batasan tersebut. Model dapat menggunakan alat video bawaan Gemini untuk memindai, memeriksa, dan menyelidiki segmen video target secara dinamis di seluruh visual frame, audio, dan transkrip.

Analisis Biaya dan Efisiensi

Berikut adalah data yang sangat menarik yang ditawarkan oleh fitur ini. Berdasarkan pengujian pada berbagai benchmark analisis video, model Gemini dengan fitur Agentic Video Understanding berhasil menurunkan penggunaan token hingga 88% dan mengurangi biaya analisis hingga 66%. Di sisi lain, akurasi analisis bahkan meningkat hingga 7%.

Angka-angka ini sangat penting bagi Anda yang bekerja dengan video panjang, seperti panduan "how-to" selama 10 menit, kuliah selama 90 menit, atau rekaman multi-jam. Dengan metode statis, pengembang seringkali terjebak antara harus memilih biaya yang tinggi atau strategi yang mengorbankan detail penting. Dengan Agentic Video Understanding, Anda dapat mengaktifkan fitur ini dan melihat pengurangan token yang drastis sambil akurasi meningkat. Model yang memberikan keseimbangan terbaik antara kualitas dan efisiensi biaya adalah Gemini 3.7 Flash, yang menempatkan dirinya pada "pareto frontier" (garis batas efisiensi) untuk analisis video.

Fitur Unggulan dan Penggunaan Nyata

Kemampuan Agentic Video Understanding ini membuka banyak peluang baru dalam berbagai aplikasi. Berikut adalah beberapa penggunaan utama yang didukung oleh fitur ini:

Sub-second moment retrieval: Fitur ini memungkinkan Anda menemukan perubahan keadaan dalam hitungan detik atau bahkan milidetik. Ini sangat berguna untuk pemotongan video otomatis yang presisi, karena AI dapat menemukan batas potongan yang ketat yang seringkali terlewatkan saat memproses dengan kecepatan lambat.
Long-form needle-in-a-haystack search: Bayangkan Anda memiliki video berdurasi beberapa jam dan ingin mencari jawaban atas pertanyaan spesifik di dalamnya. Dengan fitur ini, AI dapat menjawab pertanyaan kompleks ini tanpa harus menghabiskan jutaan token dengan memindai hanya bagian konteks yang relevan.
Anomaly detection: AI dapat mengambil ulang jendela waktu yang menarik untuk diperiksa dengan kecepatan baca (FPS) yang lebih tinggi. Ini sangat berguna untuk mendeteksi anomali, seperti pergerakan cepat atau artefak visual yang tidak biasa dalam rekaman keamanan atau industri.
Counting action & object: Anda dapat memantau gerakan fisik atau objek tertentu secara akurat dari waktu ke waktu. Misalnya, menghitung jumlah pelanggan yang masuk ke dalam toko atau jumlah bola yang dilempar dalam pertandingan olahraga.

Cara Mengaktifkan Agentic Video Understanding

Anda tidak perlu melakukan perubahan drastis pada infrastruktur yang sudah ada untuk menggunakan fitur ini. Agentic Video Understanding tersedia melalui Gemini API di Google AI Studio dan Gemini Enterprise Agent Platform. Yang perlu Anda lakukan hanyalah mengatur konfigurasi pengolahan (processing) menjadi "agentic" di bagian API configuration.

Google menyatakan bahwa fitur ini menggunakan harga token standar tanpa biaya fitur tambahan. Ini berarti Anda tidak dikenakan biaya ekstra untuk mengaktifkan fitur cerdas ini. Untuk memastikan Anda memahami cara kerjanya, Google menyediakan contoh kode sederhana menggunakan Python. Anda cukup mengatur parameter processing pada input video menjadi "agentic". Dengan konfigurasi ini, model akan secara otomatis menjalankan "agentic loop" yang memanggil alat internal untuk memuat bagian video yang relevan, sehingga mengurangi pengembangan overhead yang sebelumnya harus dilakukan secara manual.

Integrasi Masa Depan ke Produk Google

Pengembangan fitur ini bukan hanya untuk penggunaan teknis di kalangan developer, melainkan juga untuk pengalaman pengguna akhir. Google berencana memperluas manfaat efisiensi dan kualitas ini ke miliaran pengguna melalui berbagai produk mereka. Fitur ini akan terintegrasi ke dalam aplikasi Gemini dan fitur baru "Ask YouTube" di YouTube.

Ini berarti, di masa depan, Anda mungkin akan melihat kemampuan untuk menanyakan pertanyaan spesifik tentang video YouTube dan mendapatkan jawaban yang lebih cepat serta lebih akurat tanpa harus menonton video tersebut secara manual. Tim yang berada di balik pengembangan fitur ini mencakup nama-nama besar dari Google DeepMind dan Google Research, menandakan bahwa ini adalah prioritas strategis dalam pengembangan kemampuan AI Google.