Network
ZONA PRIANGAN - Peneliti Apple telah menerbitkan satu lagi makalah tentang model kecerdasan buatan (AI), dan kali ini fokusnya adalah memahami dan menavigasi antarmuka pengguna (UI) smartphone. Makalah penelitian yang belum ditinjau oleh rekan tersebut menyoroti sebuah model bahasa besar (LLM) yang disebut Ferret UI, seperti dilaporkan oleh laman Gadget 360.
Ferret UI diklaim dapat melampaui penglihatan komputer tradisional dan memahami layar smartphone yang kompleks.
Perlu dicatat, ini bukanlah makalah pertama tentang AI yang diterbitkan oleh divisi penelitian raksasa teknologi tersebut. Mereka sudah menerbitkan makalah tentang LLM multimodal (MLLM) dan lainnya tentang model AI di perangkat.
Baca Juga: Keajaiban Kecerdasan Buatan: Penghasilan Fantastis Model AI di Fanvue
Versi pra-cetak dari makalah penelitian telah diterbitkan di arXiv, sebuah repositori online akses terbuka untuk makalah ilmiah. Makalah tersebut berjudul "Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs" dan berfokus pada memperluas penggunaan MLLMs.
Makalah tersebut menyoroti bahwa kebanyakan model bahasa dengan kemampuan multimodal tidak dapat memahami lebih dari gambar alami dan memiliki keterbatasan fungsional.
Makalah tersebut juga menyatakan perlunya model AI untuk memahami antarmuka yang kompleks dan dinamis seperti yang ada di smartphone.
Baca Juga: Google Maps Terbaru: Daftar Rekomendasi, Pengelolaan Tempat, dan Kecerdasan Buatan!
Menurut makalah tersebut, Ferret UI "dirancang untuk menjalankan tugas-tugas merujuk dan grounding yang tepat untuk layar UI, sambil dengan cekatan menafsirkan dan bertindak atas instruksi bahasa yang terbuka".
