Network
Dalam istilah sederhana, model bahasa penglihatan tidak hanya dapat memproses layar smartphone dengan beberapa elemen yang mewakili informasi yang berbeda tetapi juga dapat memberi tahu pengguna tentangnya ketika diminta dengan pertanyaan.
Berdasarkan gambar yang dibagikan dalam makalah, model tersebut dapat memahami dan mengklasifikasikan widget serta mengenali ikon-ikon.
Baca Juga: Pembaruan One UI 6.1: Fitur Kecerdasan Buatan Samsung Meluas ke Lebih Banyak Perangkat!
Model juga dapat menjawab pertanyaan seperti "Dimana ikon peluncuran" dan "Bagaimana cara membuka aplikasi Pengingat".
Hal ini menunjukkan bahwa AI tidak hanya mampu menjelaskan layar yang dilihatnya, tetapi juga dapat menavigasi ke bagian-bagian yang berbeda dari iPhone berdasarkan permintaan.
Untuk melatih Ferret UI, peneliti Apple membuat data dengan berbagai tingkat kompleksitas sendiri. Ini membantu model dalam mempelajari tugas-tugas dasar dan memahami proses satu langkah.
Baca Juga: WhatsApp Siapkan Fitur Baru: Edit Foto Otomatis dengan Kecerdasan Buatan!
"Untuk tugas-tugas lanjutan, kami menggunakan GPT-4 [40] untuk menghasilkan data, termasuk deskripsi detail, persepsi percakapan, interaksi percakapan, dan inferensi fungsi.
"Tugas-tugas lanjutan ini mempersiapkan model untuk terlibat dalam diskusi yang lebih halus tentang komponen visual, merumuskan rencana tindakan dengan tujuan tertentu, dan menafsirkan tujuan umum dari sebuah layar," paparannya menjelaskan.
Makalah tersebut menjanjikan, dan jika lulus tahap tinjauan rekan, Apple mungkin dapat memanfaatkan kemampuan ini untuk menambahkan alat-alat kuat ke iPhone yang dapat melakukan tugas navigasi UI yang kompleks dengan instruksi teks atau verbal yang sederhana. Kemampuan ini tampaknya ideal untuk Siri.***
