Meta yang berbasis di AS mengumumkan model open-weight “Muse Spark Open” pada Kamis waktu setempat. Model ini memiliki 816 miliar parameter dan jendela konteks sebesar 1 juta token, serta dirancang untuk dijalankan secara lokal di komputer Apple. Model ini sudah mulai tersedia melalui sejumlah platform API.
Berjalan di Mac, tetapi belum tentu di Mac milik Anda
Mendengar istilah “AI yang berjalan di Mac”, kita mungkin membayangkan bisa mengunduhnya dan mencobanya di laptop yang sedang digunakan. Namun, kali ini kenyataannya tidak sesederhana itu. Menurut laporan, menjalankan model sebesar 816 miliar parameter secara lokal membutuhkan setidaknya 1 TB memori. Angka ini satu tingkat di atas kapasitas memori laptop pada umumnya.
Lingkungan yang disebut paling ideal adalah Mac Studio dengan chip M5 Ultra. Model ini menunjukkan bahwa yang ditawarkan Meta bukan kemudahan penggunaan, melainkan pilihan untuk menangani model raksasa di perangkat yang ada di meja sendiri, tanpa menyerahkannya ke cloud.
Meski demikian, fakta bahwa “pilihan ini tersedia” bukan hal sepele. Selama ini, model berukuran sangat besar berada di balik pusat data. Kini, model seperti itu mulai hadir di perangkat desktop. Meski persyaratan untuk menjalankannya tinggi, arah perkembangan ini patut diperhatikan.
Dari AI penulis kode menjadi AI yang memahami video
Muse Spark Open dirancang sebagai model multimodal native yang mampu menangani gambar dan jenis data lainnya, serta ditujukan untuk pekerjaan pengodean yang kompleks dan tugas berbasis agen. Tugas berbasis agen adalah jenis penggunaan ketika AI tidak berhenti setelah menjawab satu pertanyaan, tetapi menyusun beberapa langkah sendiri untuk menyelesaikan pekerjaan.
Meta mengatakan model ini dipadukan dengan terminal pengodean AI miliknya, “Muse Code”, lalu digunakan untuk berbagai alur kerja berbasis agen. Salah satu contohnya adalah memperbaiki klien untuk jejaring sosial terdesentralisasi “Mastodon”. Menurut Meta, model ini menangani seluruh proses, mulai dari memperbaiki bug dan menambahkan fitur baru hingga melakukan build.
Model ini juga digunakan untuk mengoperasikan perangkat lunak penyunting video “DaVinci Resolve”, termasuk meninjau materi dan melakukan crop (pemotongan). Dari dunia kode hingga perangkat penyunting video profesional, situasi ketika AI mengoperasikan aplikasi di layar semakin meluas.
Yang menurut saya menarik, kedua contoh ini sama-sama melibatkan pekerjaan di desktop. AI yang semula hanya memberikan jawaban melalui jendela chat kini menjadi seperti rekan kerja yang ikut beraktivitas di depan PC. Mungkin inilah salah satu alasan di balik fokus pada penggunaan lokal di Mac.
Nilai open-weight tidak hanya ditentukan oleh performa
Berdasarkan hasil evaluasi yang dipublikasikan, Meta mengklaim bahwa performa model ini melampaui model open-weight utama lainnya. Meta juga menyebutnya sebagai model open-weight dengan performa tertinggi di AS.
Namun, arti penting model open-weight tidak bisa dijelaskan hanya lewat peringkat. Karena bobot—yakni isi model yang telah dilatih—dipublikasikan, model ini cenderung lebih menguntungkan dari segi biaya dibandingkan model tertutup. Transparansi cara kerjanya dan fleksibilitas penggunaannya juga lebih mudah dipastikan.
Perusahaan dihadapkan pada pilihan: menggunakannya dengan mudah melalui API atau menjalankannya di lingkungan sendiri. Pilihan pertama lebih cepat diterapkan, sedangkan pilihan kedua memungkinkan data tetap berada di dalam perusahaan. Angka 1 TB memang menjadi kendala besar, tetapi perusahaan yang menangani pengembangan dengan informasi sangat rahasia atau materi video mungkin akan menilai investasinya sepadan.
Muse Spark Open menambah satu pertimbangan dalam pengambilan keputusan tersebut. Coba melalui API, lalu jalankan secara lokal jika diperlukan. Pola penggunaan dua tahap seperti ini mungkin akan menjadi cara yang umum untuk memanfaatkan AI open-weight ke depannya.
コメント