Apple telah memperkenalkan MGIE, model AI sumber terbuka yang menyunting imej menggunakan arahan bahasa, memanfaatkan model bahasa besar berbilang mod (MLLM) untuk manipulasi tahap piksel. Dibangunkan dengan kerjasama penyelidik UC Santa Barbara, MGIE telah dibentangkan di International Conference on Learning Representations (ICLR) 2024, menunjukkan keberkesanan dalam meningkatkan metrik sambil mengekalkan kecekapan inferens.
Berdasarkan MLLM, MGIE meningkatkan penyuntingan imej berasaskan arahan dengan memperoleh arahan yang jelas daripada input pengguna dan menjana imaginasi visual untuk membimbing manipulasi tahap piksel. Ia disepadukan ke dalam skim latihan hujung ke hujung yang mengoptimumkan terbitan arahan, imaginasi visual dan modul penyuntingan imej.
MGIE menawarkan keupayaan menyunting serba boleh daripada pelarasan warna mudah kepada manipulasi objek yang kompleks termasuk pengubahsuaian gaya Photoshop, pengoptimuman foto global dan penyuntingan tempatan. Ia tersedia sebagai projek sumber terbuka di GitHub dengan buku nota demo yang mempamerkan penggunaan dan demo dalam talian pada Hugging Face Spaces untuk ujian.
Pengguna juga boleh memberikan maklum balas untuk memperhalusi suntingan dan menyepadukan MGIE ke dalam pelbagai aplikasi yang memerlukan fungsi penyuntingan imej. Kongsi pendapat anda di Facebook kami dan teruskan bersama Rakan Teknologi Utama Malaysia untuk berita teknologi terkini.
Sumber: Venture Beat/ arxiv
