Apple araştırmacıları, ekrandaki öğelere yapılan bilinmeyen referansların yanı sıra konuşma ve art plan bağlamını da anlayabilen ReALM (Reference Resolution As Language Modeling) isimli yapay zekasını geliştirdi. ReALM, bunların yanı sıra Siri gibi sesli asistanlarla daha doğal etkileşimlere imkan tanıyan yeni bir yapay zeka sistemi olarak nitelendiriliyor. Ek olarak aracın, OpenAI tarafından geliştirilen GPT-4’ten daha küçük ve daha hızlı olduğunun altı çiziliyor. Apple’dan ReALM yapay zekası
Araştırma makalesine nazaran Apple ReALM ismi verilen sistem, ekrandaki görsel öğelere yapılan atıfları (“bu” yahut “şu” gibi) anlamak da dahil olmak üzere karmaşık referansları saf bir lisan modelleme sorununa dönüştürmek için büyük lisan modellerinden yararlanıyor. Bu da ReALM’in mevcut prosedürlere kıyasla kıymetli performans kazanımları elde etmesini sağlıyor.
Kullanıcılar, Siri üzere akıllı asistanlarla konuşurken art plandaki vazifeler yahut o an ekranda bulunan bilgilerle ilgili bağlamsa referanslar verebilir. Klasik ayrıştırma teknikleri inanılmaz derecede büyük modellere ve fotoğraflar üzere referans gereçlerine dayanırken Apple ise her şeyi metne dönüştürerek daha kolay bir yaklaşımda bulunuyor. 
Böylece ReALM, daha az parametre ile GPT-4’e emsal performanslar sergileyebiliyor. Bu da iPhone üzere donanımsal olarak sonlu aygıtlarda aracın önünü açıyor. ReALM’de kullanılan parametrelerin artırılmasıyla ise GPT-4’ten kıymetli ölçüde daha yeterli performans ortaya koymasını sağladığı da araştırma da gösteriliyor. Üstte dediğimiz üzere, bu performans farkı iki modelin temel farkından kaynaklanıyor. GPT-4, ekrandaki bilgileri anlamak için manzara ayrıştırmaya dayanırken ReALM, metin odaklı yaklaşım tercih ediyor.
ReALM’in küçük bir model olması onu daha az halüsinasyona meyilli hale de getiriyor. Şimdilik ReALM’in hangi formda kullanılacağı bilinmeyen lakin en temel kullanım senaryosu Siri’ye dahil edilmesi. Örnek kullanım senaryosu olarak, bir web sitesinde gezinirken Siri’ye “işletmeyi ara” demeniz ve akabinde ReALM sayesinde Siri’nin sayfada bulunan işletme numarasını tespit ederek arama başlatması verilebilir. Yine de araştırmacılar, ekranların otomatik ayrıştırılmasına güvenmenin sınırlamaları olduğu konusunda uyarıyor. Birden fazla imaj ortasında ayrım yapmak üzere daha karmaşık görsel referansların ele alınması, muhtemelen bilgisayarla görü ve çok modlu tekniklerin dahil edilmesini gerektirecek.
