OpenAI’dan CriticGPT: GPT-4’ün hatalarını GPT-4 bulacak

OpenAI, ChatGPT tarafından üretilen koddaki yanlışları belirlemek için tasarlanmış yeni bir yapay zeka modeli olan CriticGPT‘yi tanıttı. CriticGPT, insanların büyük lisan modeli (LLM) çıktılarını daha hakikat hale getirmelerine yardımcı olan “insan geri bildirimi üzerine destekli öğrenme” (RLHF) sürecinde hataları tespit etmelerine yardımcı olacak.

OpenAI, ChatGPT tarafından oluşturulan programlama kodunu inceleyen insan eğitmenlere yardımcı olmak için CriticGPT’yi geliştirdiklerini söylüyor. Firma, ChatGPT kodunu gözden geçirmek için CriticGPT’den yardım alan insanların, yardım almayanlardan %60 oranında daha yeterli performans gösterdiklerini belirtiyor.

GPT-4’ün kusurları GPT-4’e emanet

CriticGPT, ChatGPT’ye güç veren tıpkı GPT-4 ailesine dayanıyor. Yeni araç kodu tahlil ediyor ve muhtemel kusurlara işaret ederek, insanların aksi takdirde fark edilmeyebilecek yanlışları tespit etmesini kolaylaştırıyor. Araştırmacılar CriticGPT’yi kasıtlı olarak eklenmiş hatalar içeren kod örneklerinden oluşan bir data kümesi üzerinde eğiterek çeşitli kodlama yanılgılarını tanımayı ve işaretlemeyi öğrettiler.

Temelinde böylesi bir araca gereksinim duyulmasının felsefi de bir istikameti bulunuyor. Daha evvel de bahsettiğimiz üzere RLHF müddetinde beşerler yapay zekaların yanlışlarını tespit ederek ince ayarlamaların yapılmasını sağlıyor. Fakat ChatGPT yahut öbür yapay zekalar geliştikçe yaptıkları yanılgılar da giderek azalıyor yahut fark edilemeyecek nüanslarda gerçekleşiyor. Bu noktada da insanların işini zorlaştırıyor. Çünkü model, geri bildirim sağlayan bireyden daha bilgili hale hakikat ilerliyor. OpenAI, temelinde bu zorluğu aşmak için ChatGPT karşılıklarındaki yanlışlıkları vurgulayan tenkitler yazmak üzere CriticGPT’yi oluşturdu.

Yeni modelin tenkitleri, eğitmenler tarafından doğal kusurları içeren hadiselerin yüzde 63’ünde (yukarıda bahsedilen istatistik) ChatGPT’nin kendisi tarafından üretilenlere tercih edildi. Bunun nedeni kısmen yeni eleştirmenin daha az “nitpick” (yardımcı olmayan küçük şikayetler) üretmesi ve daha az sıklıkla halüsinasyon olarak görmesi.

OpenAI birebir vakitte Force Sampling Beam Search (FSBS) ismini verdikleri yeni bir teknik de geliştirdi. Bu prosedür en kolay haliyle CriticGPT’nin daha detaylı kod incelemeleri yazmasına yardımcı oluyor. Araştırmacılar FSBS ile CriticGPT’nin sıkıntıları ararken ne kadar kapsamlı olacağını ayarlayabiliyor, tıpkı vakitte gerçekte var olmayan sıkıntıları ne sıklıkla uydurabileceğini de denetim edebiliyor.

İlginç bir bulgu da var

OpenAI, kod üzerindeki deneylere ek olarak, LLM eleştirmenlerinin genel yardımcı vazifelerde nasıl performans gösterdiğini de araştırdı ve enteresan bir biçimde CriticGPT’nin yeteneklerinin kodun ötesine geçtiğini keşfetti. OpenAI, daha evvel insanlar tarafından kusursuz olarak değerlendirilen ChatGPT eğitim bilgilerinin bir alt kümesinde CriticGPT’yi test etti. Değişik bir halde CriticGPT, buradaki vakaların yüzde 24’ünde yanılgılar buldu. OpenAI, bunun CriticGPT’nin kod dışı vazifelere genelleme potansiyelini gösterdiğini ve dikkatli insan değerlendirmesinin bile gözden kaçırabileceği ince yanılgıları yakalama yeteneğini vurguladığını düşünüyor.

CriticGPT eksiksiz değil

En nihayetinde CriticGPT modeli de GPT-4 üzerinde inşa edilmiş bir yapay zeka. Bu nedende başka tüm modeller üzere CriticGPT’nin de kimi sınırlamaları bulunuyor. Bu sınırlamaların başında modelin halen halüsinasyon görmesi geliyor. CriticGPT daha dar ve kaliteli bir bilgi kümesinde eğitilse de modellerin en doğal çalışma prensipleri nedeniyle daha az yapıyor olsa bile halüsinasyonlardan kurtulamıyor. Haliyle bunlar da insanların yanlış etiketlemeler yapmasına neden oluyor. Şayet bu mevzuda daha fazla bilgi almak istiyorsanız aşağıdaki içeriğimizi kesinlikle okuyunuz: 

Bununla birlikte CriticGPT, oldukça kısa olan ChatGPT karşılıkları üzerinde eğitildi. Bu da uzun ve karmaşık vazifeleri değerlendirmede performansını düşürüyor. Ayrıyeten bazen yanlışlar tek bir yerde olmayabiliyor. CriticGPT, belli bir yerde tespit edilebilen yanlışları belirlemede epey yeterli olsa da gerçek dünyadaki yanılgılar bir yanıtın birçok kısmında olabiliyor. Ek olarak OpenAI, CriticGPT’nin bir yere kadar yardımcı olabileceğini söylüyor. Bir vazife yahut karşılık son derece karmaşıksa, model yardımı alan bir uzman bile bunu hakikat bir halde değerlendiremeyebilir.