Yerli yapay zekâ modeli Türkçede sınavı geçti, uzun metinde zorlanıyor

Model kısa soru cevapta beklentiyi karşılıyor. Testi yapan ekibin asıl not düştüğü yer uzun belgeler: on sayfayı geçen metinlerde özet doğru başlıyor, sonlara doğru ayrıntıları karıştırıyor.

Türkçenin eklemeli yapısı burada belirleyici. İngilizce için ayarlanmış ölçütler, aynı cümlenin Türkçe karşılığında farklı sonuç veriyor.

Üretici tarafı bu konularda genellikle konuşmuyor. Sessizliğin kendisi de artık bir bilgi sayılıyor.

Test nasıl yapıldı

Bağımsız testlerin sonuçları laboratuvar koşullarında alınıyor. Günlük kullanımda tablo biraz daha gerçekçi çıkıyor.

Güvenlik tarafında kural değişmedi: en zayıf halka hiçbir zaman yazılım değil, acele eden kullanıcı oluyor.

Eksik kalan taraf

Yaygınlaşma hızını belirleyecek olan teknoloji değil, eski cihazların ne kadar süre destekleneceği.

Ekip, modelin kamuda evrak özeti gibi işlerde kullanılmadan önce uzun metin testinin tekrarlanması gerektiğini söylüyor. Sonuç fena değil, ama henüz insan kontrolünü kaldıracak seviyede değil.