Yapay zekâ sohbet botları, bilhassa de ChatGPT, iki bin yirmi ikinin sonundan beri milyonlarca insan için “hızlı bilgiye erişim” aracı haline geldi. Bir soru soruyorsunuz, saniyeler içinde derli toplu bir özet geliyor. Lakin yeni bir araştırma, bu rahatlığın öğrenme kalitesi açısından bir bedeli olabileceğini gösteriyor: ChatGPT üzere büyük lisan modellerine dayanarak öğrenenler, klasik Google aramasıyla bilgi toplayanlara nazaran hususa daha yüzeysel hâkim oluyor.

Araştırmanın müelliflerinden pazarlama profesörü Jin Ho Yun ve meslektaşı, toplamda on binin üzerinde iştirakçinin yer aldığı yedi farklı çalışmanın sonuçlarını tahlil etti. Çalışmalarda, iştirakçiler rastgele iki kümeye ayrıldı: Bir küme bir mevzuyu ChatGPT üzere bir LLM (Büyük lisan modeli) üzerinden, öteki küme ise standart Google aramasıyla, linkleri gezerek öğrendi. 

DENEY NASIL YAPILDI

Katılımcılardan örneğin “sebze bahçesi nasıl kurulur?” üzere bir mevzuda bilgi edinmeleri istendi. Bir kısım, sorularını ChatGPT gibisi bir modele sordu; başkaları ise Google’da arama yapıp çıkan linklere tıkladı, diledikleri kadar gezindi. Her iki kümeye da rastgele bir kısıtlama getirilmedi; istedikleri kadar soru sorup, istedikleri kadar sayfa açabildiler.

Ardından, herkesin “Bir arkadaşına bu bahiste tavsiye veren” bir yazı kaleme etmesi istendi. Yani hedef, sahiden ne kadar öğrendiklerini, bir diğerine anlatırken ortaya çıkarabilmekti.

Sonuç netti: LLM kullananlar, mevzuyu daha az öğrendiklerini hissettiklerini söylediler, tavsiye yazısını yazarken daha az efor harcadılar ve ortaya çıkan metinler daha kısa, daha az gerçek bilgi içeren ve daha genel geçer sözlerden oluştu. Bu tavsiye yazıları daha sonra, hangi aracın kullanıldığını bilmeyen bağımsız bir okuyucu kümesine gösterildi; onlar da bu metinleri daha az bilgilendirici ve daha az yararlı buldu, verilen tavsiyeleri uygulama isteği de daha düşük kaldı. 

FARK YALNIZCA İÇERİKTE DEĞİL

“Belki de sorun, ChatGPT’nin Google’a nazaran daha dar bir bilgi setini sunmasıdır” ihtimalini elemek için araştırmacılar ek deneyler yaptı. Bir çalışmada, her iki kümeye da büsbütün tıpkı gerçekleri içeren içerikler gösterildi; yalnızca biri bunları LLM’den özetlenmiş halde, oburu ise Google linkleri üzerinden kesim parça okudu. Yeniden LLM’yi kullananlar daha yüzeysel bilgi geliştirdi.

Başka bir deneyde ise platform sabit tutuldu: Herkes Google kullandı, lakin bir küme klasik arama sonuçlarıyla, öteki küme ise Google’ın “AI Overview” yani yapay zekâ takviyeli özet özelliğiyle çalıştı. Gerçekler ve platform tıpkı kalsa da, özetlenmiş LLM yanıtından öğrenenler tekrar daha sığ bilgiye sahip oldu.

Araştırmacılar ayrıyeten, LLM karşılığının yanında gerçek web linklerini de gösteren özel bir modelle deneme yaptı. Lakin burada da iştirakçiler, özet yanıtı gördükten sonra linklere tıklamaya pek istekli olmadı; “Zaten karşılığı aldım” hissi, derine inmeyi engelledi. 

NEDEN YÜZEYSEL KALIYOR

Çalışmanın temel bildirisi, eğitim psikolojisindeki çok eski bir unsurla örtüşüyor: Beşerler, gereçle etkin formda uğraştıklarında daha düzgün öğreniyor.

Google araması yaparken ister istemez bir sürü “sürtünmeyle” karşılaşıyoruz: Farklı linklere tıklıyoruz, metinler okuyoruz, hangi kaynağın muteber olduğuna karar vermeye çalışıyoruz, modüllü bilgileri başımızda birleştiriyoruz. Bu zahmet, aslında beynin bahisle ilgili daha derin ve özgün bir zihinsel model kurmasını sağlıyor.

LLM’lerde ise bu sürecin büyük kısmını model bizim yerimize yapıyor: Topluyor, süzüyor, sentezliyor ve bize hazır bir paket halinde sunuyor. Kullanıcı tarafı ise daha pasif kalıyor. Araştırma da gösteriyor ki, bu pasiflik, öğrenmenin kalitesini aşağı çekiyor. 

YAPAY ZEKÂYI BÜSBÜTÜN BIRAKIN DEMİYOR

Araştırmacılar, buradan “ChatGPT’yi asla kullanmayın” sonucunu çıkarmıyor. Bilakis, nerede yararlı, nerede ziyanlı olabileceğini bilerek kullanmak gerektiğini vurguluyorlar.

• Hızlı, net bir bilgi mi lazım? Tarih, tarif, kısa bir açıklama, bir kavramı hatırlama üzere durumlarda yapay zekâ asistanları son derece pratik.
• Ama maksadınız bir mevzuda derin ve genellenebilir bir bilgi birikimi oluşturmaksa -yani hakikaten öğrenmek, ileride farklı bağlamlarda da kullanabileceğiniz sağlam bir temel atmaksa- yalnızca LLM özetlerine güvenmek pek yeterli bir strateji değil.

Araştırmacı grup, bundan sonraki çalışmalarında, öğrenme gayeli kullanılan yapay zekâ araçlarına “sağlıklı sürtünmeler” ekleyen dizaynlar üzerinde çalışmayı planlıyor. Örneğin, kullanıcıyı özet yanıtın ötesine geçmeye, kaynak okumaya ve kendi sentezini oluşturmaya teşvik eden “hız kesici” mekanizmalar… Bilhassa ortaöğretimde, öğrencilerin temel okuma-yazma-matematik maharetlerini geliştirirken bir yandan da kaçınılmaz olarak hayatlarına girecek LLM’lerle nasıl çalışacaklarını öğretmek, önümüzdeki yılların en kritik eğitim sorularından biri olacak üzere görünüyor.