B-indeksi: Üniversitelerimizin Araştırma Performanslarının Ölçümü için Basit bir Yöntem
Üniversiteye giriş sınavlarının yapılmasına sayılı günler kala üniversitelerimizin araştırma performanslarının karşılaştırması konusunda uzun süredir yazmayı düşündüklerimi tüm diğer işlerimi bir tarafa bırakarak bu yazıda aktarmaya çalışacağım. Zira, yakında başlayacak üniversite tercih döneminde bu konunun daha revaçta olacağını tahmin ediyorum. Böyle bir yazıyı kaleme almak için en uygun zaman bu zaman sanki. Ya şimdi yazacaktım ya da uzun bir süre bu konu gündemimden düşecek idi.
Aramızda akademisyen olanların çok iyi bildiği gibi kişisel araştırma performans değerlendirmesinde kullanılabilen ölçütlerden biri ve belki de en bilineni h-indeks. 2005 yılında Jorge E. Hirsch tarafından önerilen h-indeksin kullanımının gittikçe yaygınlaşması ve Google Scholar gibi ortamlarda da tercih edilen bir ölçüt haline gelmesinin altında iki farklı önemli ölçütü tek bir sayısal değer ile ifade edebilmenin dayanılmaz cazibesi yatıyor. Şunu demek istiyorum, ideal bir araştırmacı hem üretken olmalı (akademik yayın sayısı çok olmalı), hem de sayıyı artırırken kaliteden ödün vermemeli. Kalite ölçütü olarak da o yayının aldığı alıntı sayısını kullanırsak nitelik ve nicelik parametrelerini tek bir sayıya indirgeyebiliyoruz h-indeks ile. Diyelim bir araştırmacının h-indeks’i 15 olsun. 15 sayısı bu araştırmacının en az 15 kez alıntılanmış en az 15 yayını olduğunu gösteriyor. H-indeks değerinin 15’den 16’ya çıkması için bu sefer en fazla atıf alan ilk 16 yayınını inceleyip en az 16 kez alıntılandığını göstermemiz gerekiyor.
Konumuz kişisel akademik performans değerlendirmesi değil. Üniversiteleri araştırma bağlamında değerlendirmek ve karşılaştırmak istiyoruz. Bu amaçla ülkemizde farklı çalışmalar zaten yapılıyor. Örneğin ODTÜ bünyesinde URAP uzun yıllardır bu tür üniversite sıralamaları zaten yayınlıyor. 2019–2020 yılları tüm üniversitelerin genel puan tablosunu şu adresde görebilirsiniz. Bu tablo oluşturulurken 9 farklı gösterge kullanılmış. Birinci Hacettepe Üniversitesi olmuş. Almış olduğu puan 802.91. İkinci ise ODTÜ, aldığı puan 782.75. Çok sayıda farklı göstergelerin bir araya getirilmesiyle oluşturulan listeler oldukça değerli olsa da ciddi bir handikaplarının olduğunu söylemek de sanırım yanlış olmaz. Söz konusu handikap 802.91 gibi bir puan’ın anlamlandırılmasındaki zorluk. Düşünelim; birinci Hacettepe ile ikinci ODTÜ arasında 20 puan civarı bir fark var. Bu fark ne anlama geliyor? Birbirine çok yakın iki puan’dan mı bahsediyoruz acaba? Yoksa arada anlamlı bir fark mı var? Bu tür değerlendirmeleri puanları inceleyerek yapmak zor. Zaten bu sebeple bu sonuçlar duyurulurken puan bilgisi yerine sıralama bilgisi (Hacettepe: 1, ODTÜ: 2 gibi) genelde kullanılıyor.
Bu gözlemler ışığında aklıma gelen soru şu: H-indeks gibi hem tek bir sayı ile ifade edilebilen hem de kolayca anlamlandırabileceğimiz bir indeks değerini üniversitelerimiz için de kurgulayabilir miyiz? Zira baştaki örneğe geri gelecek olursak A kişisinin h-indeksi 15 diye bir cümle kursak 15 değeri artık gelişi güzel bir rakam değil, h-indeks kavramını bilenlerin zihninde kolayca canlandırabilecekleri bir değerden bahsediyor oluyoruz.
Evet, bugün h-indekse benzer şekilde biraz düşününce sizin de aklınıza gelebilecek bir indeks ile sizleri tanıştırmak istiyorum. İndeksimizin adı b-indeks olsun (burada b harfinin bıçakcı’ya karşılık gelmesini isterdim ama günümüzde orijinal bir fikir ortaya çıkarmak çok kolay değil, wikipedia’ya bakarsanız b-indeks tarzında bir indeksin daha önceden önerildiğini göreceksiniz. Bu sebeple b harfini burada başarı kelimesinin ilk harfi olarak kullanıyorum mecburen.)
b-indeksini kısaca tanıtmak gerekirse: Örneğin b-indeksi 20 olan bir üniversite varsayalım. Bu üniversite, h-indeksi en az 20 olan en az 20 akademisyen barındırıyor demek. Bu değerin 21 olabilmesi için en az 21 akademisyenin h-indeksinin en az 21 olması gerekiyor. Sanırım b-indeksini anlamak çok zor değil. Ama bu değerin üniversiteleri sıralamak ve karşılaştırmak için kullanılması noktasında farklı eleştiriler olabilir. Aşağıda bu eleştirileri kısaca değerlendirmek isterim:
1. Üniversitelerin asli vazifesi sadece araştırma yapmak değildir. Bilhassa ülkemiz düşünüldüğünde eğitim-öğretim faaliyetlerinin daha öncelikli olarak değerlendirilmesi gerekir şeklinde özetleyebileceğim bir pozisyon alınabilir birazdan size sunacağım sıralama değerlendirilirken. Evet, bu eleştiriye katılıyorum. Benim listem gibi çoğu sıralamanın üniversitelerimizde verilen eğitimin kalitesini doğrudan ölçen bir gösterge içermediği bir gerçek. Bu eleştiriye iki farklı cevabım var. İlk cevabı esasında ben vermiyorum. Uzun yıllar Harvard Üniversitesinde Dekanlık görevinde bulunmuş ve Üniversite (Bir Dekan Anlatıyor) isimli bir kitap yazmış Henry Rosovsky veriyor: Hocalarımızın sadece araştırma performansını ölçüyoruz. Çünkü eğitim performanslarının nasıl ölçüleceğini bilmiyoruz diye özetleyebileceğim bir cevap (Bu arada yukarıdaki kitabı genç akademisyenlere ve üniversite denilen yer nasıl bir yer acaba diye merak edenlere hararetle öneririm).
İkinci cevap ise şu şekilde: Evet, eğitim performansını doğrudan ölçen bir değer değil ne h-indeksi ne de b-indeksi. Ama bilhassa mühendislik bölümleri gibi teknolojinin çok hızlı ilerlediği bir alanda eğitim veren bir hocanın araştırma konusunda hala aktif olması, bir şeyler üretebiliyor olması çok kıymetli. Konuları yıllardır değiştirmediği sararmış yapraklardan anlatan bir hoca’nın dersi temel bilimlerde hala çok değerli olabilir belki ama bilgisayar müh. gibi dallarda maalesef aynı şeyi söyleyemeyeceğim.
2. Hadi eğitim konusunu anladık. Ama bir hocanın veya üniversitenin araştırma performansını ölçmek için sadece akademi yayınlarını baz almak ne kadar doğru peki? diye sorabilirsiniz. Bu eleştiriye de büyük oranda katılıyorum. Araştırma denilen şeyin çıktısı sadece makale veya bildiri kesinlikle olmamalı. Patent, proje, ödül, spin-off şirket, yönetilen tezler vs. mutlaka değerlendirmeye alınmalı. Öte yandan; öncelikle söylemek gerekir ki bu tür bilgilerin tamamına ulaşmak çok kolay değil. İkinci olarak, tez ve öğrenci sayısını bir tarafa bırakacak olursak patent, ödül, spin-off şirket gibi kriterleri kullanmak için gerekli minimum rakamlara ülkemizde ulaşılmış mıdır, benim bir hayli şüphelerim var. Ne demek istediğimi uzun yıllar önce UC Berkeley’de okuyan bir arkadaşın o tarihlerde bana aktardığı ilginç bir bilgi üzerinden aktarmaya çalışayım. Arkadaş sormuştu bana: “bizim üniversitede Nobel alan hocalara ödül olarak ne veriliyor biliyor musun?” Ben de yüksek meblağda bir parasal ödül diye tahminde bulunmuştum. “Hayır” demişti arkadaş. Üniversite kampüsünde ömür boyu kullanabileceği bir araba park yeri. Bizde de inşallah ilerde Nobel veya benzer ödüller alan hocalar sayı olarak çoğalır ve bir şekilde kısmen sıradanlaşır ise o zaman bu hocaların sayısını, vs. kriter olarak kullanmanın vakti geldi diyebiliriz.
3. Tamam ödül, vs. anladık ama yönetilen tez sayısı, akademik projeler, vs. de kullanılmıyor senin listende.. Hem bir akademik yayının kalitesini aldığı atıf sayısı ile ölçmek ne derece doğru. Evet, bu eleştiri de hayli yerinde. Hatta şöyle bir cümle duymuştum. “Herhangi bir ölçüt, ölçüt olarak kullanılmaya başlandığı anda ölçüt olma özelliğini yitirir.” Ne demek istediğimi bir örnekle açıklayayım. Dergilerin kalitesini ölçmede kullanılan etki değeri (impact factor) temelde o derginin yayınlarına başkaları tarafından ne kadar atıfta bulunulduğu verisi ile ölçülüyor. Uzun yıllar önce alanında prestijli sayılan bir dergiye makalemizi göndermiştik. Editör’den şöyle bir cevap gelmişti: “Makalenizi değerlendireceğiz ama baktık ki makalede bizim dergiye hiçbir atıf yok, bu konuda düzeltme yapıp tekrar gönderir misiniz?” Bu örnekten de anlaşılacağı üzere bir kriterin ölçüt olarak kullanılması diğer ölçütlerin ve faktörlerin ihmal edilerek sadece o kriterin bazen de etik olmayan yöntemler ile iyileştirilmesi yönünde bir kapı açıyor. Çare nedir diye sorarsanız? Şu an URAP sıralamalarında olduğu gibi çok sayıda göstergenin bir araya getirilmesi ile sadece bir göstergede yapılan bir manipülasyonun zararının kısmen önlenmesi dışında bu probleme bir çözüm yok bilgim dahilinde. Gösterge sayısının artırılması ise daha önce değindiğim gibi bu gösterge sonuçlarının nasıl bir araya getirileceğinin standart bir yönteminin olmaması, elde edilen nihai değerin anlaşılabilir olmaması gibi negatif sonuçları da beraberinde getiriyor.
Özetle, performans ölçütlerinin her birinin artı ve eksileri var. B-indeksini bu bağlamda mütevazi bir çalışma olarak algılamak lazım. Nihai sonuçlar çıkarmak için doğrudan kullanılması uygun olmaz.
4. “Herkes Google Scholar’da olmayabilir veya çalışılan kurum bilgisi güncel veya doğru olmayabilir.” Evet bu tür eleştiriler de haklı. Ama bu çalışma sayesinde bazı hocalarımız uzun süredir ihmal ettikleri, çok da kolay bir şekilde gerçekleştirilebilen Google Scholar’da sayfa oluşturma işlemine belki vakit ayırırlar.
5. Son olarak, Google Scholar gibi herkese açık kaynak bilgilerini ve b-indeksi gibi iyi tanımlanmış ve şeffaf bir ölçme yöntemini kullanmanın avantajlarından bahsedeyim. Bir kere bu yöntem ucuz ve maliyet-etkin (birazdan paylaşacağım listeyi oluşturmak sadece bir günümü aldı). Geniş bütçelere sahip kurum ve kuruluşlarca bu çalışmanın yürütülmesi gerekmiyor. İkinci olarak, bu çalışmayı benim bıraktığım yerden alıp başkaları pekala devam ettirebilir. Örneğin üniversite çapında b-indeks çalışmaları gibi bölüm veya fakülte özelinde de benzer çalışmalar yapılabilir. Son olarak, bu indeks değerine bakarak hocalarımız kendi konumlarını kolay bir şekilde değerlendirme şansına sahipler. Akademik performans değerlendirme çalışmalarında gördüğüm temel bir eksiklik de geri dönüşlerin olmaması veya çok sağlıksız olması. Yine çok iddialı değilim bu değerlendirme için b-indeks ve h-indeks’in kullanımını önerirken. Ama “benim araştırma performansım üniversite kapsamında ne durumda?” diye merak edenler kendi h-indeksini ve üniversitesinin b-indeksini karşılaştırıp bazı çıkarımlarda bulunabilir.
URAP sıralamasındaki ilk 45 üniversite için hesapladığım b-indeks değerleri ve bu değerler kullanılarak yapılan sıralama yukarıda sunulmaktadır. Bu sonuçları uzun uzun yorumlamayacağım. Ama yaptığım bu çalışmanın ardından b-indeksinin en büyük eksikliği akademisyen sayısı fazla olan üniversitelerin haliyle daha yukarıda yer bulabilmesinin kolay olmasıdır diye değerlendiriyorum (b-indeks değeri ile üniversite toplam öğretim elemanı sayısı arasında güçlü bir korelasyon mevcut.) (korelasyon katsayısı: 0,55).
Öte yandan bahsettiğim eksiklik sadece b-indeksine mahsus değil. Benzer bir durum URAP’ın listesinde de mevcut.
URAP’ın sıralaması ile b-indeks sıralaması arasındaki korelasyon daha da güçlü (korelasyon katsayı: 0,81). Bir anlamda URAP’ın sıralamasına benzer sonuçlar elde edilebiliyor b-indeksi yardımı ile. Hem de kolay ve ucuz yoldan. Öğretim üyesi sayısındaki farkları dikkate alarak b-indeks değerinin normalizasyona tabi tutulması gibi çalışmalar gelecekte elbette yapılabilir.
(Not: Yukarıdaki liste 20 Haziran 2020 tarihinde oluşturulmuştur. Listede hatalar söz konusu olabilir. Tespit ettiğiniz hatalar için benimle irtibata geçebilirsiniz.)
Düzeltme: Yazının önceki sürümündeki sehven yazılmış “öğretim üyesi” ifadesi “öğretim elemanı” (araştırma ve öğretim görevlileri dahil) olarak düzeltilmiştir. Kaynak:https://istatistik.yok.gov.tr/
