Tübitak projeleri piyango çekerek mi desteklensin?

(Tübitak projeleri ile ilgili yazı dizisinin ikincisidir. Birincisi ilgilenenler için buradadır.)

Bilindiği üzere, Tübitak’ın akademik projeleri desteklediği birimin adı ARDEB, endüstri projelerini desteklediği birimin adı ise TEYDEB. Hem ARDEB’de, Hem TEYDEB’de pek çok projede hakem, izleyici, yürütücü, danışman, vb. farklı görevlerde bulundum. Bu iki birim arasında proje değerlendirme açısından temel fark ARDEB’de yoğun olarak panel sisteminin kullanılıyor olması. Panel sistemi, temel anlamda, beş hakemin bir moderatör yönetiminde bir araya gelmesi ve projeyi sözlü olarak tartışması sonrası proje notunun ortaya çıkartılması üzerine kurulu. TEYDEB’de ise sonradan bir komite aşaması olsa da hakem değerlendirmeleri birbirinden bağımsız olarak yürütülüyor.

Uzun yıllar yaptığım gözlemler sonrasında panel sisteminin proje değerlendirmede uygun bir yöntem olmadığını düşünüyorum. Bu görüşümün başkaları tarafından genelde paylaşılmadığını, panel sistemi ile projenin karşılıklı uzun uzun tartışarak daha iyi anlaşılır hale geldiğini ve dolayısıyla ortaklaşa daha doğru kararlar verildiğinin savunulduğunu belirtmeliyim.

Panel sistemi ile ilgili sadece merak kaynaklı yapmaya başladığım araştırma giderek “proje değerlendirmesi nasıl olmalı?” şeklinde daha genel bir mahiyete büründü. Bu yazıda son günlerde öğrendiklerimi kişisel yorumlarımı da ilave ederek sizlerle paylaşıyorum.

Araştırmamda önce karşıma James Surowiecki’nin “The Wisdom of Crowds” isimli best-seller kitabı çıktı. Kitapta, özetle, birbirinden bağımsız düşünebilen sayıca daha fazla olan kişilerin karar ve tahminlerinde konu uzmanı olsalar dahi daha az sayıdaki kişilere oranla daha doğru ve isabetli olduğu tezi savunuluyor. Bu kitaba Kahneman’ın Thinking, Fast and Slow kitabında hataları ilintisizleştir (“decorrelate error”) genel prensibini açıklarken referans verilmekte. Görüş ve değerlendirmelerin bağımsız ve ilintisiz olması gereğinin bir kavanozdaki bozuk para sayısını tahmin etmekten olay mahallinde görgü tanıkları bilgilerinin polis tarafından toplanmasına, bir öküzün ağırlığının tahmin edilmesi yarışmasından şirket toplantılarının daha verimli hale getirilmesine kadar farklı şekillerde işletilebildiği anlatılıyor.

Panel mevzusuna geri gelecek olursak, şirket toplantılarında önerilen — tartışmanın açık uçlu olması yerine katılımcıların konu ile ilgili düşüncelerini önceden yazmış olmaları — gereğine proje değerlendirme panellerinde uyulduğunu söyleyebiliriz. Dolayısıyla, panelde hataların ilintisizleştirilmesi prensibine aykırı bir durum olmadığı iddia edilebilir. Bu iddiaya karşın:

1. Öncelikle, bu konuda yapılmış bir bilimsel araştırma ile panel tartışması ile (sağlık alanındaki) kişisel proje değerlendirme (peer-review) raporlarının güvenirliğinin artmadığının ortaya konulduğunu belirteyim.

2. Kendi kişisel tecrübem ile de panel tartışmalarında çok bilenin veya daha titiz bir değerlendirme yapanın değil de daha çok konuşanın veya daha kendine güvenir bir şekilde fikir beyan edenin görüşlerinin baskın olduğunu hatta yaş, pozisyon, vb. sebepler ile bazı önemli görüşlerin hiçbir şekilde seslendirilmediğini gözlemlemiş durumdayım.

Hatta bu konuda bir anımı da kısaca paylaşmak isterim. Yıllar önce bir ARDEB 1001 projesi paneliydi. Bu panellerde, bilenler bilir, projeler ilk olarak söz almak ve kısaca projeyi tanıtmak üzere panelistlere (hakemlere) paylaştırılır. Bulunduğum panelde, bir hocamız kendisine atanan proje ile ilgili ilk söz hakkını aldı. Konuşurken projeyi öyle yerden yere vurmaya başladı ki, ben bir an durakladım. Çok şaşırmıştım. Aynı proje ile ilgili mi konuşuyorduk acaba? Ben de projeyi okumuştum, projenin ne kadar iyi bir proje olduğu elbette ki tartışılabilirdi ama öyle yerden yere vurulacak bir proje de bence kesinlikle değildi. Bana söz verildiğinde bir an tereddüt ettim, söze nasıl başlamalıydım. “Hayır hocam, bu proje sizin belirttiğiniz kadar kötü değil” desem tepki nasıl olacaktı, ölçemiyordum. Neyse tüm cesaretimi topladım ve proje lehinde bazı görüşlerimi paylaştım. Sonrasında ne mi oldu? Ben hocamızdan “hayır Kemal hocam, bak bu projede şöyle şöyle eksikler ve sıkıntılar var” gibi bir şey demesini bekler iken birden hocamız tam 180 derece dönüş yaptı. Ben öyle demek istememiştim falan dedi. Nasıl yani.. 1–2 dakika önce sen değil miydin bu projeyi neredeyse yüzyılın en kötü projesi olarak niteleyen! Ben sonrasında fiziksel olarak panelde isem de artık başka bir alemdeydim ruhsal olarak. Tüm gerçeklik algımı kaybetmiştim bir an.

Bir de bu karşılaştırmayı yaparken şu bakış açısı da önemli ve bence gerekli. Artık her ne kadar video konferans uygulamaları ile de panel yapmak mümkün ise de geçmişte paneller fiziksel buluşmayı gerekli kılıyordu. Hem süre, hem masraf, hem emek olarak daha dezavantajlı olan panel müessesesinin işletilmesi için sağlam bir gerekçe ve bilimsel bir dayanağın ortaya konulması gerekmez mi? Başka bir ifadeyle burada delil sunması gereken paneli savunanlar değil midir? Böyle bir dayanak olmadan kişisel ve çevrimdışı değerlendirmelerin basit bir ortalamasını kullanmak yerine panel sonucu ile karar verilmesi için nasıl bir gerekçe var? (Not: Teydeb projelerinde sonradan bir komite aşamasının olması ayrı bir konudur, burada hakemlerin tüm projeleri görmemesinden ve dar bir çerçevede bir değerlendirme yapma zorunluluğundan kaynaklı bir takım eksikliklerin giderilmesi gibi faktörler devreye girmektedir.)

Her ne kadar bu konuya ilgi duymam “panel iyi bir şey mi acep?” diye dar bir kapsamda ve anlamda başlamış olsa da, kısa bir araştırma sonrasında konunun çok daha geniş olduğunu ve panel olsun veya olmasın kişisel değerlendirme (hakem değerlendirmesi) (peer review) yöntemi ile proje değerlendirilmesi yapılmasının ana problem olduğunu tespit etmem çok zaman almadı.

Haklı olarak bu aşamada şunu sorabilirsiniz, “kişilerden (uzmanlardan) görüş almak dışında projeler nasıl değerlendirilebilir acaba?”

Bu konuda öncelikle geleneksel yaklaşımlar yerine proje değerlendirme bağlamında daha özgün yöntemlerin ele alındığı değerli bir literatür taramasını sizler ile paylaşmak isterim. Bu taramada dikkatimi çeken noktalar ise şunlar oldu:

1. Eş değerlendirme ile projelerin adaletli ve tutarlı bir şekilde değerlendirilemediği pek çok çalışmada ortaya konmuş durumda. Bir diğer ifadeyle bu konudaki sıkıntılar sadece ülkemize mahsus değil.

2. Son yıllarda, tüm dünyada proje mali kaynağını teşkil eden bütçelerde yaşanan kısıtlamalar bir taraftan, proje öneri sayılarının artması bir diğer taraftan, eş değerlendirmedeki problemler (önyargılar, yanlışlıklar, vb.) daha büyük sorun haline gelmiş durumda.

3. Bu konuda açık düşünceli olmak ve yenilikçi yaklaşımları denemek iyi bir fikir.

4. Klasik eş değerlendirme yöntemine en az altı tane alternatif mevcut.

Ben yazımın sonunda bu alternatiflerden belki en radikal olanına fakat en çok hoşuma gidenine değineceğim.

Bu alternatif yöntem çok basit: desteklenecek projeleri rasgele seçelim hem de piyango ile. Fakat bu piyangoya tüm projeler katılmasın (bence bu iyi bir fikir değil). Örneğin gönderilen projelerin sadece %10’u mu kabul edilecek, eş değerlendirme ile ilk %30’a giren projeleri belirleyeyim önce. Sonrasında da bu seçilen projeler arasında piyango çekelim ve desteklenecek projeleri belirleyelim. Bu piyango yönteminin artıları:

1. Projeleri nispeten çok daha hassas bir teraziden geçirmek (10 projeden sadece 1’ini seçmek), bu terazideki en ufak bir dengesizliğin (hakemlerdeki en ufak bir önyargının) bize problem olarak geri dönmesini kaçınılmaz kılıyor. Üç kat daha az hassas bir terazi neden daha iyi bir fikir olmasın?

2. “İyi proje” ve “Çok iyi proje” arasındaki ayrım çoğu zaman bir iki kelimenin doğru yerde kullanılması gibi nüanslar ile ilgili ve proje hazırlayanlar için ilave bir endişe kaynağı. “Çok iyi proje” yazamıyorum diye düşünen ve proje yazmaktan vazgeçen büyük bir çoğunluğu sistem içerisine almak demek piyango çekmek aynı zamanda.

3. İnsan psikolojisine bakan yönüyle değerlendirecek olursak, proje önerisini hazırlayanların “bana haksızlık yapıldı” diye düşünmelerini mi isteriz, yoksa “bu sefer şansım yokmuş, piyangoda kaybettik” demelerini mi? Penaltılar ile maçı kaybetmek kötüdür, ama hakem hatası ile kaybetmek daha kötü değil midir?

4. Projeleri değerlendirmek de bu sayede çok daha kolay olacaktır. Çünkü özensiz yazılmış, hiçbir şekilde piyangoya girmeye layık olmayan projeleri elemek panel gibi uzun ve yorucu süreçlerin işletilmesi yerine çok daha az çaba ile mümkün hale gelmektedir.

Evet, tüm bu anlatım sonrasında piyango yöntemini hemen uygulamaya koyalım diyemiyorum. Projeleri piyangoya sokmanın henüz bizler için erken olduğunu Tübitak’ın böyle bir insiyatif alması durumunda basında yer alabilecek haber yansımalarını hayal ederek ben de görebiliyorum. Ama en azından Yeni Zelanda gibi bazı ülkelerde piyango yönteminin uygulanmakta olduğunu da dikkate alarak gerek bu yöntemin gerek diğer alternatiflerin diğer ülkelerde ne ölçüde başarılı olduğu ve kabul gördüğü konusunun karar vericilerin radarında olması gereği de sizce açık değil mi?