Araştırma Değerlendirme Üzerine | Prof.Dr. Yaşar TONTA
Hacettepe Üniversitesi Bilgi ve Belge Yönetimi Bölümü Öğretim Üyesi
Üniversiteler küresel, ulusal ve yerel sorunlara çözüm bulmak için araştırmalar yapar, bu sorunları çözecek insanları yetiştirir ve topluma hizmet verirler. Bu bakımdan üniversitelerin kendilerini bu sorunlar karşısında nasıl konumlandırdıkları, ne tür araştırmalar yaptıkları, nasıl bir eğitim verdikleri ve topluma ne tür hizmetler sundukları son derecede önemlidir. Son yıllarda yaşanan toplumsal ve ekonomik sorunlar kuşkusuz üniversitelerimizi de derinden etkiliyor. İfade özgürlüğü ve akademik özgürlükler alanındaki kazanımlar erozyona uğradıkça bilimsel araştırma ve eğitim altyapılarının kurulması gecikiyor.
Yıllardır uygulanan bazı yükseköğretim politikaları, üniversitelerin araştırma, eğitim ve topluma hizmet işlevlerini tam olarak yerine getirmelerini engelliyor ve kalite giderek düşüyor. Maddi sorunlarını hafifletmek için akademisyenlerin ek ders vermeye “özendirilmeleri” bu politikaların başında geliyor. Akademik atama ve yükseltmelerde uluslararası indeksli dergilerde belli sayıda makale yayımlama koşulu getirilmesinin arzu edilen sonucu vermediğini görüyoruz. Son birkaç yıldır uygulanan Yükseköğretim Kurulu (YÖK) Akademik Teşvik Yönergesinin de benzer sonuçlar ürettiği anlaşılıyor.
Bilimsel Araştırmanın Kaliteyi Artırmaya Yönelik Değerlendirmesi Nasıl Olmalıdır?
Araştırma değerlendirme (research assessment), bilimsel araştırmalara yapılan yatırımın getirisinin ve bilimsel araştırmaların kalitesinin girdiler ile çıktılar ve çıktıların etkileri dikkate alınarak nicel (bibliyometrik) ve nitel (akran değerlendirmesi) yöntemler aracılığıyla ölçülmesidir.
Akademik atama ve yükseltmelerde, akademik teşvik ve performans değerlendirme uygulamalarında istenen sonuçların elde edilememiş olmasının temel nedeni bu uygulamalarda nitelik yerine sadece niceliğin ölçülmesi. Çünkü araştırmalara yapılan yatırımın getirisini sadece yayın sayısı ve atıf sayısı gibi ölçütlere göre yapmak yeterli değil. Yeterli olsaydı akademisyenlerin akademik yükseltme ölçütlerini karşılamak ya da akademik teşvik almak için yaptıkları Türkiye adresli yayınların giderek etki değeri daha yüksek olan dergilerde yayımlanıyor olması gerekirdi. Oysaki bu yayınlar giderek etki değeri daha düşük dergilerde yayımlanıyor (Türkiye adresli yayınların üçte ikisinin makale etki skoru dünya ortalamasının yarısından daha düşük). Bu bakımdan bu yayınların bilimsel, ekonomik ve toplumsal etkilerini de ölçmek gerekiyor.
Türkiye’de Karşılaşılan Araştırma Değerlendirme Sorunları Nelerdir?
Bazı araştırmacılar nicel ölçütleri karşılamak için araştırma değerlendirme sistemleriyle “oynamayı” tercih ediyorlar. Maalesef Türkiye sahte yayın üretimi ve sahte konferanslar düzenlemede dünya ülkeleri arasında “kötü şöhret”e sahip ilk üç ülkeden birisi.
Genellikle iyi niyetle ve araştırma yapanları daha fazla desteklemek için başlatılan uygulamalar her zaman istenen sonuçları üretmiyor. Örneğin, Türkiye Bilimsel ve Teknolojik Araştırma Kurumu’nun (TÜBİTAK) 25 yıldır uluslararası bilimsel yayınları teşvik etmek için verdiği parasal desteklerin Türkiye’nin bilimsel yayın sayısının artmasında pek etkisi olmadığı görülüyor [1].
Henüz sadece üç yıldır uygulanan YÖK Akademik Teşvik Yönergesi de “öngörülemeyen” sonuçlar doğurdu. 9 Ocak 2018’de YÖK’ün üniversite rektörlüklerine gönderdiği bir yazıda akademik teşvik ödeneği alabilmek için araştırmacılar tarafından yapılan etik ihlaller sıralanıyor ve bu durumun “akademik yozlaşma”ya neden olabileceği vurgulanıyor. İşin ilginç yanı, bu ihlaller gerek araştırmacılar gerekse rektörler ve YÖK yetkilileri tarafından çok iyi bilinen bir “sır” olmasına karşın, akademik teşvik uygulaması halen devam ediyor.
Bu sonuçların “öngörülememesi” ise araştırma değerlendirme konusunda yeterince kapsamlı bir çevre taraması yapılmadığının bir göstergesi ve kanımızca akademide daha da ciddi bir soruna işaret ediyor. Araştırma değerlendirmenin neredeyse tamamen yayın ve atıf sayısı gibi ölçülmesi nispeten kolay bazı “ölçev”lere (metrics) dayandırılması kaliteyi düşürüyor ve performansa dayalı teşvik/fonlama sistemleriyle “oynanmasını” teşvik ediyor. Yani bazı araştırmacılar kaliteli araştırma yapmayı hedeflemek yerine kaliteden ödün vererek sadece ölçevleri sağlamayı tercih ediyorlar [2].
Ölçevlerin Tahakkümü
Bu yıl yayımlanan The Tyranny of Metrics (Ölçevlerin Tahakkümü) [3] başlıklı bir kitapta üniversitelerde, eğitim ve sağlık kurumlarında, iş dünyasında, poliste ve orduda nitelikten çok niceliğe itibar edilmesinin sonuçları çarpıcı örneklerle açıklanıyor.
Ülkemizde de yöneticiler sayılara ve sıralamalara dayanan ölçevlere kanımızca aşırı itibar ediyor, bu ölçevleri araştırmacıların ya da üniversitelerin topyekûn kalitesini temsil eden birer gösterge olarak kullanıyor ve istedikleri gibi yorumluyorlar. Bu göstergelerin tam olarak neyi ölçtüğü ise genellikle sorgulanmıyor. Bu durum araştırmacıları, yöneticileri, siyasetçileri ve giderek bütün toplumu “ölçevlerin tahakkümüne”ne maruz bırakıyor.
Ölçevlerin tahakkümüne maruz bırakılan hemen hemen bütün ülkelerde (Avustralya, Çin, İtalya, Doğu Avrupa ülkeleri, vd.) Türkiye’dekine benzer sorunlarla karşılaşılıyor ve bilimsel araştırmaların kalitesi düşüyor. Bu ölçevlerin hesaplanmasında kullanılan verileri sağlayan ticari şirketlerin rekabet nedeniyle “oyunun kuralları”nı değiştirmeleri durumu daha da kötüleştiriyor. Örneğin, Türkiye’de yayımlanan sadece 4-5 dergi uluslararası indekslerde yer alırken, bu sayı ilgili şirketin (Thomson Reuters) 2006’da “bölgesel genişleme” kararı almasından sonra yaklaşık 80’e yükseldi. Bu artışın kalite artışıyla paralel olmadığı açık. Ama burada temel sorun ticari şirketin rekabet nedeniyle kalite eşiğini düşürmesi değil. Temel sorun, YÖK’ün, TÜBİTAK’ın ve üniversitelerin akademik atama/yükseltme ölçütlerini, akademik teşvik ve performans ölçme ve destekleme politikalarını ticari şirketlerin verilerine ve kararlarına endekslemeleri [4].
YÖK ya da üniversitelerin verdikleri bu kararlar sonucunda “yerelde uluslararası ama küreselde ulusal” (globally national-locally international) işlem gören birçok dergimiz mevcut. Bu dergilerde yayımlanan makaleler ve bu makalelere çoğunlukla gene Türkiye adresli diğer makalelerden yapılan atıflar deyim yerindeyse “küçük bir havuz” oluşturuyor, bu küçük havuzda yer alan yayın ve atıflara dayanarak birçok akademisyen doçent ya da profesör oluyor (“yerelde uluslararası”). Fakat bu makalelere uluslararası literatürde çok seyrek atıf yapılıyor (“küreselde ulusal”) [5].
Uluslararası literatürde yayımlanan makalelerin etkisini ölçmek için kullanılan ölçevlerden birisi de dergilerin makale etki puanlarıdır. Bir derginin makale etki puanı o dergide yayımlanan makalelere yapılan atıf verilerine dayanır ve atıflar dergilerin etki faktörlerine göre ağırlıklandırılır. Bir dergideki makalelere yapılan atıflar etki faktörü yüksek dergilerden geliyorsa o derginin makale etki puanı da daha yüksektir. Web of Science’ta dizinlenen tüm dergilerin makale etki puanı dünya ortalaması 1 iken Türkiye’de yayımlanan ve Web of Science’ta dizinlenen dergilerin makale etki puanları ortalaması 0,5’in altındadır. Başka bir deyişle, bu dergilerin makale etki puanları dünya ortalamasının yarısından daha düşük. Hatta dergilerin yaklaşık yarısının makale etki puanları dünya ortalamasının onda biri (0,1) kadar [5]. Bu yayınların birçoğunun bilimsel ve insani gelişmeye ve ekonomik kalkınmaya katkısı oldukça sınırlı. Bu nedenle ticari şirketlerden gelen ve “küçük havuz”u büyütmeye yönelik teklifler dikkatle değerlendirilmelidir.
Sonuç
Araştırma değerlendirme sorunu YÖK, TÜBİTAK ve üniversitelerin karşılaştıkları en önemli sorunlardan birisidir. Araştırma ve eğitim kalitesini gerçekten önemsiyorsak, o zaman yapılması gereken ilk iş ölçevlerin tahakkümüne son vermektir. Kolayca ölçülebilir göstergeler kullanmak yerine araştırmaların kalitesini ve etkilerini daha iyi ölçen araştırma değerlendirme, akademik atama/yükseltme ve performansa dayalı fon sağlama politikaları geliştirilmelidir.
[1] Tonta, Y. (2017). TÜBİTAK Türkiye Adresli Uluslararası Bilimsel Yayınları Teşvik (UBYT) programının değerlendirilmesi, Ankara: TÜBİTAK ULAKBİM.[2] Yurtsever, E. (2018). Goodhart Yasası ve Akademideki Ölçütlerin Ölçebilirliği Üzerine, Sarkac.org, Nisan 2018.
[3] Muller, J. (2017). Tyranny of Metrics. Princeton: Princeton University Press.
[4] Tonta, Y. (2014). Akademik Performans, Öğretim Üyeliğine Yükseltme ve Yayın Destekleme Ölçütleriyle İlgili Bir Değerlendirme, 2014.
[5] Tonta, Y. (2017). Türkiye’de Yayımlanan ve Web of Science’ta Dizinlenen Dergilerle İlgili Bir Değerlendirme. Türk Kütüphaneciliği, (31)4, 449-482.
Hiç yorum yok:
Yorum Gönder