RANDOMİZE KLİNİK DENEYLERİN DEĞERLENDİRİLMESİNDE BİR ÖLÇEK ÖNERİSİ*

Penbe ÇAĞATAY, Mustafa ŞENOCAK, İ. Engin BAYKAL

Background.- Randomized controlled trials are generally regarded as the most scientific method in decision making for diagnosis and treatment. Therefore they must be far away from methodological and statistical mistakes, but it is know that there are inadequate points in these studies. A system of scoring parameters has been established to put forward the scientific quality of randomized controlled trials. It has been planned so that these parameters show the scientific reliability of the studies, evaluation of academic papers, inclusion for meta-analyses. Three criterions have been developed for scoring orders. This three criterion are: 1) 12 headlines for methodological and statistical main items (maximum 60 points); 2) 6 headlines for scientific research (maximum 24 points); 3) 6 headlines for secondary parameters in supervision and control (maximum 12 points). Our mean objective was to establish a scoring system to show the quality of the scientific literature according to their contents especially in randomized controlled trials. As a result, our scoring system will demonstrate all the specification of a scientific literature which has to contain also the future inclinations and the supplementing informations in itself so that an evaluation method will help determine the scientific level, acceptance of a paper, education of methodology for scientists working in this field and pursuit of developments.

Çağatay P, Şenocak M, Baykal İE. A proposal for scoring of the evaluation of randomized clinical trials. Cerrahpaşa J Med 2000; 31 (1): 49-55.

GİRİŞ 

Bilimsel yayınlar kişisel ve toplumsal boyutta bilgi birikimini, bilimsel sezgi yeteneğini; deney tasarlama, değerlendirme ve sunma kalitesini yansıtan ürünlerdir. Kişilerin olduğu kadar toplumların da bilimsel düzeyi belli ölçütler çerçevesinde bilimsel yayınları ile bağıntılandırılabilmektedir.¹ Ancak göz önünde bulundurulması gereken en önemli nokta "bilimsel" amaçla gerçekleştirilmiş olduğu düşünülen her çalışmanın bu kapsama girmediğidir. Gerçekten de, uluslararası boyutta bilimsellikleri kabul edilen yayın merkezlerinin belli sayı ve özellikte oldukları bilinmektedir. Çeşitli konulardaki bilimsel yayınları listeleyen, sunan, irdeleyen arşivlerin (Medline, Citation Index) içeriklerini titiz ölçütlere göre oluşturdukları bilinen bir gerçektir. Katı ölçütlere göre seçim yapan ve bilimsel yaklaşımlar açısından çok duyarlı olan yayın organlarının bile büyük bilimsel hata ve eksiklikler taşıyan çalışmaları yayınladıkları da göz ardı edilmemelidir.

Örneğin bu durum düşünüldüğünde, daha az bilimsel kaygılar taşıyan yayın düzenlerinde ise gerçekte "bilimsel" olmayan çalışmalara bile rastlanabileceği öngörülebilir.² Bu noktada bilimselliğin ölçütlerinin ne olduğu, bunların nasıl ölçülüp inceleneceği sorusu akla gelmektedir. Doğal olarak konunun özü ve çalışma tiplerinin çokluğu nedeni ile bu soruya her koşulda geçerli, kesin, nesnel yanıtlar verilmesi söz konusu değildir. Bununla birlikte çeşitli tip başlıklar için olmazsa olmaz "sine qua non" özelliklerden de bahsedilebilir.

Biz çalışmamızda; nedensellik bilgilerinin üretilmesi aşamasında çok önemli yeri olan ve "bilimsel araştırma" genel başlığı altında düşünülebilecek tüm özellikleri barındıran randomize (rassal) klinik çalışmaları ele aldık ve bunların bilimsellik düzeyinin, kalitesinin değerlendirilmesinde kullanılacak bir ölçümleme düzeni-dizgesi oluşturmaya çalıştık.

Oluşturduğumuz ölçümleme düzeninin;

* Bilimsel çalışmaların tasarlanması, gerçekleştirilmesi, değerlendirilmesi ve sunulmasında öğretim aracı olarak;

* Kişilerin, bilimsel yayınlarına dayalı yargılanmaları gerektiğinde ve

* Yayın kabul ölçütü olarak kullanılmasının yarar sağlayabileceğini düşündük.

Bir bilimsel çalışmanın içermesi gereken tüm özellikleri içinde barındıran en özgün bilimsel geçerliliği olan çalışma tipi "Randomize Klinik Çalışma"dır. Bundan dolayı çalışmada Randomize Klinik Çalışmalarda kullanılabilecek ölçütleri belirlemeye çalıştık. Bu ölçütler gerçekte bilimsel bir araştırmanın içermesi gereken ölçütlerdir.

Bir bilimsel araştırmanın gerçek anlamda bilimsel olabilmesi için içsel ve dışsal geçerliliğinin bulunması gerekmektedir. Bunları sağlayacak yaklaşımlara ise araştırmanın yöntembiliminde, çözümlemesinde ve sunumunda çeşitli başlıklar altında rastlanabilmektedir. Bu bağlamda değerlendirilirse çeşitli kaynaklar göz önünde bulundurulması gereken temel parametreleri şöyle düşünmüşlerdir.

ÖRNEKLEM parametresinde örneklemin sayısal gereklilik hesabı dahil tüm özellikleri ile tanımlanması yer almaktadır.

DENEY TASARIMI parametresinde Yöntemin tanımlılığı, Randomizasyon, Körleştirme ve Hasta onayı varlığı gibi başlıklar bulunmaktadır.

SUNU parametresinde ise Başlık, Görsel sunu yöntemleri, Kaynaklar vb. başlıklar bulunmaktadır.^3-5 Bu çalışmalardaki başlıkları inceleyerek 3 tip ölçüt geliştirdik.

Bu ölçütler;

A- YÖNTEMBİLİMSEL VE İSTATİSTİKSEL
ANA ÖLÇÜTLER 

Bunlar bilimsel geçerliliği olan herhangi bir çalışmada bulunması zorunlu (sine qua non) özelliklerdir. Dolayısıyla bulunmamaları çalışmanın skorunu yükseltmemenin de ötesinde bu skoru düşürücü etki yapmalıdır.

Bu başlık altında 12 temel ölçüt öngörülmektedir ve puanlama olarak da genelde:

biçiminde skorlama öngörülmektedir. Skorlama yaklaşımımızı sadece randomize klinik çalışmalardan değil daha geniş bir çalışma tipi spektrumunda da kullanabilmek amacı ile söz konusu 12 başlıktan 2'sinin gereğinde değerlendirme dışı tutulabilmesi öngörülmektedir. Bu bölümden idealde 60 puan toplanmaktadır.

1-) Amaç Tanımlama

Çalışmanın amacı kıyassal özelliklerin açık olarak vurgulanmasını da içererek belirtilmelidir. Klinik ölçütlerin kıyaslandığı ancak gerçek anlamda randomize klinik çalışma kavramına girmeyen (örn; retrospektif veri sonuç dökümleri) çalışmalarda da bu değerlendirme, eğer sonuçta herhangi bir yargısal değerlendirme ve yorum yapılacaksa kullanılmalıdır.

2-) Tedavi Düzeni Tanımı

Çalışmalar genellikle 2 veya daha fazla kıyassal kümeyi içereceklerdir. Her kümenin tedavi düzen ve protokolü kullanım süreçleri, denetim aralıkları da belirtilmek koşulu ile açıklanmalıdır.

3-) Denetim Kümesi Uygunluğu

Etik olanaklar uygunsa sadece plasebo kullanılan bir denetim kümesi kullanılabilir. Ancak genellikle karşılaşılan yeni bir tedavi protokolü ile o ana dek standart / klasik olan yöntemlerin sonuçlarının kıyaslanmasıdır.

4-) Örneklem Sayısı Gerekliliği Hesabı

Klinik çalışmalar nesnel ölçümlerle ortaya konan özellikleri kıyaslayarak yargılamak üzere tasarlanırlar. Bu bağlamda saptanabilmesi öngörülen bir "fark", veya sonuçta gerçek toplumsal değere göre, yapılması göze alınan bir hata (Bu saptamadaki güvenlik düzeyi [1-a]) araştırıcı tarafından öngörülür ve örneklem sayısı bu verilere göre saptanır.

5-) Son Nokta Tanımlılığı

Çalışmada neyin odak ilgi konusu olduğunun (ölüm, remisyon, organ reddi v.s) belirtilmiş olması ve konunun sınırları açık değilse tanımlanmış olması gerekir. Aynı şekilde çalışmanın sonlandırılma süresi de (koşullu zamansal açıklama) olabilir; 80 hasta en az 6 ay izlendiğinde... gibi koşullu veya kesin bir bitiş belirtilebilir; 1998 Kasım sonunda kesilmiştir gibi) açıklanmış olmalıdır.

6-) Randomizasyon Düzeni Açıklaması

Çalışma kümelerine dağıtımda randomizasyon yönteminin ne olduğu (sıra ile, random sayılar tablosu, kura v.s) açıklanmalı ve bu dağıtım yöntemi doğal olarak biaslardan uzak olmalıdır.⁶

Bazı çalışmalar klinik deney çerçevesinde görünmesine karşın yargı kümeleri eş zamanlı ele alınmamış olabilir (1980-1989 sonuçları ile 1990-1997 sonuçları kıyaslaması gibi) veya tedavi çeşitlerinin kümelere dağılımı hastaların bazı özellikleri yüzünden tam olarak randomize edilemiyor olabilir. Bu tür artık "randomize" olarak nitelendirilemeyen ancak bilimsel skorlamasının yapılması istenen çalışmalarda değerlendirme ölçütü; bu konu değerlendirme dışı olarak elde alınacak ve sonuç yargılamasında da beklenen maksimum toplamdan çıkartılacaktır.

7-) Körleştirme Açıklaması

İdeal randomize çalışmanın doğal olarak çift kör olması gerekir. Bu çerçevede:

Bir önceki ölçütte olduğu gibi, gerçek anlamda randomize olmayan, eş zamanlığı bulunmayan çalışmaların skorlandırılması durumunda bu soruda; bu konu değerlendirme dışı, olarak ele alınacak ve toplamlarda bulunmayacaktır.

8-) Takip Listesi Varlığı

İzlenme özelliği taşıyan tüm çalışmalarda olguların hepsinin çalışmayı uygun şekilde (konu olayı göstererek veya göstermeden) bitirmesine pek rastlanmaz ve bazen büyük oranlara erişebilen kayıplar oluşur. Kayıpların ne zaman, bilinenlerin hangi nedenle çalışmadan çıktıkları (Bazıları geçerli nedenlerle araştırmacı tarafından dışlanmış olabilir) sonuçların yorumunda önem taşır.

9-) Başlangıç Özellikleri ve Karşılaştırma Tablosu

Olayların temel özelliklerinin kümeler çerçevesinde çalışma öncesi döküm ve kıyaslamalarının bulunması ikincil etkenlerin denetimine de ışık tutacaktır.

10-) Çalışma Sonu Değerlendirmeleri

Tedavilere (kümeler) bağlı kıyaslamaların gerek konu özellik, gerekse de (varsa) diğer bazı ikincil özellikler açılarından uygun istatistik yöntemlerle yapılmış olması gerekir. Bu boyut çoklu veya ikili kıyaslamaları içerdiği gibi izlemeye ilişkin (örn; Kaplan Meier, Log rank, v.s) yargılamaları da içermelidir.

11-) Çok Değişkenli Yargılama

Özellikle randomizasyon yapılamamış veya öncül durumlarında farklılaşmalar saptanmış çalışmalarda zorunlu olması kaydı ile çok değişkenli yargılamaların bulunması veya ikincil etkenlerin göz önünde bulundurulduğunu açıklayan katmanların yapılmış olması sonuçların geçerliliğini arttıracak ve daha gerçekçi değerlendirmeler ortaya koyacaktır. Durağan veya süre durumla ilgili kıyaslamalar kullanılabilir.

12-) Varılan Yargılarla Sonuçların Uyumu

İstatistiksel yargılamalarla erişilmiş bilgilerin tümünün gerek sonuçların açıklanmasında gerekse de tartışmada tam ve doğru olarak belirtilmelidir (anlamlı çıkmayan konumlarda vurgulanarak).

Bu değerlendirme yaklaşımı çerçevesinde ideal bir randomize klinik çalışma temel zorunlu özellikler boyutunda maksimum 60 puanlık bir skor toplayabilecektir. 2 ölçekte adı geçtiği üzere (6. ve 7.) konu, değerlendirme dışı olabilir ve toplam değerlendirme 50 puan üzerinden gerçekleşir.

B- BİLİMSEL ARAŞTIRMA ÖZEL ÖLÇÜTLERİ

Bu ölçütler salt randomize klinik çalışmaların dışında genelde tüm tıpsal çözümleyici çalışmalarda da bulunması uygun olan başlıklardır. Vurgulanmamış olmaları çalışmanın tüm bilimsel özelliğini yitirmesine neden olmasa bile (Bu bağlamda yokluklarında eksi skorlama yapılmayacaktır) bulunmaları çalışmanın bilimsel kalitesini kesin olarak yükseltecektir. Bu başlık altında 6 ölçüt ele alınmaktadır ve puanlama olarak;

biçiminde önerilmektedir.

1-) Hasta Kabul Protokolü

İkincil etkenleri olabildiğince denetleyebilmek, etik koşulları sağlamak, beklenen etkileri olabildiğince açık gözleyebilmek, yan etkiye yatkın olguları ön fazlarda olsun bulundurmamak, vs. gibi düşüncelerle hangi özellikleri taşıyan olguların çalışmaya katılabileceği belirgin açıklamalarla sınırlandırılabilir. Koşullar yayında veya ekinde belirtilebileceği gibi protokol numarası referans gösterilerek de belirtilebilir. Herhangi bir kısıtlamaya gidilmeden tüm olgular randomizasyona alınıyorsa bu da açıklanmalıdır.

2-) İstatistiksel Değerlendirme Yöntemlerinin Ayrı Bölümde Açıklanması

Yapılan tüm istatistiksel değerlendirmelerin, seçilme nedenlerine de deyinilerek belirtilmesi sonuçların güvenirliğini vurgulamak açısından uygundur. Kullanılan;

3-) Uygun Grafik(ler) Kullanılması

Sonuçların görsel açıdan anlaşılırlığını vurgulamak üzere grafik yöntemlerden yararlanılması uygundur.

4-) Başlık Doğruluğu

Başlık çalışmanın sonuçlarını yansıtmamakla birlikte ana konuyu, çalışma tipini, amacı bazen temel ayrıntıları da vurgulayarak yansıtmalıdır.

5-) Yeterli Açıklayıcılıkta Özet ve Anahtar Kelimeler

Özet ve anahtar kelimeler özellikle ilgilenilen konuların taranmasında çok büyük önem taşımaktadırlar.

6-) Kaynakların Doğruluğu ve Yeterliliği

Kaynakların konu ile yeterince ilgili olması ve gerekli düzeyde ön bilgilenmenin yapıldığını yansıtacak kadar da sayısal yeterlilik taşıması gerekir.

C- İKİNCİL YARARLI ÖZELLİKLER

Bu ölçütler diğer temel özellikleri bulunan bilimsel bir çalışmanın kalitesine yoklukları durumunda ağır olumsuz katkısı olmayan var olmaları ise bir önceki ölçüt tiplerine göre daha az katkı getiren, özel bilgi ve güven zenginleştirici bilgilerdir. Bu bağlamda 6 başlık düşünülmekte ve puanlama olarak:

şeklinde skorlanmaktadır. Bu bölümden idealde 12 puan toplanmaktadır.

1-) Hasta Onayı Varlığının Belirtilmesi

2-) İlave Tedavi Kaydı

3-) Yan Etki Kaydı

4-) Çalışma Grubunda İstatistikçi Varlığı

5-) Güven Aralıkları

6-) Tip II Hata İrdelemesi

Söz konusu 3 bölümün ideal skorları toplamı 96 etmekte ve bunun yarıdan fazlası (60) kesin, zorunlu temel ölçütlerde elde edilmektedir. (A) Temel ölçütler bölümünde yok ya da eksik sonuçlu başlıklar içeren bir çalışmanın diğer bölümlerde de ideal toplam puanlara erişmesi bu skorlama düzeni ile olanaksız görünmektedir. Hatta ikincil özelliklerde (B+C) tam skorlara erişmiş bir çalışmanın da ortalamaya erişememesi bilimsel ana ölçütlere ağırlık vermeyi amaçlamaktadır.

ÖZET 

Randomize kontrollü klinik çalışmalar, elde edilen sonuçlara göre, tanı ve tedavide çok önemli yönelimlerin, kararların alınabileceği bilimsel çalışmalardır. Bundan dolayı gerek yöntembilimsel gerekse de istatistiksel açıdan en azından bilinen, denetlenen hatalardan uzak olmaları gerekir. Bu çalışmalarda pek çok eksiklikler olduğu bilinmektedir.

Bu konuda yapılmış çalışmalar ışığında ağırlıklı olarak randomize kontrollü klinik çalışmaların bilimsel kalitesini ortaya koyacak bir skorlama ölçütleri düzeni oluşturuldu. Bu ölçütlerin çalışmaların bilimsel güvenilirliğini yansıtmada kullanılabileceği gibi, akademik yayın değerlendirmeleri, meta-analiz havuzlarında katılım kararı alınması gibi bazı önemli diğer konularda da yarar sağlayacağı düşünüldü.

Skorlama düzeni olarak 3 ölçüt geliştirildi. Bu 3 ölçüt 1- Yöntembilimsel ve istatistiksel ana ölçütler açısından 12 başlık (maksimum 60 puan) 2- Bilimsel araştırma özel ölçütleri açısından 6 başlık (maksimum 24 puan) 3- İkincil yararlı özellikler ölçütleri açısından 6 başlık (maksimum 12 puan) olarak düzenlendi.

Ana amacımız bilimsel yayınların düzeyini özelde randomize kontrollü klinik çalışmalar boyutunda olabildiğince kapsamlı, nesnel ama sade bir yöntemle sunabilecek skorlama düzenini oluşturmaktı. Buna bağlı olarak önerdiğimiz skorlama yönteminin bir bilimsel yayının içermek zorunda olduğu tüm özellikler kadar ikincil plandaki özellikleri de geleceğe yönelik veya ek zenginleştirici özellikleri de yansıttığını düşünüyoruz ve bu çerçevede bir değerlendirme yönteminin bilimsel düzey belirleme, yayın kabulü, yöntembilim eğitimi, gelişim izleme, vs. gibi pek çok konuda yardımcı olacağını düşünüyoruz.

KAYNAKLAR 

1. Onat A. Türk tıp dış yayınlarında engin potansiyel; 1992 durumu. Türk Kardiyol Dern Arş 1993; 21: 390-401.
2. Irmak Y. İstatistiğin tıp bilimlerindeki kullanımında yanılgı ve yetersizlikler. İstanbul Tıp Fak Mecm 1985; 48: 177-185.
3. Evans M, Pollock A. A score system for evaluating random control clinical trials of prophylaxis of abdominal surgical wound infection. Br J Surg 1985; 72: 256-260.
4. Nicolucci A, Grilli R, Alexanian A, Apolone G, Torri V, Liberati A. Quality evolution, and clinical implications of randomized controlled trials on the treatment of lung cancer. JAMA 1989; 262: 2101-2107.
5. Liberati A, Himel H, Chalmers TC. A quality assesment of randomized control trials of primary treatment of breast cancer. J Clin Oncol 1986; 4: 942-951.
6. Şenocak M. Klinik deneylerde (randomizasyon) rassallama. Cerrahpaşa Tıp Derg 1996; 27: 51-52.

• Anahtar Kelimeler: Randomizasyon, Randomize Kontrollü Çalışma, Klinik Çalışma, Yayın Değerlendirmesi; Key Words: Randomization, Randomized controlled trial, Evaluation of academic papers; Alındığı Tarih: 4 Ocak 2000; Dr. Penbe Çağatay, Prof. Dr. Mustafa Şenocak, M. Sc. İ. Engin Baykal: İÜ Cerrahpaşa Tıp Fakültesi, Biyoistatistik Bilim Dalı; Yazışma Adresi (Address): Dr. P. Çağatay, İÜ Cerrahpaşa Tıp Fakültesi, Biyoistatistik Bilim Dalı, 34303, Cerrahpaşa, İstanbul.