تبریز امروز:
دنیس ام. گورمن
استاد اپیدمیولوژی و آمار زیستی، دانشگاه A&M تگزاس
در اوایل همه‌گیری کووید-19، محققان نشریات را پر از مطالعات درباره ویروس کرونا کردند. بسیاری از نشریات فرآیند بررسی همتا را برای مقالات کووید-19 ساده کردند و در عین حال نرخ پذیرش را نسبتاً بالا نگه داشتند. فرض بر این بود که سیاستگذاران و مردم قادر خواهند بود تحقیقات معتبر و مفید را در میان حجم بسیار زیادی از اطلاعات به سرعت منتشر شده شناسایی کنند.
با این حال، در بررسی 74 مقاله کووید-19 منتشر شده در سال 2020 در 15 مجله برتر سلامت عمومی عمومی فهرست شده در Google Scholar، متوجه شدم که بسیاری از این مطالعات از روش های با کیفیت پایین استفاده می کنند. چندین بررسی دیگر از مطالعات منتشر شده در مجلات پزشکی نیز نشان داده اند که بسیاری از تحقیقات اولیه کووید-19 از روش های تحقیقاتی ضعیف استفاده می کردند.
برخی از این مقالات بارها مورد استناد قرار گرفته اند. به عنوان مثال، پراستنادترین نشریه بهداشت عمومی فهرست شده در Google Scholar از داده‌های یک نمونه 1120 نفری استفاده کرد که عمدتاً زنان جوان تحصیلکرده بودند که عمدتاً از رسانه‌های اجتماعی در طی سه روز استخدام شده بودند. یافته‌های مبتنی بر یک نمونه ساده کوچک و خود انتخابی را نمی‌توان به جمعیت وسیع‌تری تعمیم داد. و از آنجایی که محققان بیش از 500 تجزیه و تحلیل از داده ها را انجام دادند، بسیاری از نتایج آماری معنی دار احتمالاً اتفاقی هستند. با این حال، این مطالعه بیش از 11000 بار ذکر شده است.
یک مقاله با استناد بالا به این معنی است که بسیاری از افراد در کار خود به آن اشاره کرده اند. اما تعداد زیاد استنادها به شدت با کیفیت تحقیق مرتبط نیست، زیرا محققان و مجلات می توانند این معیارها را دستکاری کنند. استناد بالا به تحقیقات با کیفیت پایین، احتمال استفاده از شواهد ضعیف برای اطلاع رسانی سیاست ها را افزایش می دهد و اعتماد عمومی به علم را بیشتر از بین می برد.
روش شناسی مهم است
من یک محقق بهداشت عمومی با علاقه دیرینه به کیفیت و یکپارچگی تحقیقات هستم. این علاقه در این باور نهفته است که علم به حل مشکلات مهم اجتماعی و بهداشت عمومی کمک کرده است. برخلاف جنبش ضد علم که اطلاعات نادرست را درباره اقدامات موفق بهداشت عمومی مانند واکسن ها منتشر می کند، معتقدم انتقاد منطقی برای علم اساسی است.
کیفیت و یکپارچگی تحقیق تا حد زیادی به روش آن بستگی دارد. هر نوع طراحی مطالعه باید ویژگی های خاصی داشته باشد تا بتواند اطلاعات معتبر و مفیدی را ارائه دهد.
به عنوان مثال، محققان برای دهه‌ها می‌دانستند که برای مطالعاتی که اثربخشی یک مداخله را ارزیابی می‌کنند، به یک گروه کنترل نیاز است تا بدانند آیا می‌توان اثرات مشاهده‌شده را به مداخله نسبت داد.
مرورهای سیستماتیک که داده‌های مطالعات موجود را جمع‌آوری می‌کند باید توضیح دهد که چگونه محققان مطالعات را شناسایی کرده‌اند، کیفیت آنها را ارزیابی کرده، داده‌ها را استخراج کرده و پروتکل‌های خود را از قبل ثبت کرده‌اند. این ویژگی‌ها برای اطمینان از اینکه مرور همه شواهد موجود را پوشش می‌دهد و به خواننده می‌گوید کدام ارزش توجه دارد و کدام نه، ضروری است.
انواع خاصی از مطالعات، مانند بررسی‌های یک‌باره از نمونه‌های آسان که نماینده جامعه هدف نیستند، داده‌ها را به گونه‌ای جمع‌آوری و تجزیه و تحلیل می‌کنند که به محققان اجازه نمی‌دهد تعیین کنند که آیا یک متغیر باعث یک نتیجه خاص شده است یا خیر.
بررسی های سیستماتیک شامل شناسایی کامل و استخراج اطلاعات از تحقیقات موجود است.
همه طرح های مطالعاتی دارای استانداردهایی هستند که محققان می توانند از آنها استفاده کنند. اما رعایت استانداردها سرعت تحقیقات را کند می کند. وجود یک گروه کنترل، حجم داده‌هایی را که باید جمع‌آوری شود، دو برابر می‌کند، و شناسایی و بررسی کامل هر مطالعه در مورد یک موضوع، زمان بیشتری نسبت به بررسی سطحی برخی از آنها می‌برد. تولید نمونه‌های نماینده سخت‌تر است و جمع‌آوری داده‌ها در دو نقطه از زمان کار بیشتری نسبت به جمع‌آوری همه آنها در یک زمان است.
مطالعاتی که مقاله‌های کووید-19 را با مقالات غیر کووید-19 منتشر شده در همان مجلات مقایسه می‌کند، نشان می‌دهد که مقالات کووید-19 تمایل به روش‌های با کیفیت پایین‌تری دارند و احتمال کمتری دارد که استانداردهای گزارش‌دهی را نسبت به مقالات غیرکووید-19 رعایت کنند. مقالات کووید-19 به ندرت فرضیه ها و برنامه هایی از پیش تعیین شده برای نحوه گزارش یافته های خود یا تجزیه و تحلیل داده های خود داشتند. این بدان معناست که هیچ حفاظتی در برابر لایروبی داده ها برای یافتن «معنای آماری» وجود ندارد
چنین مشکلات روش شناختی احتمالاً در فرآیند بررسی همتایان کوتاه شده برای مقالات کووید-19 نادیده گرفته شده است. یک مطالعه میانگین زمان از ارسال تا پذیرش 686 مقاله در مورد کووید-19 را 13 روز تخمین زد، در حالی که 110 روز در 539 مقاله قبل از همه گیری از همان مجلات بود. در مطالعه‌ام، دریافتم که دو مجله آنلاین که حجم بسیار بالایی از مقاله‌های ضعیف روش‌شناسی کووید-19 را منتشر کرده‌اند، یک فرآیند بررسی همتایان در حدود سه هفته داشتند.
فرهنگ منتشر کن یا نابود کن
این مسائل کنترل کیفیت قبل از همه‌گیری کووید-19 وجود داشت. شیوع کووید -19 به سادگی آنها را به بیش از حد سوق داد.
مجلات تمایل دارند از یافته های مثبت و «جدید» استفاده کنند: یعنی نتایجی که ارتباط آماری بین متغیرها را نشان می دهد و ظاهراً چیزی را که قبلاً ناشناخته است شناسایی می کند. از آنجایی که همه‌گیری از بسیاری جهات جدید بود، فرصتی را برای برخی از محققان فراهم کرد تا ادعاهای جسورانه‌ای در مورد چگونگی گسترش کووید-19، تأثیرات آن بر سلامت روان، نحوه پیشگیری و درمان آن داشته باشند.
بسیاری از محققین برای پیشرفت شغلی خود فشاری برای انتشار مقالات دارند.
دانشگاهیان برای دهه‌ها در یک سیستم تشویقی انتشار یا نابود شدن کار کرده‌اند، که در آن تعداد مقالاتی که منتشر می‌کنند بخشی از معیارهای مورد استفاده برای ارزیابی اشتغال، ارتقاء و تصدی شغل است. سیل اطلاعات با کیفیت مختلط کووید-19 فرصتی را برای افزایش تعداد انتشارات آنها و افزایش معیارهای استناد فراهم کرد زیرا مجلات به دنبال و بررسی سریع مقالات کووید-19 بودند که احتمال استناد به آنها بیشتر از مقالات غیر کووید-19 بود.
انتشار آنلاین نیز به افت کیفیت تحقیقات کمک کرده است. انتشارات آکادمیک سنتی از نظر تعداد مقالات محدود بود زیرا مجلات در یک سند چاپی و فیزیکی بسته بندی می شدند که معمولاً فقط یک بار در ماه تولید می شد. در مقابل، برخی از مگا مجلات آنلاین امروزی هزاران مقاله در ماه منتشر می کنند. مطالعات با کیفیت پایین که توسط مجلات معتبر رد شده اند همچنان می توانند رسانه ای را پیدا کنند که با پرداخت هزینه آن را منتشر کند.
انتقاد سالم
انتقاد از کیفیت تحقیقات منتشر شده مملو از خطر است. می توان از آن به عنوان سوخت بر آتش خروشان ضد علم تعبیر کرد. پاسخ من این است که رویکرد انتقادی و منطقی به تولید دانش، در واقع، برای خود عمل علم و عملکرد یک جامعه باز است که قادر به حل مشکلات پیچیده ای مانند یک بیماری همه گیر جهانی است.
انتشار حجم زیادی از اطلاعات نادرست که به عنوان علم در طول یک بیماری همه گیر پنهان شده اند، دانش واقعی و مفید را مبهم می کند. در بدترین حالت، این می تواند به عملکرد و سیاست های بهداشت عمومی بد منجر شود.
علمی که به درستی انجام شود اطلاعاتی را تولید می کند که به محققان و سیاست گذاران اجازه می دهد جهان را بهتر درک کنند و ایده هایی را در مورد چگونگی بهبود آن آزمایش کنند. این شامل بررسی انتقادی کیفیت طرح‌های یک مطالعه، روش‌های آماری، تکرارپذیری و شفافیت است، نه تعداد دفعاتی که درباره آن استناد شده یا توییت شده است.
علم به یک رویکرد آهسته، متفکرانه و دقیق برای جمع‌آوری، تجزیه و تحلیل و ارائه داده‌ها بستگی دارد، به‌ویژه اگر قصد ارائه اطلاعاتی برای اعمال سیاست‌های مؤثر بهداشت عمومی را داشته باشد. به همین ترتیب، بررسی متفکرانه و دقیق از سوی همتایان در مورد مقالاتی که تنها سه هفته پس از اولین ارسال برای بازبینی در چاپ ظاهر می شوند، بعید است. رشته‌هایی که به کمیت تحقیق به جای کیفیت پاداش می‌دهند، احتمال کمتری دارد که از یکپارچگی علمی در طول بحران محافظت کنند.
علم دقیق مستلزم تامل و توجه دقیق است نه عجله
بهداشت عمومی به شدت بر رشته هایی استوار است که در حال تجربه بحران های تکراری هستند، مانند روانشناسی، علوم زیست پزشکی و زیست شناسی. از نظر ساختار انگیزشی، طرح‌های مطالعه و روش‌های تحلیلی و بی‌توجهی به روش‌های شفاف و تکرار، مشابه این رشته‌ها است. بسیاری از تحقیقات بهداشت عمومی در مورد کووید-19 نشان می دهد که از روش های مشابه بی کیفیت رنج می برد.
بررسی مجدد اینکه چگونه این رشته به دانش پژوهان خود پاداش می دهد و حمایت آنها را ارزیابی می کند، می تواند به آمادگی بهتر برای بحران بهداشت عمومی بعدی کمک کند.
