مقاله پژوهشی حاضر با همکاری مشترک OpenAI و دانشگاه هاروارد به بررسی این ایده میپردازد که مدلهای زبانی بزرگ (بهویژه GPT) میتوانند بهعنوان ابزارهای سنجش و اندازهگیری در پژوهشهای علوم اجتماعی و دادههای کیفی به کار گرفته شوند. نویسندگان در ابتدا چارچوب نرمافزاری GABRIEL را معرفی میکنند که برای استخراج و کمیسازی ویژگیها از متون غیرساختیافته طراحی شده است؛ برای مثال، سنجش گرایشهای مفهومی مانند میزان «نوآوریمحور بودن» یک سخنرانی یا سطح «سمّیت» در محتوای شبکههای اجتماعی.
مقاله ادعا میکند که GPT در مجموعهای گسترده از بیش از هزار وظیفه برچسبگذاری و ارزیابی، در سطحی قابلمقایسه با ارزیابهای انسانی عمل میکند. این عملکرد در حوزههای مختلف پایدار بوده و به طور معناداری به تغییرات در شیوه پرامپتنویسی وابسته نیست. همچنین نتایج نشان میدهد که این مدلها لزوماً از آلودگی دادههای آموزشی یا استنتاج غیرمستقیم بین ویژگیها استفاده نمیکنند، بلکه قادر به انجام سنجشهای مستقل هستند. مقاله نشان میدهد که این قابلیت امکان ساخت دادههای جدید در مقیاس بزرگ را فراهم میکند؛ از جمله تحلیل روندهای تاریخی در سخنرانیهای کنگره، بررسی محتوای شبکههای اجتماعی و حتی ایجاد پایگاه دادهای شامل دهها هزار فناوری. در مجموع، مقاله استدلال میکند که GPT میتواند بهعنوان یک ابزار سنجش مقیاسپذیر، ارزان و نسبتاً قابلاعتماد، دامنه پژوهشهای قابلانجام بر دادههای کیفی را به طور قابلتوجهی گسترش دهد.
