جهش رو به جلوی هوش مصنوعی با ادغام داده‌های خصوصی در مدل‌های زبان بزرگ

یک پروژه منبع‌باز با نام LlamaIndex به منظور رفع محدودیت‌های LLMها، اقدام به ادغام داده‌های خصوصی در مدل‌های زبان بزرگ کرد. در اصل این پروژه برای غلبه بر محدودیت‌های GPT-3 برای کار با داده‎های خصوصی طراحی شده و یک رابط مرکزی برای اتصال LLM با منابع داده خارجی فراهم می‌آورد.

به گزارش هوشیو، در پاییز گذشته، جری لیو دانشمند تحقیقاتی سابق اوبر، پس از کار با مدل هوش مصنوعی تولید متن GPT-3 OpenAI، «محدودیتی» را در توانایی مدل برای کار با داده‌های خصوصی کشف کرد. برای حل این مشکل، او یک پروژه منبع‌باز به نام LlamaIndex را راه‌اندازی کرد که برای باز کردن قابلیت‌ها و استفاده از ویژگی‌های مدل‌های زبان بزرگ (LLM) مانند GPT-3 و GPT-4 طراحی شده بود .

لیو در یک مصاحبه ایمیلی به TechCrunch گفت:«LLMها قابلیت‌های باورنکردنی برای استخراج اطلاعات و استدلال ارائه می‌دهند، آنها می‌توانند پاسخ‌گویی به سؤالات، خلاصه‌سازی اطلاعات و حتی تصمیم‌گیری‌های متوالی را بر اساس مقادیر زیادی از داده‌ها انجام دهند، اما با این‌حالLLM ها محدودیت‌هایی دارند.»

با افزایش محبوبیت پروژه (با میزان ۲۰۰۰۰۰ بارگیری ماهانه)، لیو به نیروهای  Simon Suo، یکی از همکاران قدیمی خود در  Uber پیوست تا LlamaIndex را به یک شرکت تمام عیار تبدیل کند. در‌حال‌حاضر، LlamaIndex  چارچوبی را ارائه می‌دهد که متشکل از مجموعه‌ای از ابزارها و عملکردهای از پیش ساخته شده که می‌تواند به توسعه‎دهندگان کمک نماید از قابلیت‌های مدل‌های زبان بزرگ (LLM) بر روی داده‌های شخصی یا سازمانی خود استفاده کنند. این چارچوب کار توسعه‌دهندگان را آسان‌تر می‌کند، تا LLM‌ها را بدون نیاز به ساختن ابزارها و عملکردهای لازم، از همان ابتدا در پروژه‌های خود استفاده نمایند.

چارچوب LlamaIndex به توسعه‌دهندگان این امکان را می‌دهد که انواع مختلفی از داده‌ها را از منابع مختلفی مانند PDF، پاورپوینت، برنامه‌هایی مانند Notion و Slack و پایگاه‌های داده‌ای مانند Postgres و MongoDB به LLM وارد کنند. این چارچوب شامل رابط‌هایی است که دسترسی توسعه‌دهندگان به منابع و قالب‌های مختلف داده را آسان‌تر می‌کند و همچنین ابزارهایی را برای کمک به ساختار داده‌ها فراهم می‌کند، تا بتوان به‌راحتی با LLM از آنها استفاده کرد.

علاوه‌بر‌این، LlamaIndex دارای یک رابط کاربری ساده برای بازیابی اطلاعات و پرس‌و‌جو است که به توسعه‌دهندگان این امکان را می‎دهد تا اطلاعاتی را از مدل های زبان بزرگ دریافت کنند.

لیو گفت:«چارچوب‌های دیگری برای ساخت برنامه‌های کاربردی با مدل‌های زبان بزرگ (LLM) در دسترس هستند، اما چارچوب LlamaIndex متمایز است، زیرا به طور خاص برای کمک به اتصال منابع داده‌های مختلف با LLM طراحی شده. LlamaIndex طیف وسیعی از ابزارها را برای وارد کردن داده‌ها و مدیریت آن‌ها فراهم می‌کند که استفاده از LLM را برای توسعه‌دهندگان آسان‌تر می‌کند، تا بینش‌هایی را از داده‌های خود استخراج کنند.» به زبان ساده، LlamaIndex مجموعه‌ای تخصصی از ابزارها را ارائه می‌دهد که استفاده از LLM‌ها را با انواع مختلف داده آسان‌تر می‌کند.

لیو گفت:« LlamaIndex به گونه‌ای طراحی‌شده که با فناوری‌های جدید و در حال تکامل سازگار باشد. LlamaIndex به یک فناوری یا پلت‌فرم محدود نمی‌شود، بنابراین می‌توان آن را با ظهور فناوری‌های جدید، به روز یا اصلاح کرد. صنعت هوش مصنوعی آنقدر سریع در حال حرکت است که هر پشته فناوری در حال ظهور، احتمالاً ظرف چند ماه آینده تغییر خواهد کرد.»