استارتاپ Pruna AI فریمورک فشرده‌سازی مدل‌های هوش مصنوعی را متن‌باز کرد

استارتاپ Pruna AI یک راهکار نوآورانه برای بهینه‌سازی مدل‌های هوش مصنوعی ارائه می‌دهد که قابلیت کار با انواع مختلف مدل‌ها از جمله مدل‌های زبانی بزرگ، مدل‌های پخش، مدل‌های گفتار به متن و مدل‌های بینایی کامپیوتر را دارد.
این چارچوب با استفاده از تکنیک‌های مختلف مانند تقطیر، امکان کاهش اندازه و افزایش سرعت مدل‌های هوش مصنوعی را فراهم می‌کند. برای مثال، آنها موفق شده‌اند مدل Llama را هشت برابر کوچک‌تر کنند بدون اینکه کیفیت آن به طور قابل توجهی کاهش یابد.
مدیران Pruna AI معتقدند این راهکار می‌تواند برای شرکت‌ها یک سرمایه‌گذاری مقرون به صرفه باشد که هزینه‌های پردازشی را به طور قابل توجهی کاهش می‌دهد. /