انتشار یکی از بزرگ‌ترین دیتاست‌های قانونی هوش مصنوعی توسط EleutherAI با Common Pile

سازمان تحقیقاتی EleutherAI یکی از بزرگ‌ترین مجموعه‌های متنی دارای مجوز و منبع‌باز برای آموزش هوش مصنوعی را منتشر کرد. 📚
این دیتاست با نام Common Pile v0.1 در همکاری با استارتاپ‌هایی مانند Hugging Face طی دو سال آماده شده و ۸ ترابایت حجم دارد. 💾
بر اساس آن، دو مدل جدید Comma v0.1-1T و Comma v0.1-2T توسعه یافتند که به‌گفته‌ی EleutherAI با مدل‌های دارای داده‌های بدون مجوز رقابت می‌کنند. 🤖
در حالی‌که بسیاری از شرکت‌های هوش مصنوعی به‌خاطر استفاده از داده‌های دارای حق‌نشر تحت پیگردند، EleutherAI شفافیت را اصل خود می‌داند. ⚖️
این دیتاست با مشاوره حقوقی و با تکیه بر منابعی چون ۳۰۰ هزار کتاب دامنه عمومی تولید شده است. 📘
هدف این پروژه، اثبات امکان ساخت مدل‌های قدرتمند بر پایه داده‌های قانونی و منبع‌باز است. ✅
EleutherAI قول داده در آینده دیتاست‌های شفاف‌تری را با همکاری دانشگاه‌ها و شرکت‌ها منتشر کند. 🔄