اما در نظر گرفتن مدل‌های باز خطرناک و مدل‌های بسته بی‌خطر، ساده‌سازی بیش از حد فاحش است. دفاعی که شرکت‌های هوش مصنوعی پیرامون مدل‌های بسته‌شان ایجاد می‌کنند، کاملاً کامل نیستند و مردم همیشه از این مدل‌ها سوء استفاده می‌کنند، همانطور که گزارش ریسک آنتروپیک به وضوح نشان می‌دهد. اگرچه مدل‌های باز حتی محافظت‌های کمتری در برابر سوء استفاده دارند، بازیگران بد ممکن است همچنان از مدل‌های بسته استفاده کنند، زیرا در دسترس‌تر از مدل‌های باز با قابلیت‌های مشابه هستند، که برای اجرای محلی به تراشه‌های رایانه‌ای بسیار گران‌قیمت نیاز دارند (و حتی اگر می‌خواهید دوباره آنها را آموزش دهید، تراشه‌های بیشتری نیز دارند).
در واقع، برخی از کارشناسان که با بررسی فناوری MIT بر اساس قیاس با نرم افزار منبع باز، استدلال می کنند که مدل های باز دارای مزایای امنیتی نسبت به مدل های بسته هستند. ابزارهای منبع باز، مانند سیستم عامل لینوکس، اغلب امن تر از همتایان متن بسته خود در نظر گرفته می شوند، زیرا آسیب پذیری های آنها توسط جامعه عظیمی از مشارکت کنندگان آنلاین بررسی و اصلاح شده است. به همین ترتیب، جوامع تحقیقاتی می‌توانند به راحتی مدل‌های باز را برای نقص‌های امنیتی آزمایش کنند، حتی اگر رفع این نقص‌ها دشوارتر از بازنویسی یک خط کد باشد.
مدل‌های باز نیز می‌توانند به طور گسترده‌تری نسبت به مدل‌های دفاع سایبری بسته به کار گرفته شوند. هر ابزاری که بتوان از آن برای هک استفاده کرد نیز می تواند برای جلوگیری از آن استفاده شود: مدافعان نرم افزار خود را هک می کنند تا نقص هایی را که نیاز به وصله دارند پیدا کنند. Anthropic با ابتکار Project Glasswing خود نشان داده است که چگونه می تواند برای مدل های بسته کار کند، که به برخی از شرکت های مورد اعتماد اجازه می دهد تا از توانمندترین مدل های خود برای دفاع سایبری استفاده کنند. اما بسیاری از شرکت های دیگر به حال خود رها شدند.
با این حال، مدل های باز را می توان بسیار بیشتر مورد استفاده قرار داد. پس از هک شدن توسط عوامل OpenAI، Hugging Face این واقعیت را برجسته کرد که برای تجزیه و تحلیل هک باید به یک مدل باز وابسته بود، زیرا سؤالاتی در مورد آن باعث ایجاد فیلترهای امنیتی مدل های بسته می شد.
با این حال، بسیاری از کارشناسان هنوز الگوهای باز را خطرناک تر از الگوهای بسته می دانند. منطق امنیتی منبع باز آزمایش شده با زمان، لزوماً در هنگام برخورد با ابزارهایی به قدرتمندی مدل های امروز و فردا نمی ماند. سیگر می‌گوید: «جایی که پیچیده‌تر می‌شود، زمانی است که شما شروع به جدی گرفتن موارد یک‌بار از حوادث فاجعه‌باری می‌کنید که ممکن است احتمال کمتری داشته باشند، اما اگر اتفاق بیفتند، فاجعه‌بار خواهند بود. به عنوان مثال، اگر امروز یک الگوی هک باز فوق العاده قدرتمند در جهان منتشر شود، یک بازیگر بد می تواند زیرساخت های فناوری ما را قبل از اینکه کسی فرصتی برای تقویت دفاعی خود داشته باشد ویران کند. بازیابی از چنین رویدادی غیرممکن است.
وقتی در نظر بگیرید که مدل ها به تنهایی چه کاری می توانند انجام دهند، خطرات می تواند حتی چشمگیرتر به نظر برسد. هک OpenAI Hugging Face فقط به این دلیل اتفاق افتاد که مدل‌های این شرکت با حذف بسیاری از نرده‌های امنیتی سایبری آزمایش شدند و مدل‌های باز در وهله اول دارای گاردریل‌های بسیار کمی هستند. اگر مدل‌های باز تصمیم به رفتار نادرست داشته باشند، تشخیص اینکه چه اتفاقی در حال رخ دادن است، می‌تواند سخت باشد زیرا آنها بسیار غیرمتمرکز هستند. به همین دلیل، افرادی که خطرات فاجعه‌بار احتمالی ناشی از عوامل سرکشی مانند داریو آمودی را جدی می‌گیرند، نسبت به مدل‌های باز تردید بیشتری دارند.
آیا می توانیم مدل های باز را ایمن تر و بازتر کنیم؟
چند سال پیش، بحث مدل‌های باز چارچوبی برای همه یا هیچ داشت: شما یا از مدل‌های باز به دلیل پتانسیل آنها برای مبارزه با تمرکز قدرت حمایت می‌کردید، یا به دلیل خطرات امنیتی آنها را رد می‌کردید. با این حال، این روزها، مردم تمام تلاش خود را می کنند تا نوعی حد وسط پیدا کنند. یکی از راه هایی که آنها این کار را انجام می دهند، توسعه تکنیک هایی برای کاهش خطرات ایمنی مدل های باز است.
اکثر ابزارهای ایمنی که برای مدل های بسته استفاده می شود، مانند فیلترها و مانیتورینگ، برای مدل های باز قابل استفاده نیستند، اما گزینه های دیگری نیز وجود دارد. برخی از محققان علاقه مند هستند مدل هایی را آموزش دهند که هرگز در معرض داده های آموزشی قرار نگیرند که به آنها رفتار بد یا نامطلوب می آموزد – برای مثال یک مدل باز که هرگز هک کردن را نمی آموزد. اما تمیز کردن مجموعه داده های آموزشی از همه مراجع به رفتار بد بدون آسیب رساندن به عملکرد مدل یک چالش باقی مانده است.
