یکی از اولین تصمیم‌های معماری در پروژه‌های هوش مصنوعی این است که مدل کجا اجرا شود. سه رویکرد اصلی وجود دارد: Cloud API، Self-Hosted و Hybrid. هیچ‌کدام در تمام شرایط برنده نیست.
Cloud API
در این معماری مدل توسط Provider اجرا می‌شود و نرم‌افزار از طریق API با آن ارتباط برقرار می‌کند. بزرگ‌ترین مزیت این روش سادگی است: نیازی به خرید GPU، مدیریت Driver، CUDA، Serving، Scaling یا مانیتورینگ مدل ندارید. همچنین معمولاً به مدل‌های قدرتمندتر و جدیدتر دسترسی خواهید داشت.
معایب Cloud
هزینه بر اساس مصرف می‌تواند افزایش پیدا کند، Latency به اینترنت و فاصلهٔ شبکه وابسته است، وابستگی به Provider ایجاد می‌شود و در پروژه‌های حساس باید Data Policy سرویس بررسی شود. جزئیات این موضوع در آیا ارسال اطلاعات سازمانی به API امن است؟ آمده است.
Self-Hosted
در این روش مدل روی سرور، دیتاسنتر یا زیرساخت Cloud خود سازمان اجرا می‌شود. کنترل بیشتر روی داده یکی از دلایل اصلی انتخاب این معماری است؛ همچنین در حجم پردازش بسیار بالا، هزینهٔ ثابت GPU در بعضی سناریوها می‌تواند از API اقتصادی‌تر شود.
اما Self-Hosting رایگان نیست: علاوه بر GPU باید هزینهٔ RAM، Storage، برق، خنک‌سازی، نگهداری، DevOps، Monitoring و نیروی متخصص را نیز در نظر گرفت.
Self-Hosted همیشه خصوصی‌تر است؟
نه لزوماً. اگر مدل داخلی باشد اما Logها بدون رمزنگاری ذخیره شوند یا سرور امنیت مناسبی نداشته باشد، سیستم همچنان آسیب‌پذیر است. Self-Hosted کنترل بیشتری می‌دهد؛ امنیت را به‌طور خودکار تضمین نمی‌کند.
Hybrid
در بسیاری از پروژه‌های واقعی، معماری Hybrid تعادل بهتری ایجاد می‌کند. مثلاً:
- Embedding داخلی
- Vector Database داخلی
- اسناد داخلی
- مدل کوچک محلی برای وظایف ساده
- مدل Cloud برای مسائل دشوار
در این حالت می‌توان اطلاعات حساس را قبل از ارسال حذف یا Mask کرد.
هزینه چگونه مقایسه می‌شود؟
Cloud بیشتر شبیه هزینهٔ متغیر است: اگر استفاده کم باشد، تقریباً فقط بابت همان مقدار استفاده پرداخت می‌کنید. Self-Hosted بیشتر هزینهٔ ثابت دارد؛ حتی اگر GPU استفاده نشود، سرمایهٔ سخت‌افزاری همچنان وجود دارد. بنابراین برای مقایسه باید تعداد Token، Concurrent User، ساعات استفاده، SLA و قیمت سخت‌افزار محاسبه شود.
Latency
اگر کاربران داخل همان شبکه باشند، یک مدل Local کوچک ممکن است پاسخ بسیار سریعی بدهد؛ اما مدل بسیار بزرگی که روی سخت‌افزار ناکافی اجرا شده ممکن است از API ابری بسیار کندتر باشد. بنابراین Local بودن به‌تنهایی به معنی سریع‌تر بودن نیست.
چه زمانی Hybrid جذاب است؟
زمانی که اطلاعات حساس دارید، در عین حال به مدل‌های بسیار قدرتمند Cloud نیاز دارید، بعضی Taskها ساده و پرتکرار هستند، یا نمی‌خواهید کاملاً به یک Provider وابسته شوید. در چنین شرایطی ترکیب چند مدل و چند زیرساخت می‌تواند منطقی باشد. برای بررسی سخت‌افزار مورد نیاز مدل‌های محلی، سخت‌افزار لازم برای اجرای LLM را بخوانید.