AWS مسیریابی و کش سریع را به سرویس Bedrock LLM اضافه کرد
“`html
کاهش هزینه‌ها با خدمات جدید AWS
به تازگی AWS در کنفرانس re:Invent در لاس‌وگاس از دو ویژگی جدید برای سرویس میزبانی مدل‌های زبان بزرگ (LLM) خود به نام Bedrock رونمایی کرد. این ویژگی‌ها شامل کشینگ و مسیریابی هوشمند درخواست‌ها هستند که به کسب‌وکارها کمک می‌کند تا هزینه‌ها را کاهش دهند و کارایی را افزایش دهند.
خدمات کشینگ
کشینگ به این معناست که شما نیازی به پرداخت هزینه برای پردازش مجدد درخواست‌های مشابه ندارید. با استفاده از این سیستم، AWS ادعا می‌کند که می‌تواند هزینه‌ها را تا 90 درصد کاهش دهد و همچنین زمان پاسخگویی را تا 85 درصد کاهش دهد. مثلاً ادوبی که خدمات کشینگ را روی Bedrock آزمایش کرده، 72 درصد کاهش در زمان پاسخ را مشاهده کرده است.
مسیریابی هوشمند درخواست‌ها
ویژگی دیگر، مسیریابی هوشمند درخواست‌ها است که می‌تواند درخواست‌ها را به مدل‌های مختلف در یک خانواده مدل هدایت کند. این سیستم به‌طور خودکار پیش‌بینی می‌کند که هر مدل چگونه درخواست را اجرا خواهد کرد و سپس درخواست را به مدل مناسب هدایت می‌کند. این کار به کسب‌وکارها کمک می‌کند تا تعادل مناسبی بین عملکرد و هزینه ایجاد کنند.
به عنوان مثال، اگر یک درخواست ساده باشد، نیازی به ارسال آن به مدل‌های گران‌قیمت نخواهید داشت. Dea، مدیر محصول Bedrock، توضیح می‌دهد: “بر اساس ورودی درخواست، سیستم به‌طور دینامیک درخواست را به مدل مناسب ارسال می‌کند.”
بازار جدید Bedrock
در نهایت، AWS بازاری جدید برای مدل‌های تخصصی Bedrock راه‌اندازی می‌کند. با این کار، کاربران می‌توانند مدل‌های خاص را جست‌وجو و انتخاب کنند، در حالی که باید ظرفیت زیرساخت را خودشان مدیریت کنند. AWS در این بازار حدود 100 مدل نوظهور و تخصصی را ارائه خواهد کرد و قرار است مدل‌های بیشتری نیز اضافه شوند.
منبع: techcrunch.com
“`
