vLLM: خادم استدلال للنماذج
منظومة لتقديم استدلال نماذج لغوية مع إدارة طلبات وتشغيل على بنية مناسبة.

الخلاصة: منظومة لتقديم استدلال نماذج لغوية مع إدارة طلبات وتشغيل على بنية مناسبة.
ما الذي يقدمه هذا المصدر؟
منظومة لتقديم استدلال نماذج لغوية مع إدارة طلبات وتشغيل على بنية مناسبة.
نوعه ضمن مكتبة مفيد AI: المشاريع المفتوحة. هذه الصفحة وصف عربي أصلي ومختصر لطريقة الاستفادة من المصدر، وليست إعادة نشر لمحتواه أو ضمانًا لملاءمته لكل مشروع.
حالة استخدام واقعية
اختبار خادم نماذج على بيئة معزولة لحساب السعة والمهلة وزمن أول رمز.
كيف تبدأ بطريقة قابلة للفحص؟
حدد النموذج والذاكرة المتاحة وعدد الطلبات المتزامنة، واختبر الفشل وإعادة التشغيل.
المتطلبات والحدود
متطلبات العتاد والتوافق تختلف بحسب الإصدار والنموذج؛ لا تستخدم أرقام أداء من جهاز آخر.
قبل الاعتماد النهائي راجع وثائق المصدر وترخيص المادة أو النموذج المحدد وإصدار الحزمة إن كان ذلك منطبقًا؛ لم تُفحص الإصدارات أو الرخص الحية آليًا وقت إعداد هذه الحزمة.
اختبار قبول عملي
قِس استهلاك الذاكرة والكمون عند أحمال مماثلة للاستخدام المتوقع.
المرجع الأصلي
افتح موقع المصدر أو توثيقه الرسمي؛ راجع تحديثاته وشروط الاستخدام في المصدر نفسه.



