BYOK — למה זה בלתי-מתפשר בסביבה מפוקחת

ספקי AI מציעים בדרך כלל שני מצבי חיוב: pool משותף שבו משלמים מעטפה קבועה המכסה טוקנים, או מצב BYOK שבו מזינים את מפתח ה-API שלכם ומשלמים ישירות לספק.

ב-SaaS סטנדרטי, ה-pool המשותף נוח. בסביבה מפוקחת — הוא בלתי-ניתן לתמיכה.

הבעיה עם pool משותף

כאשר הספק מעמיד את מפתח OpenAI / Anthropic / Mistral לרשות כל לקוחותיו דרך מפתח-אב יחיד:

1. מאבדים את הפירוט החשבונאי. אי-אפשר להוכיח לרואה החשבון איזה נפח צרכתם בפועל אצל הספק — הוא מחייב אתכם בסכום מצטבר.
2. מאבדים את העקבה החוזית. הנתונים שלכם עוברים דרך חשבון הספק. הסכם עיבוד הנתונים (DPA) עם OpenAI כבר לא מכסה אתכם ישירות.
3. מאבדים שליטה על המודל. הספק יכול לעבור ממודל A למודל B בשקט, מטעמי עלות. ה-benchmarks שלכם מתרסקים ואתם לא יודעים מדוע.
4. מאבדים ביטול מיידי. במקרה אירוע, אי-אפשר לבטל את המפתח מבלי לפנות לספק.

מה BYOK מבטיח

עם BYOK:

• הפרומפטים וההשלמות שלכם עוברים ישירות בין חשבון הספק שלכם ל-betool — לא דרך חשבון צד שלישי משותף.
• ה-DPA שלכם עם הספק נשאר השרשרת החוזית היחידה. אין קבלנות-משנה אטומה.
• החיוב שלכם קריא: OpenAI מחייב אתכם, אתם רואים כל שורה. betool גובה מכם רק את עלות האורקסטרציה.
• הביטול מיידי: מחדשים את המפתח אצל הספק — המודל בלתי-נגיש תוך שנייה.

הגרסה הפרטית — מודלים עצמאיים

לארגונים דורשניים באמת — בנקאות, ביטחון, בריאות — אפילו BYOK אינו מספיק: שליחת פרומפטים ל-OpenAI או Anthropic עדיין מהווה העברת מידע לארצות הברית.

הפתרון הוא מודל פרטי:

• Ollama על ה-GPU שלכם, למודלים open-source (Llama, Qwen, Mistral, DeepSeek).
• vLLM על אשכול GPU לייצור בעל תפוקה גבוהה.
• Azure OpenAI / AWS Bedrock כשיש לכם חוזה ענן פרטי.

הפרומפטים שלכם לעולם לא יוצאים מהפרימטר שלכם. זמן ההשהייה בשליטתכם. הציות — מלא.

מה זה עולה

המיתוס אומר שאחסנה עצמאית של LLM עולה הון. במציאות, עבור מודלים open-source מודרניים ממחלקת Llama 3 / Qwen 2:

• שרת GPU bi-A100 80 GB יכול לשרת Llama-3 70B בייצור.
• בשימוש מתון (כמה אלפי exchanges ביום), GPU A6000 בודד מספיק לשרת מודל 32B עם זמן השהייה מתחת לשנייה.
• עלות פחת חודשית: כ-$2,000 עד $5,000 בהתאם לאסטרטגיית הרכישה (השכרה לעומת קנייה).

בהשוואה לשימוש שקול ב-OpenAI על פני 12 חודשים, ההשקעה מחזירה את עצמה תוך מספר חודשים בנפחים רציניים — וה-ROI מתהפך לחלוטין כשיש אילוצי ריבונות שהופכים את OpenAI לאופציה לא קבילה.

הבחירה שלנו

betool הוא BYOK נייטיב מיום הראשון. אי-אפשר להשתמש בפלטפורמה מבלי לחבר את המפתחות שלכם. זה מכוון:

• ה-pool המשותף יוצר חוב ציות שאנחנו מסרבים ליטול על עצמנו עבור לקוחותינו המפוקחים.
• האסימטריה בין «לקוחות קטנים» ל«לקוחות גדולים» בנושא ריבונות פשוט לא מקובלת עלינו.
• החוויה שאנחנו רוצים לבנות — «אני רואה בדיוק מה אני צורך, היכן, ואצל מי» — אפשרית רק ב-BYOK.

כן, יש כאן מגבלה נוספת ב-onboarding (15 דקות לאחזור מפתח אצל הספק שלכם). אבל זוהי השקעה שמשתלמת לאורך זמן.