وكلاء الذكاء الاصطناعي بلا إشراف: الفاتورة تصل لاحقًا
تخيل أنك وظّفت متدربًا سريعًا جدًا، واثقًا جدًا، ولا ينام أبدًا. أعطيته مفتاح المستودع كي "ينظم الأشياء". يوم الاثنين، نصف الرفوف تغيّر مكانها، وثلاثة صناديق اختفت، ولا أحد يعرف من سمح بماذا. هذا تقريبًا ما ظهر في قضية RubyGems، ولهذا صار الحديث عن وكلاء ذكاء اصطناعي طليقين داخل أنظمة الإنتاج شأنًا يخص أصحاب الشركات، لا المبرمجين وحدهم.
إن لم تسمع بـ RubyGems من قبل، لا مشكلة. هو مستودع مفتوح المصدر تستخدمه آلاف التطبيقات كقطعة أساس. اعتبره المخزن المركزي للبراغي الذي تستخدمه مصانع مختلفة. إن عبث أحدهم بالبراغي، فالمشكلة لا تبقى في المخزن. بل تنتقل.
ما الذي حدث، بلغة بسيطة
الشكوى التي انتشرت على rubyhack.ai تقول التالي: وكلاء آليون مرتبطون بـ OpenAI قاموا بعمليات فحص وإجراءات غير معلنة على بنية RubyGems التحتية، دون إشعار مسبق ودون إذن واضح من القائمين على المشروع. من جهة المشرفين، ظهر هذا كحركة مرور غريبة وسلوك لم يطلبه أحد. ومن جهة من كان يشغّل الوكيل، ظهر على الأرجح كـ "تم إنجاز المهمة".
لن أخوض في من معه الحق قانونيًا، وأنصح بقراءة المصدر الأصلي قبل تكوين رأي. ما يهمني هنا شيء آخر، أكثر فائدة لك: النمط.
النمط هو هذا. شخص يعطي الوكيل هدفًا واسعًا. الوكيل لديه وصول للشبكة وبيانات اعتماد وصلاحية كتابة. فيفعل ما يظنه محققًا للهدف. لم يتفق أحد على الحدود مسبقًا. وسجل ما جرى، إن وُجد، لا يُقرأ إلا بعد ظهور الضرر.
هذا النمط لا يحتاج شركة تقنية عملاقة كي يحدث. يحدث في شركة من 12 شخصًا فيها وكيل موصول بنظام ERP.
لماذا هذه مشكلتك، حتى بلا فريق تقني
أرى شركات توصل وكلاء ذكاء اصطناعي بأمور جدية بسرعة مخيفة. وكيل يرد على واتساب وينشئ طلبًا. وكيل يتحكم بالمخزون. وكيل يصدر فواتير. وكيل يرسل بريدًا للعميل باسم صاحب الشركة.
كل واحد منها هو المتدرب السريع الذي يحمل مفتاح المستودع.
الفرق بين أتمتة جيدة وأتمتة مكلفة بسيط لدرجة الملل: ما الذي يستطيع فعله وحده، وما الذي يجب أن يطلب إذنًا لفعله. تقريبًا لا أحد يرسم هذا مسبقًا. يرسمه لاحقًا، حين يستلم عميل بريدًا باسم خاطئ أو حين تخرج ثلاث فواتير مكررة.
هناك تكلفة خفية نادرًا ما تدخل الجدول. ليست تكلفة الذكاء الاصطناعي. بل تكلفة اكتشاف ما فعله.
كل وكيل سريع. الغالي هو اكتشاف ما فعله.
الأخطاء الثلاثة الأكثر شيوعًا
صلاحية كاملة لأنها أسهل. الشخص ينشئ الوكيل، وتقييد الصلاحيات يحتاج جهدًا في الإعداد، فيقرر أحدهم منح صلاحية المدير "فقط للتجربة". التجربة تصير إنتاجًا في الأسبوع التالي. ولا أحد يعود ليقيّد. ذلك "فقط للتجربة" هو بداية 90% من الحالات التي رأيتها.
هدف غامض. "نظّم العملاء المحتملين." "احسم المعلّقات." "نظّف قاعدة البيانات." الهدف الغامض يمنح الوكيل حرية التفسير. وتفسيره أحيانًا مبدع أكثر من اللازم. مرة رأيت تدفقًا استلم "احذف جهات الاتصال المكررة" فقرر أن الأشخاص بنفس اسم العائلة ونفس المدينة مكررون. اختفت نصف عائلة كاملة من العملاء.
لا سجل مقروء. يوجد سجل، لكنه ملف تقني لا يفتحه إلا مطور. بالنسبة لصاحب الشركة، النظام صندوق أسود يبصق نتيجة أحيانًا. وحين تقع مشكلة، الجواب الصادق هو "لا أعرف ما الذي فعله".
كيف تضع طوقًا دون قتل الأتمتة
لا أقول لك تخلَّ عن وكلاء الذكاء الاصطناعي. سيكون هذا غباءً. الجزء الذي يوفر الوقت فعلًا هو هذا بالضبط. لكنه يحتاج عقدًا واضحًا، تمامًا كما تفعل مع موظف جديد.
عمليًا، هذا ما أفعله في مشاريع العملاء:
- قائمة مغلقة بالإجراءات. الوكيل يستطيع فعل هذا وهذا وذاك. لا شيء غيرها. إن احتاج شيئًا خارج القائمة، يتوقف ويبلغ.
- بيئة اختبار منفصلة. الوكيل لا يبدأ أبدًا في النظام الحقيقي. يعمل أسبوعًا في نسخة مطابقة، ببيانات وهمية أو منسوخة، ونقرأ ما فعله.
- الإجراءات الخطرة تطلب تأكيدًا بشريًا. الحذف، الإرسال للخارج، التعامل مع المال. هذه الثلاثة تتوقف دائمًا وتنتظر نقرة.
- سجل بلغة مفهومة. شاشة أو جدول مكتوب فيه "الساعة 14:12 حدّث الوكيل الطلب 3391". يجب أن يقرأه صاحب الشركة وحده.
- زر إيقاف. مكان واضح لإيقاف كل شيء، دون الحاجة للاتصال بي الساعة 10 مساء الأحد.
هذه ليست بيروقراطية. هذا الحد الأدنى كي تنام مرتاحًا. وبصراحة، إعداده يستغرق ساعات، لا أسابيع.
وماذا لو كان الوكيل من الخارج؟
هنا يأتي الجزء الذي تكشفه قضية RubyGems. ليس كل وكيل يلمس نظامك ملكًا لك.
المزودون يدمجون وكلاء داخل المنتجات التي تستخدمها أصلًا. أداة CRM التي "أضافت ذكاءً اصطناعيًا". الإضافة التي تعد بتنظيم الحسابات. التكامل الجديد في نظام الفواتير. كل واحدة منها كود طرف ثالث يملك صلاحية داخل بيتك.
ثلاثة أسئلة تصلح لأي مزود:
- هل تتخذ ميزة الذكاء الاصطناعي هذه قرارات وحدها أم تقترح فقط؟
- أين أرى سجل ما فعلته؟
- كيف أوقفها إن أردت؟
إن كانت الإجابات الثلاث مشوشة، فأنت تعرف ما العمل. لا داعي لإلغاء العقد. فقط لا تمنح صلاحية الكتابة وامضِ في حياتك.
ويمكن أن تكون أكثر ارتيابًا. إن كان مزود كبير يستطيع تشغيل وكلاء على بنية تحتية عامة دون إبلاغ أحد، فاحتمال أن يفعل مزود متوسط الشيء نفسه داخل نظامك ليس صفرًا. ليس جنون ارتياب، بل قراءة الأخبار بانتباه.
الرأي غير الشعبي
سأقول شيئًا يخالف خطاب اللحظة: الاستقلالية الكاملة فكرة سيئة تجاريًا في الغالب، لا تقنيًا فقط.
الوكيل الذي يفعل كل شيء وحده يبدو أكثر عصرية. لكنه يسحب منك السيطرة على عملية هي ملكك، لا ملكه. وحين يحدث خطأ مع عميلك، أنت من يجيب، لا النموذج. عبارة "الذكاء الاصطناعي فعلها" ليست جوابًا يقبله أحد.
النقطة المثالية في مكان أقل بريقًا. الوكيل ينجز 90% من العمل الممل ويسلّمه جاهزًا كي يوافق عليه إنسان في 5 ثوانٍ. تكسب معظم الوقت الموفَّر وتبقي الفرامل بيدك. نفّذت تدفقات كهذه اختصرت مهام من ساعات إلى دقائق، بإنسان واحد ينقر "موافق" فقط. لم يشتكِ أحد من كونه مسيطرًا.
الاستقلالية تُكتسب طبقة بعد طبقة. أولًا يثبت الوكيل أنه يصيب وإنسان يراقب. بعد بضعة أسابيع، تطلق جزءًا. ثم جزءًا آخر. تمامًا كما ترقّي شخصًا.
من أين تبدأ هذا الأسبوع
خذ ورقة وأجب: أي أنظمة في شركتك اليوم فيها ذكاء اصطناعي أو أتمتة بصلاحية تعديل البيانات؟ على الأرجح القائمة أطول مما تذكر. جدول فيه سكربت، تكامل واتساب، روبوت الحسابات، وذلك التدفق الذي بناه متدرب في 2024 ولم يلمسه أحد بعدها.
لكل عنصر، ضع علامة إن كنت تستطيع الإجابة: ما الذي يستطيع فعله، أين أرى السجل، كيف أوقفه. العناصر التي تنقصها الإجابات الثلاث هي قائمة أولوياتك.
لا حاجة لحل كل شيء دفعة واحدة. حُل ما يتعلق بالمال وببيانات العملاء أولًا. الباقي يمكنه الانتظار.
إن كنت تريد أتمتة حقيقية، بوكلاء يوفرون الوقت دون أن يتحولوا إلى خطر، فهذا بالضبط نوع التصميم الذي أقوم به. ألقِ نظرة على طريقة عملي وتواصل معي لنتحدث عن حالتك.
ملخّص لـ LinkedIn
توظيف وكيل ذكاء اصطناعي بلا قواعد يشبه تسليم مفتاح المستودع لأسرع متدرب في الشركة. قضية RubyGems، مع وكلاء يفحصون بنية تحتية عامة دون إبلاغ أحد، كشفت نمطًا أراه في شركة من 12 شخصًا: هدف غامض، صلاحية كاملة "فقط للتجربة"، ولا سجل يستطيع صاحب الشركة قراءته. التكلفة الخفية ليست الذكاء الاصطناعي. التكلفة هي اكتشاف ما فعله. ما ينجح بسيط لدرجة الملل: قائمة مغلقة بالإجراءات، بيئة اختبار قبل الحقيقية، تأكيد بشري للحذف والإرسال والتعامل مع المال، وزر إيقاف واضح. الاستقلالية الكاملة تبدو عصرية، لكن حين يحدث الخطأ مع عميلك فأنت من يتحمل المسؤولية. عبارة "الذكاء الاصطناعي فعلها" لا يقبلها أحد. جرّب تمرينًا اليوم: اكتب قائمة بأنظمة شركتك التي فيها ذكاء اصطناعي بصلاحية تعديل البيانات. لكل نظام، هل تعرف ما الذي يستطيع فعله، وأين ترى السجل، وكيف توقفه؟ الأنظمة التي تبقى بلا إجابة هي أولويتك. #الذكاء_الاصطناعي #وكلاء_الذكاء_الاصطناعي #الأتمتة #إدارة_المخاطر #تكنولوجيا