أتمتة سطح مكتب Windows التي تربط واجهات برمجة تطبيقات Selenium مع وكلاء الذكاء الاصطناعي
winjavadriver، من Glaciousm، هو إطار عمل لأتمتة سطح المكتب على نظام Windows يربط بين واجهات برمجة التطبيقات التقليدية وعمليات الوكلاء. يوفر تحكمًا برمجيًا في تطبيقات سطح المكتب باستخدام واجهة مشابهة لـ Selenium جنبًا إلى جنب مع واجهة موجهة للوكلاء، مما يمكّن من التفاعلات المبرمجة والمراقبة الآلية. يركز التصميم على الفحص على الشاشة، والتسجيل السلبي، ووصف واجهة المستخدم المدمجة لتقليل النص المرسل إلى نماذج اللغة. تستهدف الأداة مهندسي أتمتة ضمان الجودة، والمطورين الذين يحافظون على أنظمة Windows القديمة، والباحثين الذين يبنون وكلاء سطح مكتب مستقلين.
يجسر بين أتمتة نمط Selenium واختبار سطح المكتب
يقوم السائق بتنفيذ واجهة WebDriver الأصلية لتطبيقات Windows، مما يكشف عن عميل Java متوافق مع Selenium حتى تتمكن الفرق من نقل اختبارات الويب إلى مسارات كود سطح المكتب. يدعم أنواع تطبيقات UWP و Win32 و VB6، ويشمل مفتشًا مدمجًا مع شريط أدوات تسجيل عائم يلتقط النقرات، والكتابة، واختصارات لوحة المفاتيح لتوليد خطوات أتمتة سلبية. تتيح هذه القدرات لمهندسي الاختبار إعادة استخدام الأدوات الحالية المعتمدة على Java مع استهداف واجهات المستخدم الرسومية لسطح المكتب.
ينتج أوصاف واجهة مستخدم فعالة من حيث الرموز لوكلاء مدفوعين بـ LLM
يعمل المشروع على تشغيل خادم MCP يزود وكلاء الذكاء الاصطناعي ببيانات عناصر مضغوطة باستخدام أدوات ذكية مصممة خصيصًا مثل win_observe و win_explore، والتي تلخص حالة واجهة المستخدم في نص فعال من حيث الرموز. يوفر موضع الشبكة المرئية موصلات بصرية تعتمد على إحداثيات الشاشة النسبية عندما تكون معرفات العناصر غير مستقرة. يتم تنفيذ نقطة نهاية MCP كعنصر Node.js، بحيث يتلقى الوكلاء سياق واجهة مستخدم مضغوط بدلاً من تفريغ العناصر الخام والمطولة.
يتناسب مع سير العمل المتمركز حول Windows ولكنه يتطلب أوقات تشغيل محددة
السائق خاص بـ Windows فقط ويتطلب بيئة Java لواجهة برمجة التطبيقات على جانب العميل بالإضافة إلى Node.js لمكون خادم MCP، لذا فإن العمل على التكامل ضروري قبل تشغيل الاختبارات أو الوكلاء. يعمل في وضعين مزدوجين، كونه سائقًا تقليديًا على نمط Selenium وكخادم MCP جاهز للذكاء الاصطناعي، ويشمل معالجة تلقائية لعناصر Win32 و VB6 القديمة التي غالبًا ما تكون غير مرئية لأطر أتمتة واجهة المستخدم القياسية.
مناسب للفرق التي تقبل العمل على الإعداد وتقدر الصيانة النشطة
تنشر Glaciousm المشروع كجسر أتمتة مفتوح المصدر، ويُوصف المشروع بأنه يحظى بتقدير جيد ضمن مجاله ويتم صيانته بنشاط. تدعم تلك الاستجابة اختيار السائق للمشاريع التي تحتاج إلى تكامل أكثر إحكامًا بين الوكيل وسطح المكتب ومستعدة للتحقق من مخرجات الوكيل كجزء من ضمان الجودة. توقع جهد تكامل مسبق لتكوين بيئات تشغيل Java وNode.js قبل الاستخدام الروتيني.
