دعم المكفوفين الصم في صلاة الجماعة باستخدام التعرف على الكلام والمنبهات اللمسية
Title Supporting deafblind in congregational prayer using speech recognition and vibro-tactile stimuli
الباحث الرئيس عدنان نديم مبارك الحسن
التخصص: علوم الحاسب
التخصص الدقيق: مساعدة الصم المكفوفين باستخدام أجهزة الاستشعار اللاسلكية
المستخلص: يعد استنتاج السلوك البشري من خلال التقنيات الذكية المنتشرة وسيلة بحثية جديدة. الرقي في
طرائق التفاعل مع التخصيص الذاتي على أساس السياق يجعل التفاعل أسهل في البيئات الطبيعية.
على الرغم من التطور الكبير ، لا يزال الأشخاص المعوقون وكبار السن يواجهون صعوبات في التعامل مع الأجهزة الذكية.
يعتمد التفاعل بشكل عام على قناتين أو أكثر من القنوات الحسية في وقت واحد ، وهو ما يمثل مصدر قلق كبير
الأشخاص الذين يعانون من ضعف البصر والسمع. يواجه الشخص المصاب بفقدان حسي مزدوج مشكلة في التفاعل مع الأذكياء
الأجهزة. يمكن أن يكون التفاعل ممكنًا بشكل فعال مع هذه المجموعة السكانية باستخدام حسي لمسي بديل
يمكن أن تكون محفزات القناة والاهتزاز باللمس بديلاً رائعًا للتواصل في البيئات الطبيعية لاستيعابها
احتياجاتهم. يمكن أن تكون الأجهزة الذكية المحمولة باليد والقابلة للارتداء الغنية بالمميزات بديلاً فعالاً من حيث التكلفة
المساعدة في ADL في البيئات الطبيعية للمعاقين وكبار السن.
العبادات الدينية جزء مهم من حياة الإنسان. من خلال استغلال تقنيات الاستشعار المتقدمة في
الهاتف الذكي ، تم تطوير نموذج الصلاة المساعد الذي يهدف إلى مساعدة الصم المكفوفين في شبه معزولة
الإعدادات الطبيعية ، بطريقة فعالة من حيث التكلفة والتي تؤكد على استخدام القنوات الحسية البديلة من
بشري. يتم التحقق من صحة النموذج من خلال تطبيق SmartPrayerAid الذي يهدف إلى مساعدة المسلمين الصم المكفوفين في تقديمه
العبادة الإسلامية نماز في محيط الجماعة. تم إجراء تقييم شامل للتطبيق لإثبات
صلاحية النموذج ومدى ملاءمة الأجهزة الذكية لمساعدة المعاق في الظروف الطبيعية.
تم إجراء التقييم مع الأشخاص الصم المكفوفين وغير الصم المكفوفين وغير المعاقين في بيئة معملية خاضعة للرقابة.
أشارت النتائج إلى أن التعرف على الكلام قد تحقق بين 77.76٪ في البيئة الحقيقية ، بينما
ما يصل إلى 96.29٪ في بيئة معملية خاضعة للرقابة باستخدام التعرف على الكلام عبر الإنترنت باللغة العربية. فعالية Vibrotactile
كما تم تقييم إدراك المنبهات باستخدام الهاتف الذكي على أجزاء الجسم المختلفة ودقة الكشف
لوحظ على الجيب الأمامي للقميص 84.29٪ ، الجيب الأمامي للبنطلون 92.14٪ وعلى الذراع العلوي كان
52.43٪ وعلى معصم اليد اليمنى باستخدام ساعة ذكية لوحظ 97.62٪. يمكن استخدام النموذج في
الأوضاع الطبيعية الأخرى في حالات مماثلة بعد تعديل طفيف لمساعدة الصم المكفوفين في الأداء
ADL والأنشطة الاجتماعية الأخرى
Abstract: Human behavior inference through smart pervasive technologies is a new research avenue. Sophistication in
interaction modalities with self-customization based on context makes interaction easier in natural settings.
Despite greater sophistication, disabled and elderly person still face difficulties in interaction with smart devices.
The interaction generally depends on two or more sensory channels simultaneously, which is a big concern for
persons with impaired vision and hearing. Person with dual sensory loss face problem in interaction with smart
devices. Interaction can be effectively possible with this population group using alternative tactile sensory
channel and vibro-tactile stimuli could be a great alternative for communication in natural settings to accommodate
their needs. Feature-rich handheld and wearable smart devices could be the cost-effective substitute for
assisting in ADL in natural settings for disabled and elderly person.
Religious worships are important part of human life. By exploiting the advanced sensing technologies in
Smartphone, an assistive prayer model is developed which is aimed at assisting deafblind person in semi-isolated
natural settings, in a cost-effective manner which emphasizes on utilization of alternative sensory channels of a
human. The model is validated through an App SmartPrayerAid aimed to assist deafblind Muslim in offering
Islamic worship Namaz in congregational setting. Comprehensive evaluation of the App was conducted to prove
the validity of the model and the aptness of the smart devices for assisting disabled person in natural settings.
The evaluation was conducted with deafblind, non-deafblind and non-disabled subjects in controlled lab environment.
Results indicated that speech recognition was achieved between 77.76% in real environment, while
up to 96.29% in controlled lab environment using online speech recognition in Arabic. Effectiveness of Vibrotactile
stimuli perception using Smartphone on different body parts was also evaluated and accuracy in detection
observed on front pocket of shirt was 84.29%, front pocket of the trousers was 92.14% and on upper arm was
52.43% and on wrist of the right hand using Smartwatch was observed 97.62%. The model can be utilized in
other natural settings in similar situations after slight modification to assist a deafblind person in performing
ADL and other social activities
الحالة: محكم ومنشور
جهة التحكيم:
دار النشر: Elsvier Inter Journal of Human-Computer Studies