استخراج اندماج الميزات ومجموعات البروز المشترك باستخدام تقنيات التعلم التحويلي لتحسين تصنيف مشهد الاستشعار عن بعد
Title Extracting feature fusion and co-saliency clusters using transfer learning techniques for improving remote sensing scene classification
الباحث الرئيس
الباحثون المشاركون
التخصص: علوم الحاسب
التخصص الدقيق: علم البيانات
المستخلص: مع زيادة عدد الأقمار الصناعية، تتوفر أنواع مختلفة من الصور عالية الدقة لسطح الأرض، وصور الاستشعار عن بعد عالية الدقة تعد واحدة من أفضل مصادر بيانات مراقبة سطح الأرض. لذلك، هناك حاجة إلى تقنيات فعالة للتصنيف الصحيح لصور الاستشعار عن بعد، ويتم ذلك عن طريق تصنيف كل صورة بناءً على محتوياتها. ولقد زادت الشبكات العصبية العميقة (CNNs) من دقة التصنيف في هذا المجال بسبب الميزات المستمدة من تقنيات التعلم الذاتي. ومع ذلك، تحتوي النماذج التي تستند إلى الشبكات العصبية على العديد من الطبقات العميقة لتصنيف الصور. لذلك، يركز هذا العمل على تصنيف صور الأقمار الصناعية عالية الدقة. حيث يقدم هذا البحث نموذج لتصنيف صور الأقمار الصناعية عالية الدقة، يستخدم هذا النموذج الشبكات العصبية المدربة مسبقا مع التركيز على الخصائص الأساسية لكل صورة. أولاً، يتم استخدام الشبكات المدربة مسبقًا كمستخرج لمحتويات كل صورة. ثانيًا، يتم استخراج الخصائص المميزة لكل صورة عن طريق خوارزميات خاصة بهذه العملية. ثالثًا، يتم دمج الخصائص العامة لكل صورة مع الخصائص المميزة لها للحصول على أفضل شكل يمكن الاعتماد علية في تحديد هوية الصور. الطريقة المستخدمة لدمج الخصائص تسمى (DCA) وهذه الطريقة أكثر كفاءة وفعالية مقارنه بالطرق الاخرى. أخيرًا، يتم استخدام شبكة متعددة الطبقات تسمى (MLP) اعتمادًا على خوارزم يسمى (Adagrad) لتحسين كفاءة تصنيف الصور. وتم إجراء التجارب على العديد من مجموعات البيانات المستخدمة على نطاق واسع في هذا المجال، وتؤكد النتائج أن النموذج الذي تم اقتراحه يعمل بشكل أفضل مقارنه بالنماذج الحديثة في الأعمال السابقة.
تتكون هذه الرسالة من سته فصول، حيث إن الفصل الاول يعطي مقدمة عن المشكلة والمنهجية العامة المتبعة في تصنيف صور الأقمار الصناعية عالية الدقة. الفصل الثاني، يقدم لمحة عامة عن الاستشعار عن بعد، ثم يتم عرض تطبيقات الاستشعار عن بعد وكيفية معالجة البيانات عن بعد مع نوع المستشعرات المذكورة المستخدمة في المعالجة، ويلخص هذا الفصل خصائص صور الاستشعار عن بعد مع التركيز على صور الأقمار الصناعية عالية الدقة. الفصل الثالث، يقدم مراجعة شاملة لتقنيات تصنيف الصور التي يتم التقاطها من خلال الاقمار الصناعية بالإضافة إلى طرق التعلم العميق المستخدمة على نطاق واسع. الفصل الرابع، يقدم النموذج المقترح، حيث اعتمد على استخراج خصائص مختلفة لنفس الصورة عن طريق استخدام شبكه عصبية عميقة سابقة التدريب ثم تم دمج هذه الخصائص واستخدامها في تصنيف الصور. الفصل الخامس، يحتوي على ملخص عن عمل الرسالة والنتائج بناءً على النماذج المطورة لتصنيفات صور الأقمار الصناعية عالية الدقة. أخيرًا، تم تقديم العمل المستقبلي.
Abstract: To attribute the semantics to land cover, scene classification of very high-resolution (VHR) imagery comprises many possible applications in diverse domains. Conventional remote sensing image classification techniques have not addressed real application requirements. Deep convolutional neural networks (CNNs) have recently demonstrated competitive performance owing to their strong feature extraction abilities. These approaches primarily rely on semantic information to increase classification performance. The network's difficulty in correctly classifying scene images with comparable structures and high interclass similarity and getting features from different domains for the same scene is significant to achieve high classification accuracy. Thus, this study proposes a VHR remote sensing image classification model based on the discriminant correlation analysis (DCA) fusion of transfer deep CNNs and co-saliency features. First, the global feature was extracted from the original VHR image based on a pre-trained EfficientNet-V2L CNN. Second, the co-saliency feature was extracted from the co-saliency image to distinguish between similar classes. Third, DCA deep feature fusion was used with global and co-saliency features to save time and obtain robust features representing the scene. DCA reduces the length of the feature vector and focuses on the differences between VHR images in different classes. Finally, a multilayer perceptron (MLP) is used to classify the image. The effectiveness of the proposed method was verified using five benchmark remote sensing datasets: the 30-class aerial image dataset (AID), 21-class UC Merced, 38-class PatternNet, 19-class WHU-RS19, and 13-class KSA. The results demonstrate that the proposed model significantly improves performance compared with other CNN-based scene classification models. In addition, ablation studies were conducted to prove the effectiveness of the co-saliency feature and DCA fusion algorithm.