معلومة

التنفيذ البيولوجي للشبكات العصبية التلافيفية


في علوم الكمبيوتر ، يتم استخدام "الشبكات العصبية التلافيفية" ، والتي من المفترض أن تكون مستوحاة من هياكل الشبكات البيولوجية مثل الموجودة في القشرة البصرية للدماغ البشري.

في تطبيق الكمبيوتر ، يعني "الالتواء" أن أي خلية عصبية من "طبقة" معينة مرتبطة بالعديد من الخلايا العصبية المكانية المجاورة في الطبقة السابقة. عندما يتم تدريب هذه الشبكات ، فإن "الأوزان" ، والتي هي تناظرية للقوة المشبكية ، لجميع الخلايا العصبية في طبقة واحدة لها طوبولوجيا محلية مكافئة ، وبالتالي يمكن تعيينها بين الخلايا العصبية ، وتوحيدها أخيرًا. بهذه الطريقة ، يتم تدريب "وزن" واحد فقط لجميع نقاط الاشتباك العصبي المتكافئة في جميع الخلايا العصبية للطبقة.

هل تم العثور على أي آلية بيولوجية يمكنها ممارسة هذه الميزة؟ أظن أن قشرة الرؤية منظمة جزئيًا من خلال هيكلة ذاتية لا تعتمد على التنشيط العصبي لتحقيق معالجة رؤية منخفضة المستوى. خلاف ذلك ، ستحتاج جميع الخلايا العصبية في "طبقة" واحدة إلى طريقة لتبادل المعلومات لمزامنة بنيتها المشبكية.

ومع ذلك ، أعتقد أن الدماغ البشري سيكون لديه آلية من هذا النوع ، لأنه سيوفر على سبيل المثال القدرة على معرفة اكتشاف أنماط أو أحداث بصرية معينة مستقلة عن موضع شبكية العين ، دون تعلم الاكتشاف بشكل فردي لكل موقع صورة.

هل أي آلية من هذا القبيل معروفة أو كيف يمكن أن تعمل؟


قد تقدم العين بمفردها مثالاً للشبكة العصبية الالتفافية (التي أصبحت شائعة في مهام تصنيف الصور).

يتم تنظيم أنواع الخلايا والوصلات المشبكية في شبكية العين في طبقات (صفيحة) لجعل التوازي أكثر وضوحًا ، كما هو موضح هنا:

المصدر: http://webvision.med.utah.edu/book/part-vi-development-of-cell-types-and-synaptic-connections-in-the-retina/development-of-cell-types-and- وصلات متشابكة في الشبكية /

إن طوبولوجيا الشبكة ذاتية التنظيم بمعنى ما ولكنها عملية بطيئة نسبيًا حيث أن المخطط هو نتاج التطور والتنفيذ العملي (الخلايا والوصلات الفعلية) يحدث أثناء تطور العضو. يمكن بعد ذلك رؤية "ربط الوزن" كنتيجة لوجود أنواع مختلفة من الخلايا في الشبكة.


مقدمة للتعلم العميق على بيانات التسلسل البيولوجي: أمثلة وحلول

التحفيز: أصبحت هياكل الشبكات العصبية العميقة مثل شبكات الذاكرة التلافيفية وطويلة المدى شائعة بشكل متزايد كأدوات للتعلم الآلي خلال السنوات الأخيرة. إن توفر موارد حسابية أكبر ، ومزيد من البيانات ، وخوارزميات جديدة لتدريب النماذج العميقة والمكتبات سهلة الاستخدام لتنفيذ وتدريب الشبكات العصبية هي محركات هذا التطور. لقد كان استخدام التعلم العميق ناجحًا بشكل خاص في التعرف على الصور وتطوير الأدوات والتطبيقات وأمثلة الكود في معظم الحالات تتركز في هذا المجال بدلاً من علم الأحياء.

نتائج: هنا ، نهدف إلى زيادة تطوير أساليب التعلم العميق في علم الأحياء من خلال توفير أمثلة تطبيقية وجاهزة للتطبيق وتكييف قوالب التعليمات البرمجية. بالنظر إلى هذه الأمثلة ، نوضح كيف يمكن بسهولة نسبيًا تصميم وتدريب البنى التي تتكون من شبكات عصبية للذاكرة التلافيفية وطويلة المدى للذاكرة على أحدث أداء في ثلاث مشاكل في التسلسل البيولوجي: التنبؤ بالتوطين دون الخلوي ، والبنية الثانوية للبروتين و ربط الببتيدات بجزيئات معقد التوافق النسيجي الكبير من الفئة الثانية.

التوفر والتنفيذ: جميع التطبيقات ومجموعات البيانات متاحة عبر الإنترنت للمجتمع العلمي على https://github.com/vanessajurtz/lasagne4bio.

اتصل: [email protected]

معلومات تكميلية: تتوفر البيانات التكميلية في Bioinformatics عبر الإنترنت.


خلفية

يمكن إنشاء الخلايا الجذعية المستحثة متعددة القدرات (iPSCs) من الخلايا الجسدية عن طريق نقل الجينات بعوامل محددة [1 ، 2]. ركز تطوير iPSCs على استخدامها كمصادر للطب التجديدي [3،4،5] ، فحص الأدوية [6 ، 7] ، نمذجة المرض [8،9،10،11،12] ، والطب الدقيق [13]. ومع ذلك ، فإن إمكاناتهم الكاملة لم تتحقق بعد. كان للذكاء الاصطناعي (AI) تأثير كبير كتقنية مبتكرة. من بين الأنواع العديدة للذكاء الاصطناعي ، يعد التعلم الآلي خوارزمية لتكوين أنماط التعلم والتصنيف من مجموعات البيانات الكبيرة. التعلم العميق ، وهو شكل من أشكال التعلم الآلي ، يتعلم ميزات البيانات باستخدام شبكة عصبية متعددة الطبقات تحاكي بنية الدوائر العصبية البشرية. يمكن للشبكة العصبية العميقة استخراج ميزات الصورة تلقائيًا ، على الرغم من أن أساليب التعلم الآلي الكلاسيكية تتطلب استخراج الميزة من قبل خبير بشري. على مدى السنوات القليلة الماضية ، تحسنت أنظمة التعرف على الصور القائمة على الشبكة العصبية التلافيفية (CNN) بشكل كبير [14،15،16،17،18]. دقة تصنيف الصور بواسطة CNN قد تجاوزت تلك الخاصة بالبشر. نعتقد أن CNN سيكون لها أيضًا تأثير كبير على أبحاث بيولوجيا الخلايا الجذعية.

تمتلك iPSCs تعدد القدرات ويمكن أن تتمايز إلى أنواع عديدة من الخلايا. لاستخدام هذه الخلايا لأية أغراض ، يجب أن يتميز نوع الخلية بتقنيات جزيئية محددة ، مثل التلقيح المناعي بأجسام مضادة محددة أو تتبع النسب. يُظهر كل نوع خلية شكلًا مميزًا مميزًا يعتمد على التعبير الجيني الخاص بنوع الخلية. على الرغم من أننا لا نستطيع تحديد التشكل الخاص بنوع الخلية من خلال الملاحظة المجهرية وحدها ، إلا أن نظام التحديد القائم على التشكل بواسطة CNN يمكن أن يكون بديلاً للتقنيات الجزيئية لتحديد أنواع الخلايا. يتيح تطوير CNN أتمتة تحديد أنواع الخلايا من صور مجهر تباين الطور دون وضع العلامات الجزيئية. يمكن تطبيق هذه الطريقة بعدة طرق في البحث والطب. في هذا الاستعراض ، نقدم تطوير تقنية التعلم العميق لبيولوجيا الخلايا الجذعية ومناقشة اتجاهها المستقبلي.


6. الشبكات العصبية التلافيفية¶

في الفصول السابقة ، توصلنا إلى بيانات الصورة ، والتي يتكون كل مثال لها من شبكة ثنائية الأبعاد من البكسلات. اعتمادًا على ما إذا كنا نتعامل مع الصور بالأبيض والأسود أو الصور الملونة ، قد يرتبط كل موقع بكسل إما بقيم عددية واحدة أو عدة قيم ، على التوالي. حتى الآن ، كانت طريقتنا في التعامل مع هذا الهيكل الغني غير مرضية للغاية. لقد تجاهلنا ببساطة الهيكل المكاني لكل صورة عن طريق تسويتها في متجهات أحادية البعد ، وإطعامها من خلال MLP متصل بالكامل. نظرًا لأن هذه الشبكات ثابتة في ترتيب الميزات ، يمكننا الحصول على نتائج مماثلة بغض النظر عما إذا كنا نحتفظ بترتيب يتوافق مع البنية المكانية للبكسل أو إذا قمنا بتغيير أعمدة مصفوفة التصميم الخاصة بنا قبل ملاءمة معلمات MLP. على نحو مفضل ، سنستفيد من معرفتنا السابقة بأن وحدات البكسل القريبة ترتبط عادةً ببعضها البعض ، لبناء نماذج فعالة للتعلم من بيانات الصورة.

يقدم هذا الفصل الشبكات العصبية التلافيفية (CNNs) ، وهي عائلة قوية من الشبكات العصبية المصممة خصيصًا لهذا الغرض. أصبحت البنى القائمة على CNN منتشرة في كل مكان الآن في مجال رؤية الكمبيوتر ، وأصبحت مهيمنة للغاية بحيث لا يكاد أي شخص اليوم يطور تطبيقًا تجاريًا أو يدخل في منافسة تتعلق بالتعرف على الصور أو اكتشاف الكائنات أو التجزئة الدلالية ، دون البناء على هذا النهج .

شبكات CNN الحديثة ، كما يطلق عليها بالعامية ، تدين بتصميمها إلى الإلهام من علم الأحياء ، ونظرية المجموعة ، وجرعة صحية من الترقيع التجريبي. بالإضافة إلى كفاءة العينة في تحقيق نماذج دقيقة ، تميل شبكات CNN إلى أن تكون فعالة من الناحية الحسابية ، لأنها تتطلب معلمات أقل من البنى المتصلة بالكامل ولأن التلافيف سهلة الموازاة عبر نوى GPU. وبالتالي ، غالبًا ما يطبق الممارسون شبكات CNN كلما أمكن ذلك ، وقد برزوا بشكل متزايد كمنافسين موثوقين حتى في المهام ذات بنية تسلسل أحادي البعد ، مثل تحليل الصوت والنص والمتسلسلة الزمنية ، حيث يتم استخدام الشبكات العصبية المتكررة بشكل تقليدي. كما أن بعض التعديلات الذكية لشبكات CNN قد جعلتها تؤثر على البيانات المهيكلة بالرسومات وفي أنظمة التوصية.

أولاً ، سنستعرض العمليات الأساسية التي تشكل العمود الفقري لجميع الشبكات التلافيفية. وتشمل هذه الطبقات التلافيفية نفسها ، والتفاصيل الدقيقة بما في ذلك الحشو والخطوة ، وطبقات التجميع المستخدمة لتجميع المعلومات عبر المناطق المكانية المجاورة ، واستخدام قنوات متعددة في كل طبقة ، ومناقشة دقيقة لهيكل البنى الحديثة. سنختتم الفصل بمثال عملي كامل لـ LeNet ، أول شبكة تلافيفية تم نشرها بنجاح ، قبل وقت طويل من ظهور التعلم العميق الحديث. في الفصل التالي ، سوف نتعمق في التطبيقات الكاملة لبعض أبنية CNN الشائعة والحديثة نسبيًا والتي تمثل تصميماتها معظم التقنيات المستخدمة بشكل شائع من قبل الممارسين المعاصرين.


ما لا يستطيع الذكاء الاصطناعي فعله

يمكن للذكاء الاصطناعي الآن التغلب على البشر إلى حد كبير في كل منطقة حيث:

  1. تتوفر بيانات وأمثلة تدريب كافية رقميًا ويمكن للمهندسين بوضوح تحويل المعلومات الموجودة في البيانات إلى قيم عددية (ميزات) دون الكثير من الغموض.
  2. إما أن يكون حل الأمثلة واضحًا (تتوفر كمية كبيرة من البيانات المصنفة) أو أنه من الممكن تحديد الحالات المفضلة بوضوح ، والأهداف طويلة المدى التي يجب تحقيقها (على سبيل المثال ، من الممكن تحديد هدف خوارزمية تطورية تكون قادرة على المشي إلى أقصى حد ممكن لأن الهدف من تطورها يمكن قياسه بسهولة من خلال المسافة).

بقدر ما يبدو هذا مخيفًا ، ما زلنا لا نملك أي فكرة على الإطلاق عن كيفية عمل الذكاء العام ، مما يعني أننا لا نعرف كيف يمكن للدماغ البشري أن يكون فعالًا للغاية في جميع أنواع المجالات المختلفة عن طريق نقل المعرفة من منطقة إلى أخرى. يمكن لـ AlphaGo الآن التغلب على أي شخص في لعبة Go ، ولكن على الأرجح ستتمكن من هزيمتها في لعبة Tic-Tac-Toe حيث لا يوجد لديها مفهوم للألعاب خارج مجالها. كيف اكتشف القرد الصياد والجمع أن يستخدم دماغه ليس فقط للعثور على الطعام وزراعته ، ولكن لبناء مجتمع يمكنه دعم الأشخاص الذين يكرسون حياتهم ليس للزراعة ولكن للعب لعبة الطاولة Go طوال حياتهم ، على الرغم من عدم ذلك إن وجود منطقة شبكة عصبية مخصصة للعب في أدمغتهم هي معجزة بحد ذاتها. على غرار الطريقة التي حلت بها الآلات الثقيلة محل القوة البشرية في العديد من المجالات ، لمجرد أن الرافعة يمكنها رفع الأشياء الثقيلة بشكل أفضل من أي يد بشرية ، لا يمكن لأي منها وضع أشياء صغيرة بدقة أو العزف على البيانو في نفس الوقت. يشبه البشر إلى حد كبير سكاكين الجيش السويسري ذاتية التكاثر وتوفير الطاقة التي يمكنها البقاء والعمل حتى في الظروف الصعبة.

يمكن أن يعيّن التعلم الآلي ميزات الإدخال للمخرجات بشكل أكثر كفاءة من البشر (خاصة في المناطق التي لا تتوفر فيها البيانات إلا في شكل غير مفهوم لنا: لا نرى الصور على أنها مجموعة من الأرقام التي تمثل قيم الألوان والحواف ، ولكن التعلم الآلي النماذج ليس لديها مشاكل في التعلم من تمثيل مثل هذا). ومع ذلك ، فهم غير قادرين على العثور على الميزات الإضافية وفهمها تلقائيًا (الخصائص التي قد تكون مهمة) وتحديث نماذجهم للعالم بسرعة بناءً عليها (لكي نكون منصفين ، لا يمكننا فهم الميزات التي لا يمكننا إدراكها أيضًا: على سبيل المثال ، لن نتمكن من رؤية الألوان فوق البنفسجية مهما قرأنا عنها). إذا رأيت حتى اليوم كلابًا في حياتك فقط ، لكن شخصًا ما أشار إليك ، أن الذئب الذي تراه الآن ليس كلبًا ، ولكن بدلاً من ذلك ، فإن سلفه البري غير الموطن ، ستدرك بسرعة أن هناك كائنات متشابهة للكلاب ، ربما تكون قد شاهدت بالفعل كلابًا ربما كانت ذئابًا دون أن تدرك ذلك ، ويمكن أن يكون للحيوانات الأليفة الأخرى أسلاف غير مسجلين بالمثل. ستتمكن على الأرجح من التمييز بين النوعين من الآن فصاعدًا دون الحاجة إلى إلقاء نظرة أخرى على كل الكلاب التي رأيتها في حياتك حتى الآن وتحتاج إلى بضع مئات من صور الذئاب ويفضل من كل جانب في كل وضع يمكنهم التقاطه في ظروف الإضاءة المختلفة. لن تواجه مشكلة أيضًا في الاعتقاد بأن رسم كاريكاتوري غامض للذئب لا يزال إلى حد ما تمثيلًا للذئب الذي يحتوي على بعض خصائص الحيوانات الواقعية الحقيقية ، بينما يحمل أيضًا سمات مجسمة لا تمتلكها ذئاب حقيقية. لن تشعر بالارتباك إذا قدمك شخص ما إلى رجل يدعى وولف أيضًا. لا يمكن للذكاء الاصطناعي القيام بذلك (على الرغم من أن الشبكات العصبية الاصطناعية لا تضطر إلى الاعتماد كثيرًا على الميزات المصنوعة يدويًا ، على عكس معظم الأنواع الأخرى من خوارزميات التعلم الآلي). تتعلم نماذج التعلم الآلي ، بما في ذلك نماذج التعلم العميق ، العلاقات في تمثيل البيانات. هذا يعني أيضا أن إذا كان التمثيل غامضًا ويعتمد على السياق ، فستفشل حتى النماذج الأكثر دقة، لأنهم سيخرجون نتائج صالحة فقط خلال ظروف مختلفة (على سبيل المثال ، إذا تم تصنيف تغريدات معينة على أنها حزينة ومضحكة في نفس الوقت ، فسيواجه تحليل المشاعر صعوبة في التمييز بينها ، مع فهم السخرية وحدها). البشر مخلوقات تطورت لمواجهة تحديات غير معروفة ، لتحسين وجهات نظرهم حول العالم والبناء على الخبرات السابقة - وليس مجرد الأدمغة للقيام بمشاكل التصنيف أو الانحدار. لكن كيف نفعل كل هذا لا يزال بعيدًا عن متناول أيدينا. ومع ذلك ، إذا أردنا يومًا ما بناء آلة ذكية مثل البشر ، فستكون تلقائيًا أفضل منا ، نظرًا لمزايا السرعة المطلقة التي يتمتع بها السيليكون.

على الرغم من أن الذكاء الاصطناعي مستوحى من ذكاءنا ، فإن التطورات في هذا المجال تساعد في المقابل علماء الأحياء وعلماء النفس على فهم الذكاء والتطور بشكل أفضل. على سبيل المثال ، تصبح قيود بعض استراتيجيات التعلم واضحة عند وكلاء النمذجة (مثل كيف يجب أن يكون التطور أكثر تعقيدًا من مجرد طفرة عشوائية). اعتاد العلماء على الاعتقاد بأن الدماغ لديه خلايا عصبية فائقة التخصص للرؤية والتي تصبح أكثر تعقيدًا حتى تتمكن من اكتشاف الأشكال والأشياء الأكثر تعقيدًا. ومع ذلك ، من الواضح الآن أن نفس الأنواع من الخلايا العصبية الاصطناعية قادرة على تعلم الأشكال المعقدة من خلال امتلاك خلايا عصبية أخرى متشابهة تتعلم أشكالًا وخصائص أقل تعقيدًا ، ومن خلال اكتشاف ما إذا كانت هذه التمثيلات ذات المستوى الأدنى تشير إلى أم لا.

حتى لو كان التعلم الآلي قادرًا على حل المشكلات والتغلب على البشر في مجالات معينة ، فإن هذا لا يعني أن هذه الخوارزميات تتصرف بطريقة بشرية وأنها قادرة على نفس القدر في المجالات الأخرى. إن القول بأن الخلايا العصبية الاصطناعية تذهب إلى لبنات البناء التي تعمل دائمًا ، نظرًا لإمكانية تكديس ما يكفي من الخلايا العصبية والطبقات معًا ، فهذه خرافة: الشبكات الأكبر حجمًا لا تعمل بشكل أفضل وأي نموذج يمكن أن يتعلمه يعتمد على بيانات الإدخال والإخراج. وظائف التنشيط المختلفة وأنواع الخلايا العصبية والنماذج ومعدلات التسرب وتقنيات التحسين هي الأفضل للمهام المختلفة - لا يزال اكتشاف الحلول الأفضل هو عمل علماء البيانات ، على غرار جمع البيانات وتنظيفها وإعادة ترميزها في ميزات مفيدة. مطلوب الكثير من الذكاء البشري لجعل أي آلة ذكية ، على الرغم من أن عناوين وسائل الإعلام نادراً ما تكتب عن هذه الحقيقة. بأي شكل من الأشكال ، إذا عرض عليك شخص ما مشاركات في شركته الناشئة الجديدة ، والتي تتخصص في تحميل الوعي البشري على السحابة على أمل الحياة الأبدية ، فمن الأفضل أن ترفض عرضه ، على الأقل في الوقت الحالي.


شاهد كيف يمكن أن تساعدك Smartsheet على أن تكون أكثر فعالية

شاهد العرض التوضيحي لترى كيف يمكنك إدارة فريقك ومشاريعك وعملياتك بفعالية أكبر من خلال إدارة العمل في الوقت الفعلي في Smartsheet.

كيف يعمل النموذج البيولوجي للشبكات العصبية

ما هي الشبكات العصبية التي تحاكي في بنية الدماغ البشري ، وكيف يعمل التدريب؟

تتكون جميع أدمغة الثدييات من خلايا عصبية مترابطة تنقل الإشارات الكهروكيميائية. تحتوي الخلايا العصبية على عدة مكونات: الجسم الذي يشمل أ نواة و التشعبات محاور، التي تتصل بالخلايا والمحور العصبي الأخرى محطات أو المشابك، التي تنقل المعلومات أو المنبهات من خلية عصبية إلى أخرى. مجتمعة ، تقوم هذه الوحدة بوظائف الاتصال والتكامل في الجهاز العصبي. يحتوي الدماغ البشري على عدد هائل من وحدات المعالجة (86 مليار خلية عصبية) التي تمكن من أداء وظائف معقدة للغاية.

كيف تعمل الشبكات العصبية الاصطناعية

الشبكات العصبية الاصطناعية هي نماذج إحصائية مصممة للتكيف والبرمجة الذاتية باستخدام خوارزميات التعلم من أجل فهم وتصنيف المفاهيم والصور والصور. لكي تقوم المعالجات بعملها ، يقوم المطورون بترتيبها في طبقات تعمل بالتوازي. ال طبقة الإدخال مشابه للتشعبات في الشبكة العصبية للدماغ البشري. ال طبقة مخفية مشابه لجسم الخلية ويقع بين طبقة الإدخال و طبقة الإخراج (وهو ما يشبه النواتج المشبكية في الدماغ). الطبقة المخفية هي المكان الذي تأخذ فيه الخلايا العصبية الاصطناعية مجموعة من المدخلات بناءً على الوزن المشبكي، وهي سعة أو قوة الاتصال بين العقد. تولد هذه المدخلات الموزونة مخرجات من خلال وظيفة النقل إلى طبقة الإخراج.

كيف تدرب شبكة عصبية؟

بمجرد إنشاء شبكة لتطبيق معين ، يبدأ التدريب (أي التعلم). هناك طريقتان للتدريب. التعلم تحت الإشراف يزود الشبكة بالمخرجات المرغوبة من خلال الدرجات اليدوية لأداء الشبكة أو عن طريق تقديم المخرجات والمدخلات المرغوبة. تعليم غير مشرف عليه يحدث عندما تفهم الشبكة المدخلات دون مساعدة أو تعليمات خارجية.

لا يزال هناك طريق طويل لنقطعه في مجال التعلم غير الخاضع للإشراف. "الحصول على المعلومات من البيانات غير المصنفة ، [عملية] نسميها التعلم غير الخاضع للإشراف ، هو موضوع ساخن للغاية في الوقت الحالي ، ولكن من الواضح أنه ليس شيئًا تم حله بعد. إنه شيء لا يزال يقع في خانة التحدي "، كما يلاحظ يوشوا بنجيو من جامعة مونتريال في مقال بعنوان" صعود الشبكات العصبية والتعلم العميق في حياتنا اليومية ".

يشير بنجيو إلى حقيقة أن عدد الشبكات العصبية لا يمكن أن يتطابق مع عدد الاتصالات في الدماغ البشري ، ولكن قدرة الأولى على اللحاق بالركب قد تكون في الأفق. يمنحنا قانون مور ، الذي ينص على أن قوة المعالجة الإجمالية لأجهزة الكمبيوتر ستتضاعف كل عامين ، تلميحًا حول الاتجاه الذي تتجه إليه الشبكات العصبية والذكاء الاصطناعي. أكد الرئيس التنفيذي لشركة إنتل ، بريان كرزانيتش ، في معرض إلكترونيات الكمبيوتر لعام 2017 أن "قانون مور حي وبصحة جيدة ومزدهر". منذ نشأتها في منتصف القرن العشرين ، عملت قدرة الشبكات العصبية على "التفكير" على تغيير عالمنا بوتيرة مذهلة.

تاريخ موجز للشبكات العصبية

يعود تاريخ الشبكات العصبية إلى أوائل الأربعينيات من القرن الماضي عندما قام عالم الرياضيات وارين ماكولوتش ووالتر بيتس ببناء نظام بسيط قائم على الخوارزمية مصمم لمحاكاة وظيفة الدماغ البشري. تسارع العمل في هذا المجال في عام 1957 عندما ابتكر فرانك روزنبلات من جامعة كورنيل بيرسبترون، الخوارزمية الرائدة التي تم تطويرها لأداء مهام التعرف المعقدة. خلال العقود الأربعة التي تلت ذلك ، أدى الافتقار إلى قوة الحوسبة اللازمة لمعالجة كميات كبيرة من البيانات إلى كبح التقدم. في العقد الأول من القرن الحادي والعشرين ، وبفضل ظهور قوة حوسبة أكبر وأجهزة أكثر تطوراً ، فضلاً عن وجود مجموعات بيانات ضخمة للاستفادة منها ، حصل علماء الكمبيوتر أخيرًا على ما يحتاجون إليه ، وانطلقت الشبكات العصبية والذكاء الاصطناعي بلا نهاية. تبصر. لفهم مدى توسع المجال في الألفية الجديدة ، ضع في اعتبارك أن تسعين بالمائة من بيانات الإنترنت قد تم إنشاؤها منذ عام 2016. وستستمر هذه الوتيرة في التسارع ، بفضل نمو إنترنت الأشياء (IoT).

لماذا نستخدم الشبكات العصبية؟

تجعل السمات الشبيهة بالبشر للشبكات العصبية وقدرتها على إكمال المهام في تباديل وتركيبات لا حصر لها ، مناسبة بشكل فريد للتطبيقات القائمة على البيانات الضخمة اليوم. لأن الشبكات العصبية لها أيضًا سعة فريدة (المعروفة باسم المنطق الضبابي) لفهم البيانات الغامضة أو المتناقضة أو غير الكاملة ، يمكنهم استخدام العمليات الخاضعة للرقابة عندما لا تتوفر نماذج دقيقة.

وفقًا لتقرير نشرته Statista ، في عام 2017 ، وصلت أحجام البيانات العالمية إلى ما يقرب من 100000 بيتابايت (أي مليون جيجابايت) شهريًا ومن المتوقع أن تصل إلى 232.655 بيتابايت بحلول عام 2021. مع قيام الشركات والأفراد والأجهزة بتوليد كميات هائلة من المعلومات ، كل هذه البيانات الضخمة ذات قيمة ، ويمكن للشبكات العصبية أن تفهمها.

سمات الشبكات العصبية

من خلال القدرة الشبيهة بالإنسان على حل المشكلات - وتطبيق هذه المهارة على مجموعات البيانات الضخمة - تمتلك الشبكات العصبية السمات القوية التالية:

التعلم التكيفي: مثل البشر ، تشكل الشبكات العصبية علاقات غير خطية ومعقدة وتبني على المعرفة السابقة. على سبيل المثال ، تستخدم البرامج التعلم التكيفي لتدريس الرياضيات وفنون اللغة.

التنظيم الذاتي: القدرة على تجميع وتصنيف كميات هائلة من البيانات تجعل الشبكات العصبية مناسبة بشكل فريد لتنظيم المشكلات البصرية المعقدة التي يطرحها تحليل الصور الطبية.

عملية في الوقت الحقيقي: يمكن للشبكات العصبية (في بعض الأحيان) تقديم إجابات في الوقت الفعلي ، كما هو الحال مع السيارات ذاتية القيادة والتنقل عبر الطائرات بدون طيار.

المراجع: قدرة NN على التنبؤ بناءً على النماذج لديها مجموعة واسعة من التطبيقات ، بما في ذلك الطقس وحركة المرور.

التسامح مع الخطأ: عند فقد أو فقد أجزاء مهمة من الشبكة ، يمكن للشبكات العصبية ملء الفراغات. هذه القدرة مفيدة بشكل خاص في استكشاف الفضاء ، حيث يكون دائمًا احتمال فشل الأجهزة الإلكترونية.

مهام الشبكات العصبية

تعد الشبكات العصبية ذات قيمة عالية لأنها يمكنها تنفيذ المهام لفهم البيانات مع الاحتفاظ بجميع سماتها الأخرى. فيما يلي المهام الحرجة التي تؤديها الشبكات العصبية:

تصنيف: NNs تنظم الأنماط أو مجموعات البيانات في فئات محددة مسبقًا.

تنبؤ: هم ينتجون المخرجات المتوقعة من مدخلات معينة.

تجمع: يحددون ميزة فريدة للبيانات ويصنفونها دون أي معرفة بالبيانات السابقة.

الاقتران: يمكنك تدريب الشبكات العصبية على "تذكر" الأنماط. عندما تعرض إصدارًا غير مألوف من نمط ما ، تقوم الشبكة بربطه بأكثر إصدار قابل للمقارنة في ذاكرته ويعود إلى الأخير.

الشبكات العصبية أساسية لـ تعلم عميق، مجموعة قوية من تقنيات NN التي تفسح المجال لحل المشكلات المجردة ، مثل المعلوماتية الحيوية ، وتصميم الأدوية ، وتصفية الشبكات الاجتماعية ، وترجمة اللغة الطبيعية. التعلم العميق هو المكان الذي سنحل فيه أكثر المشكلات تعقيدًا في العلوم والهندسة ، بما في ذلك الروبوتات المتقدمة. نظرًا لأن الشبكات العصبية تصبح أكثر ذكاءً وأسرعًا ، فإننا نحقق تقدمًا على أساس يومي.

تطبيقات العالم الحقيقي والصناعة للشبكات العصبية

كما يشير مقال نُشر في صحيفة New York Times في أغسطس 2018 ، "إن الشركات والوكالات الحكومية التي بدأت في إدراج برنامج التشغيل الآلي تدير السلسلة الكاملة. وهي تشمل جنرال موتورز ، بي إم دبليو ، جنرال إلكتريك ، يونيليفر ، ماستر كارد ، مانباور ، فيديكس ، سيسكو ، جوجل ، وزارة الدفاع ، ووكالة ناسا ". نحن نشهد للتو بداية الشبكة العصبية / تطبيقات الذكاء الاصطناعي التي تغير الطريقة التي يعمل بها عالمنا.

H3: التطبيقات الهندسية للشبكات العصبية

الهندسة هي المكان الذي تكون فيه تطبيقات الشبكة العصبية ضرورية ، لا سيما في "أنظمة الضمان العالي التي ظهرت في مختلف المجالات ، بما في ذلك التحكم في الطيران والهندسة الكيميائية ومحطات الطاقة والتحكم في السيارات والأنظمة الطبية والأنظمة الأخرى التي تتطلب الاستقلالية." (المصدر: تطبيق الشبكات العصبية في أنظمة ضمان عالية: دراسة استقصائية.)

سألنا خبيرين في القطاع الهندسي عن كيفية تحسين تطبيقاتهما البيع بالتجزئة والتصنيع والنفط والغاز والملاحة واسترجاع المعلومات في بيئات المكاتب.

يستخدم الناس التكنولوجيا اللاسلكية ، التي تسمح للأجهزة بالاتصال بالإنترنت أو التواصل مع بعضها البعض في منطقة معينة ، في العديد من المجالات المختلفة لتقليل التكاليف وتعزيز الكفاءة. يصف Huw Rees ، نائب رئيس المبيعات والتسويق في KodaCloud ، وهو تطبيق مصمم لتحسين أداء Wi-Fi ، بعض الاستخدامات فقط.

يقدم Rees بعض الأمثلة اليومية لاستخدام Wi-Fi: "تستخدم سلاسل المتاجر الكبرى ماسحات Wi-Fi لمسح المنتجات داخل وخارج مراكز التوزيع والأسواق الفردية. إذا كانت شبكة Wi-Fi لا تعمل بشكل جيد ، فإن الأنشطة التجارية بأكملها تتعطل. تعتبر مخاوف التصنيع والنفط والغاز أيضًا أمثلة جيدة على الشركات التي تعتبر فيها شبكة Wi-Fi مهمة بالغة الأهمية ، لأن ضمان الموثوقية والتحسين هو مطلب مطلق "، كما يقول.

تعد شبكة Wi-Fi رائعة ، ولكنها تتطلب الكثير من الإشراف للقيام بعملها. "تتطلب معظم الشركات أو حلول الشبكات المحلية اللاسلكية واسعة النطاق مراقبة وتعديلًا شبه مستمرين من قبل خبراء Wi-Fi مدربين تدريباً عالياً ، وهي طريقة مكلفة لضمان أداء الشبكة على النحو الأمثل" ، يشير ريس. ويضيف: "يحل KodaCloud هذه المشكلة من خلال نظام ذكي يستخدم الخوارزميات ومن خلال التعلم التكيفي ، الذي يولد حلقة ذاتية التحسين".

يشارك ريس كيف تستفيد تقنية KodaCloud من الشبكات العصبية للتحسين المستمر: "تتعلم الشبكة وتعالج نفسها بنفسها بناءً على التعلم العالمي والمحلي. إليك مثال عالمي: يعلم النظام أنه تم نشر نظام تشغيل Android جديد ويتطلب تكوينًا إضافيًا وتغييرات في الحد للعمل على النحو الأمثل. بمجرد أن يقوم النظام بإجراء التعديلات وقياس التحسينات التي تتطلبها هذه الترقية ، فإنه يطبق هذه المعرفة على جميع عملاء KodaCloud الآخرين على الفور ، لذلك يتعرف النظام على الفور على أي جهاز مشابه ويحل المشكلات. على سبيل المثال المحلي ، لنفترض أن النظام يتعلم بيئة تردد الراديو المحلية لكل نقطة وصول. يتصل كل جهاز بعد ذلك بكل نقطة وصول ، مما ينتج عنه تغييرات عتبة لمعلمات راديو الجهاز المحلي. عالميًا ومحليًا ، العملية عبارة عن دورة مستمرة لتحسين جودة Wi-Fi لكل جهاز ".

تُستخدم الطائرات بدون طيار ، وهي تقنية سريعة التطور ، في الإغاثة من الكوارث ، واستكشاف النفط والغاز والمعادن ، والمراقبة الجوية ، والعقارات والبناء ، وصناعة الأفلام. نيل ماكوران-كامبل هو الرئيس التنفيذي لشركة Aeiou.tech ، التي تصمم تكنولوجيا الطائرات بدون طيار المتقدمة للاستخدام في العديد من القطاعات المختلفة. "منصة Dawn الخاصة بنا عبارة عن سلسلة من أجهزة الاستشعار على متن الطائرة وجهاز كمبيوتر مصاحب يسمح فعليًا لأي نظام جوي غير مأهول بالاستفادة من مجموعة واسعة من المزايا التي يوفرها الذكاء الاصطناعي ، من ميكانيكا الطيران ، مثل الملاحة وتجنب العقبات ، إلى الخدمات مثل البنية التحتية التفتيش أو تسليم الطرود ، "يقول ماكوران كامبل.

يوضح McOran-Campbell كيفية عمل Dawn استنادًا إلى مستويين من علم الأحياء: "في المستوى الأول ، نستخدم الشبكات العصبية الاصطناعية لمعالجة المعلومات الأولية. هناك ثلاثة أنواع مختلفة من الشبكات التي نستخدمها: الشبكات العصبية المتكررة ، والتي تستخدم الماضي لإبلاغ التنبؤات حول الشبكات العصبية التلافيفية المستقبلية ، والتي تستخدم حزم `` منزلقة '' من الخلايا العصبية (نستخدم هذا النوع بشكل عام لمعالجة الصور) والمزيد من الشبكات العصبية التقليدية. الشبكات ، أي الشبكات الفعلية للخلايا العصبية. تعد الشبكات العصبية التقليدية مفيدة جدًا لمشاكل مثل التنقل ، خاصةً عندما يتم دمجها مع عناصر متكررة.

"على المستوى الثاني الأكثر تعقيدًا ، تحاكي بنية Dawn أفضل بنية موجودة لمعالجة المعلومات: الدماغ البشري. يتيح لنا ذلك حل مشكلة الاستقلالية شديدة التعقيد بنفس الطريقة التي يعمل بها علم الأحياء: باستخدام "قشرة" مجزأة ، كل منها بشبكاتها العصبية ولكل منها مسارات اتصالها وهياكل القيادة الهرمية الخاصة بها. والنتيجة هي أن المعلومات تتدفق في موجات عبر القشرة المخية بنفس الطريقة التي تتدفق بها في الدماغ. [في كلتا الحالتين ، يتم تحسين العملية] من أجل الفعالية والكفاءة في معالجة المعلومات ، "يشرح.

فيما يلي قائمة بتطبيقات هندسة الشبكات العصبية الأخرى المستخدمة حاليًا في مختلف الصناعات:

الفضاء الجوي: أجهزة كشف الأعطال ومحاكاة لمكونات الطائرات ، وأنظمة التحكم في الطائرات ، والقيادة الآلية عالية الأداء ، ومحاكاة مسار الرحلة

السيارات: أنظمة توجيه محسنة ، وتطوير قطارات كهربائية ، وأجهزة استشعار افتراضية ، ومحللات نشاط الضمان

الإلكترونيات: تحليل فشل الشريحة ، تخطيطات شرائح الدائرة ، رؤية الآلة ، النمذجة غير الخطية ، التنبؤ بتسلسل الكود ، التحكم في العملية ، والتوليف الصوتي

التصنيع: تحليل تصميم المنتجات الكيميائية ، والنمذجة الديناميكية لأنظمة العمليات الكيميائية ، والتحكم في العمليات ، وتشخيص العملية والآلة ، وتصميم المنتج وتحليله ، والتنبؤ بجودة الورق ، وعطاءات المشروع ، والتخطيط والإدارة ، وتحليل جودة رقائق الكمبيوتر ، وأنظمة فحص الجودة المرئية ، و تحليل جودة اللحام

الميكانيكا: مراقبة الحالة ونمذجة النظم والتحكم

الروبوتات: روبوتات الرافعة الشوكية ، وأجهزة التحكم في المناور ، والتحكم في المسار ، وأنظمة الرؤية

الاتصالات السلكية واللاسلكية: التحكم في شبكة ATM ، وخدمات المعلومات الآلية ، وأنظمة معالجة مدفوعات العملاء ، وضغط البيانات ، والمعادلات ، وإدارة الأخطاء ، والتعرف على خط اليد ، وتصميم الشبكة ، والإدارة ، والتوجيه والتحكم ، ومراقبة الشبكة ، والترجمة الفورية للغة المنطوقة ، والتعرف على الأنماط ( الوجوه والأشياء وبصمات الأصابع والتحليل الدلالي والتدقيق الإملائي ومعالجة الإشارات والتعرف على الكلام)

تطبيقات الأعمال للشبكات العصبية:

تزدهر تطبيقات الأعمال الواقعية للشبكات العصبية. في بعض الحالات ، أصبحت NNs بالفعل الطريقة المفضلة للشركات التي تستخدم تحليلات صناديق التحوط ، وتجزئة التسويق ، واكتشاف الاحتيال. إليك بعض مبتكري الشبكات العصبية الذين يغيرون مشهد الأعمال.

في الوقت الذي أصبح فيه العثور على عمال مؤهلين لوظائف معينة أمرًا صعبًا بشكل متزايد ، لا سيما في قطاع التكنولوجيا ، تعمل الشبكات العصبية والذكاء الاصطناعي على تحريك الإبرة. يستخدم Ed Donner ، الشريك المؤسس والرئيس التنفيذي لشركة untapt ، الشبكات العصبية والذكاء الاصطناعي لحل تحديات المواهب والموارد البشرية ، مثل عدم كفاءة التوظيف ، وضعف الاحتفاظ بالموظفين ، وعدم الرضا عن العمل ، والمزيد. يوضح دونر: "في النهاية ، أنشأنا نموذجًا للتعلم العميق يمكنه مطابقة الأشخاص مع الأدوار التي من المرجح أن ينجحوا فيها ، كل ذلك في غضون أجزاء من الثانية".

تتمتع الشبكات العصبية والذكاء الاصطناعي بنطاق مذهل ، ويمكنك استخدامها للمساعدة في اتخاذ القرارات البشرية في أي قطاع. لم يكن التعلم العميق هو الحل الأول الذي اختبرناه ، ولكنه تفوق باستمرار على البقية في التنبؤ بقرارات التوظيف وتحسينها. لقد قمنا بتدريب شبكتنا العصبية المكونة من 16 طبقة على الملايين من نقاط البيانات وقرارات التوظيف ، لذا فهي تتحسن باستمرار. لهذا السبب أنا مدافع عن كل شركة للاستثمار في الذكاء الاصطناعي والتعلم العميق ، سواء في الموارد البشرية أو أي قطاع آخر. لقد أصبح العمل مدفوعًا بشكل متزايد بالبيانات ، لذلك ستحتاج الشركات إلى الاستفادة من الذكاء الاصطناعي لتظل قادرة على المنافسة ، "يوصي دونر.

قد يكون مجال الشبكات العصبية واستخدامه للبيانات الضخمة عالي التقنية ، ولكن الغرض النهائي منه هو خدمة الناس. في بعض الحالات ، يكون الارتباط بالفوائد البشرية مباشرًا للغاية ، كما هو الحال مع خدمة الذكاء الاصطناعي في OKRA.

تؤكد لبنى بوعرفة ، الرئيس التنفيذي ومؤسس شركة Okra Technologies والمُعينة في فريق الخبراء رفيع المستوى التابع للمفوضية الأوروبية والمعني بالذكاء الاصطناعي. "في رعاية التبني ، نطبق الشبكات العصبية والذكاء الاصطناعي لمطابقة الأطفال مع مقدمي الرعاية بالتبني الذين سيوفرون أقصى قدر من الاستقرار. كما نطبق التقنيات لتقديم دعم اتخاذ القرار في الوقت الفعلي لمقدمي الرعاية الاجتماعية والأسرة الحاضنة من أجل إفادة الأطفال ".

مثل العديد من شركات الذكاء الاصطناعي ، تستفيد OKRA من تقنيتها لإجراء تنبؤات باستخدام العديد من مصادر البيانات الضخمة ، بما في ذلك CRM والسجلات الطبية وقياسات المستهلك والمبيعات والعلامة التجارية. بعد ذلك ، يشرح بوعرفة: "نستخدم خوارزميات تعلم الآلة الأكثر حداثة ، مثل الشبكات العصبية العميقة ، والتعلم الجماعي ، والتعرف على الموضوعات ، ومجموعة واسعة من النماذج غير البارامترية للرؤى التنبؤية التي تعمل على تحسين حياة الإنسان."

وفقًا للصندوق العالمي لأبحاث السرطان ، فإن سرطان الجلد هو السرطان التاسع عشر الأكثر شيوعًا في جميع أنحاء العالم. يصاب واحد من كل خمسة أشخاص على هذا الكوكب بسرطان الجلد ، والاكتشاف المبكر ضروري لمنع الوفاة المرتبطة بسرطان الجلد. يوجد تطبيق لذلك: تطبيق على الهاتف لإجراء عمليات الفحص الذاتي للصور باستخدام هاتف ذكي.

يقول ماثيو إنيفولدسون ، مدير العلاقات العامة في SkinVision: "تستخدم SkinVision خوارزمية رياضية مملوكة لنا لبناء خريطة هيكلية تكشف أنماط النمو المختلفة للأنسجة المعنية".

يضيف Enevoldson أن تطبيق الهاتف يعمل بسرعة: "في 30 ثانية فقط ، يشير التطبيق إلى أي البقع على الجلد يجب تتبعها بمرور الوقت ويعطي الصورة مؤشرًا منخفضًا أو متوسطًا أو عالي الخطورة. تظهر أحدث البيانات أن خدمتنا لها خصوصية بنسبة 80 في المائة وحساسية بنسبة 94 في المائة ، وهي أعلى بكثير من خدمات طبيب الأمراض الجلدية (حساسية 75 في المائة) ، أو طبيب الأمراض الجلدية المتخصص (حساسية 92 في المائة) ، أو ممارس عام. (حساسية 60 بالمائة). يقوم فريقنا المكون من خبراء التعرف على الصور وأطباء الأمراض الجلدية بفحص كل صورة مرتين لأغراض الجودة. يتم الإبلاغ عن الصور عالية الخطورة ، وفي غضون 48 ساعة ، يتلقى المستخدمون نصيحة طبية شخصية من طبيب حول الخطوات التالية ". التطبيق لديه 1.2 مليون مستخدم حول العالم.

يمكن أن يمثل تتبع البيانات في أي بيئة عمل والاستفادة منها بشكل جيد تحديًا. روب ماي هو الرئيس التنفيذي والمؤسس المشارك لشركة Talla ، وهي شركة تبني "عمال رقميين" يساعدون الموظفين في المهام اليومية المتعلقة باسترجاع المعلومات والوصول إليها وصيانتها. يوضح ماي قائلاً: "نمنح الشركات القدرة على اعتماد الذكاء الاصطناعي بطريقة هادفة والبدء في تحقيق تحسينات فورية لإنتاجية الموظفين ومشاركة المعرفة عبر المؤسسة". "إذا قامت الشركة بتخزين وثائق منتجاتها في تالا ، يمكن لمندوبي المبيعات الوصول على الفور إلى هذه المعلومات أثناء إجراء مكالمات المبيعات. هذه القدرة على الوصول الفوري والسهل إلى معلومات دقيقة ومحدَّثة ومحقَّقة لها تأثير مباشر على الإيرادات. من خلال تقديم المعلومات للموظفين عندما يحتاجون إليها ، تصبح عملية إعداد المندوبين الجدد وتدريبهم أفضل وأسرع وأقل تكلفة ".

تعتمد تقنية الشبكة العصبية لـ Talla على مناهج تعليمية مختلفة. يقول: "نحن نستخدم المطابقة الدلالية ، والترجمة الآلية العصبية ، والتعلم النشط ، ونمذجة الموضوعات لمعرفة ما هو ملائم ومهم لمؤسستك ، ونقدم تجربة أفضل بمرور الوقت". قد يميز موقع تالا عن الذكاء الاصطناعي: "لقد رفعت هذه التكنولوجيا سقف الذكاء الاصطناعي ، مما سمح للمستخدمين بتدريب المحتوى القائم على المعرفة باستخدام تقنيات الذكاء الاصطناعي المتقدمة. يمنح Talla المستخدمين القدرة على جعل معلوماتهم أكثر قابلية للاكتشاف وقابلة للتنفيذ وملائمة للموظفين. يمكن لمنشئي المحتوى تدريب تالا على تحديد محتوى مشابه والإجابة على الأسئلة وتحديد الفجوات المعرفية ".

فيما يلي المزيد من الأمثلة الحالية لتطبيقات الأعمال NN:

الخدمات المصرفية: استنفاد بطاقة الائتمان ، وتقييم طلبات الائتمان والقروض ، وتقييم الاحتيال والمخاطر ، والتأخر في سداد القروض

تحليل الأعمال: نمذجة سلوك العملاء ، وتجزئة العملاء ، وميل الاحتيال ، وأبحاث السوق ، ومزيج السوق ، وهيكل السوق ، ونماذج الاستنزاف ، والتقصير ، والشراء ، والتجديدات

دفاع: مكافحة الإرهاب ، والتعرف على الوجه ، واستخراج الميزات ، وكبح الضوضاء ، والتمييز بين الأشياء ، وأجهزة الاستشعار ، والسونار ، والرادار ومعالجة إشارات الصور ، وتحديد الإشارة / الصورة ، وتتبع الهدف ، وتوجيه السلاح

تعليم: برامج التعلم التكيفية ، والتنبؤ الديناميكي ، وتحليل نظام التعليم والتنبؤ به ، ونمذجة أداء الطلاب ، وتحديد السمات الشخصية

الأمور المالية: تصنيفات سندات الشركات ، والتحليل المالي للشركات ، وتحليل استخدام خط الائتمان ، والتنبؤ بأسعار العملات ، وتقديم المشورة بشأن القروض ، وفحص الرهن العقاري ، وتقييم العقارات ، وتداول المحفظة

طبي: تحليل الخلايا السرطانية ، وتحليل ECG و EEG ، واستشارة اختبار غرفة الطوارئ ، وخفض النفقات وتحسين الجودة لأنظمة المستشفيات ، وتحسين عملية الزرع ، وتصميم الأطراف الاصطناعية

ضمانات: تصنيف آلي للسندات ، وتحليل للسوق ، وأنظمة استشارية لتداول الأسهم

مواصلات: أنظمة التوجيه وأنظمة تشخيص فرامل الشاحنات وجدولة المركبات

يبدو أن استخدام الشبكات العصبية لا يمكن إيقافه. "مع تقدم تقنيات الكمبيوتر والاتصالات ، شهدت العملية الكاملة لممارسة الأعمال التجارية تغييرًا هائلاً. وجد الباحثان نيخيل بهارجافا ومانيك جوبتا في "تطبيق الشبكات العصبية الاصطناعية في تطبيقات الأعمال" المزيد والمزيد من الأنظمة القائمة على المعرفة تشق طريقها إلى عدد كبير من الشركات.

ما هي أنواع الشبكات العصبية؟

الشبكات العصبية عبارة عن مجموعات من الخوارزميات تهدف إلى التعرف على الأنماط وتفسير البيانات من خلال التجميع أو وضع العلامات. بمعنى آخر ، الشبكات العصبية هي خوارزميات. أ خوارزمية التدريب هي الطريقة التي تستخدمها لتنفيذ عملية تعلم الشبكة العصبية. نظرًا لوجود عدد كبير من خوارزميات التدريب المتاحة ، كل منها يتكون من خصائص وقدرات أداء متنوعة ، فإنك تستخدم خوارزميات مختلفة لتحقيق أهداف مختلفة.

بشكل جماعي ، يطور مهندسو التعلم الآلي عدة آلاف من الخوارزميات الجديدة على أساس يومي. عادةً ما تكون هذه الخوارزميات الجديدة عبارة عن اختلافات في البنى القائمة ، وتستخدم بشكل أساسي بيانات التدريب لعمل توقعات أو بناء نماذج من العالم الحقيقي.

إليك دليل لبعض خوارزميات الشبكات العصبية الشائعة اليوم.لمزيد من الوضوح حول المصطلحات غير المألوفة ، يمكنك الرجوع إلى المسارد في قسم الموارد في هذه المقالة.

دليل الشخص العادي لخوارزميات الشبكة العصبية الشائعة

الخوارزمية غرض
المشفر التلقائي (AE) عادةً ما تستخدم AEs لتقليل عدد المتغيرات العشوائية قيد الدراسة ، لذلك يمكن للنظام أن يتعلم تمثيلاً لمجموعة من البيانات ، وبالتالي ، نماذج البيانات المولدة للعملية.
الشبكة العصبية المتكررة ثنائية الاتجاه (BRNN) الهدف من BRNN هو زيادة مدخلات المعلومات المتاحة للشبكة عن طريق توصيل طبقتين مخفيتين متعارضتين بشكل مباشر بنفس المخرج. باستخدام BRNNs ، يمكن لطبقة المخرجات الحصول على معلومات من كل من الحالات السابقة والمستقبلية.
آلة بولتزمان (BM) شبكة عصبية متكررة ، هذه الخوارزمية قادرة على تعلم التمثيلات الداخلية ويمكنها تمثيل وحل المشكلات المشتركة الصعبة.
الشبكة العصبية التلافيفية (CNN) تستخدم شبكات CNN بشكل شائع لتحليل الصور المرئية ، وهي شبكة عصبية للتغذية الأمامية مصممة لتقليل المعالجة المسبقة.
الشبكة العصبية Deconvolutional Neural Network (DNN) تمكّن DNNs البناء غير الخاضع للإشراف لتمثيلات الصور الهرمية. يقوم كل مستوى من مستويات التدرج الهرمي بتجميع المعلومات من المستوى السابق لإضافة ميزات أكثر تعقيدًا إلى صورة ما.
شبكة المعتقد العميق (DBN) عندما يتم تدريبه بمجموعة من الأمثلة غير الخاضعة للإشراف ، يمكن لـ DBN أن يتعلم إعادة بناء مدخلاته بشكل احتمالي باستخدام الطبقات ككاشفات للميزات. بعد هذه العملية ، يمكنك تدريب DBN لأداء التصنيفات الخاضعة للإشراف.
شبكة الرسومات العكسية التلافيفية العميقة (DCIGN) يهدف نموذج DCIGN إلى تعلم تمثيل قابل للتفسير للصور التي يفصلها النظام وفقًا لعناصر هيكل المشهد ثلاثي الأبعاد ، مثل اختلافات الإضاءة ودوران العمق. يستخدم DCIGN العديد من طبقات المشغلين ، التلافيفية وغير التلافيفية.
الشبكة العميقة المتبقية (DRN) تساعد شبكات DRN في التعامل مع مهام ونماذج التعلم العميق المعقدة. من خلال وجود العديد من الطبقات ، تمنع DRN تدهور النتائج.
تقليل الضوضاء (DAE) يمكنك استخدام DAEs لإعادة بناء البيانات من مدخلات البيانات التالفة ، وتجبر الخوارزمية الطبقة المخفية على معرفة المزيد من الميزات القوية. نتيجة لذلك ، ينتج عن الإخراج نسخة أكثر دقة من بيانات الإدخال.
شبكة حالة الصدى (ESN) يعمل ESN مع شبكة عصبية متكررة عشوائية كبيرة وثابتة ، حيث تتلقى كل عقدة إشارة استجابة غير خطية. تقوم الخوارزمية بتعيين وتعيين الأوزان والاتصال بشكل عشوائي من أجل تحقيق مرونة التعلم.
آلة التعلم المتطرفة (ELM) تتعلم هذه الخوارزمية أوزان ناتج العقدة المخفية في خطوة واحدة ، مما يؤدي إلى إنشاء نموذج خطي. يمكن أن تعمم ELMs بشكل جيد وتتعلم عدة مرات أسرع من شبكات backpropagation.
تغذية الشبكة العصبية الأمامية (FF أو FFNN) و Perceptron (P) هذه هي الخوارزميات الأساسية للشبكات العصبية. الشبكة العصبية المغذية هي شبكة عصبية اصطناعية لا تشكل فيها توصيلات العقدة دورة ، حيث يعتبر الإدراك الحسي وظيفة ثنائية مع نتيجتين فقط (أعلى / أسفل نعم / لا ، 0/1).
وحدة بوابات متكررة (GRU) تستخدم وحدات GRU الاتصالات من خلال تسلسل العقدة لأداء مهام التعلم الآلي المرتبطة بالتجميع والذاكرة. تقوم وحدات GRU بتكرير المخرجات من خلال التحكم في تدفق معلومات النموذج.
شبكة الخصومة التوليدية (GAN) يضع هذا النظام شبكتين عصبيتين - تمييزية وتوليدية - ضد بعضهما البعض. الهدف هو التمييز بين النتائج الحقيقية والتركيبية من أجل محاكاة المهام المفاهيمية عالية المستوى.
شبكة هوبفيلد (HN) هذا الشكل من الشبكات العصبية الاصطناعية المتكررة هو نظام ذاكرة ترابطي مع عقد عتبة ثنائية. تم تصميم HNs لتتقارب مع الحد الأدنى المحلي ، وتوفر نموذجًا لفهم الذاكرة البشرية.
شبكة Kohonen (KN) ينظم KN مساحة المشكلة في خريطة ثنائية الأبعاد. يتمثل الاختلاف بين خرائط التنظيم الذاتي (SOMs) ومناهج حل المشكلات الأخرى في أن SOMs تستخدم التعلم التنافسي بدلاً من تعلم تصحيح الأخطاء.
آلة الحالة السائلة (LSM) يضيف LSM ، المعروف باسم التعلم الآلي من الجيل الثالث (أو الشبكة العصبية المتصاعدة) ، مفهوم الوقت كعنصر. تولد LSM تنشيطًا لشبكة الخلايا العصبية الزمانية المكانية لأنها تحافظ على الذاكرة أثناء المعالجة. تستخدم الفيزياء وعلم الأعصاب الحسابي LSMs.
ذاكرة طويلة / قصيرة المدى (LSTM) LSTM قادر على تعلم أو تذكر اعتماد النظام في مشاكل التنبؤ المتعلقة بالتسلسل. تحتوي وحدة LSTM على خلية وبوابة إدخال وبوابة إخراج وبوابة نسيان. تحتفظ الخلايا بالقيم على فترات زمنية عشوائية. تنظم كل وحدة تدفقات القيمة من خلال اتصالات LSTM. تعد إمكانية التسلسل هذه ضرورية في مجالات المشكلات المعقدة ، مثل التعرف على الكلام والترجمة الآلية.
سلسلة ماركوف (MC) MC هي عملية رياضية تصف سلسلة من الأحداث المحتملة التي يعتمد فيها احتمال كل حدث بشكل حصري على الحالة التي تم تحقيقها في الحدث السابق. تتضمن أمثلة الاستخدام تنبؤات كتابة الكلمات و Google PageRank.
آلة تورينج العصبية (NTM) استنادًا إلى أعمال منتصف القرن العشرين لعالم البيانات آلان تورينج ، يقوم NTM بإجراء عمليات حسابية ويوسع قدرات الشبكات العصبية من خلال الاقتران بالذاكرة الخارجية. يستخدم المطورون NTM في الروبوتات ويعتبرونها إحدى الوسائل لبناء دماغ بشري اصطناعي.
شبكات وظيفة الأساس الشعاعي (شبكات RBF) يستخدم المطورون شبكات RBF لنمذجة البيانات التي تمثل اتجاهًا أو وظيفة أساسية. تتعلم شبكات RBF تقريب الاتجاه الأساسي باستخدام منحنيات الجرس أو المصنفات غير الخطية. تحلل المصنفات غير الخطية بشكل أعمق من المصنفات الخطية البسيطة التي تعمل على متجهات ذات أبعاد أقل. يمكنك استخدام هذه الشبكات في التحكم في النظام وتنبؤات السلاسل الزمنية.
الشبكة العصبية المتكررة (RNN) نموذج RNNs التفاعلات المتسلسلة عبر الذاكرة. في كل خطوة زمنية ، يحسب RNN ذاكرة جديدة أو حالة مخفية تعتمد على كل من الإدخال الحالي وحالة الذاكرة السابقة. تشمل التطبيقات التأليف الموسيقي والتحكم في الروبوت والتعرف على عمل الإنسان.
آلة بولتزمان المقيدة (RBM) نموذج RBM هو نموذج رسومي احتمالي في بيئة غير خاضعة للإشراف. يتكون RBM من طبقات مرئية ومخفية بالإضافة إلى الروابط بين الخلايا العصبية الثنائية في كل من هذه الطبقات. تعد RBN مفيدة للتصفية وتعلم الميزات والتصنيف. تشمل حالات الاستخدام الكشف عن المخاطر والتحليلات التجارية والاقتصادية.
دعم آلة المتجهات (SVM) استنادًا إلى مجموعات أمثلة التدريب ذات الصلة بإحدى فئتين محتملتين ، تبني خوارزمية SVM نموذجًا يعين أمثلة جديدة لإحدى الفئتين. ثم يمثل النموذج الأمثلة كنقاط معيَّنة في الفضاء بينما يقسم أمثلة الفئات المنفصلة على أوسع فجوة ممكنة. ثم تقوم الخوارزمية بتعيين أمثلة جديدة في نفس المساحة وتتوقع الفئة التي ينتمون إليها بناءً على أي جانب من الفجوة يشغلونها. تشمل التطبيقات اكتشاف الوجه والمعلوماتية الحيوية.
المشفر التلقائي المتغير (VAE) يعد VAE نوعًا محددًا من الشبكات العصبية التي تساعد في إنشاء نماذج معقدة بناءً على مجموعات البيانات. بشكل عام ، يعد التشفير التلقائي عبارة عن شبكة تعلم عميق تحاول إعادة بناء نموذج أو مطابقة المخرجات المستهدفة للمدخلات المقدمة من خلال backpropagation. ينتج عن VAE أيضًا نتائج تعلم الآلة الحديثة في مجالات إنشاء الصور والتعلم المعزز.

ما هي الشبكات العصبية في التنقيب عن البيانات؟

في ورقتها البحثية "الشبكات العصبية في تعدين البيانات" ، لاحظت بريانكا غوار أنه "من الناحية العملية ، الشبكات العصبية هي أدوات غير خطية لنمذجة البيانات الإحصائية. يمكن استخدامها لنمذجة العلاقات المعقدة بين المدخلات والمخرجات أو للعثور على أنماط في البيانات. باستخدام الشبكات العصبية كأداة ، تقوم شركات تخزين البيانات بجمع المعلومات من مجموعات البيانات في العملية المعروفة باسم بيانات التعدين.”

يتابع غور: "يتمثل الاختلاف بين مستودعات البيانات هذه وقواعد البيانات العادية في وجود معالجة فعلية وإخصاب متبادل للبيانات ، مما يساعد المستخدمين على اتخاذ قرارات أكثر استنارة."

على الرغم من أنه يمكنك استخدام الشبكات العصبية لتعدين البيانات ، فإن المطورين عمومًا لا يفعلون ذلك لأن NNs تتطلب أوقات تدريب طويلة وغالبًا ما تنتج نماذج يصعب فهمها. عندما يقرر المحترفون استخدامها ، يكون لديهم نوعان من أساليب التنقيب عن بيانات الشبكة العصبية للاختيار من بينها: يتعلم أحدهما مباشرة شبكات بسيطة وسهلة الفهم ، بينما يستخدم الآخر طرقًا أكثر تعقيدًا. استخراج القاعدة، والذي يتضمن استخراج نماذج رمزية من الشبكات العصبية المدربة.

العصبية مقابل أجهزة الكمبيوتر التقليدية

أحد الاختلافات الأساسية بين أجهزة الكمبيوتر التقليدية أو التقليدية وأجهزة الكمبيوتر العصبية هو أن الآلات التقليدية تعالج البيانات بشكل تسلسلي ، بينما يمكن للشبكات العصبية القيام بالعديد من الأشياء في وقت واحد. فيما يلي بعض الاختلافات الرئيسية الأخرى بين أجهزة الكمبيوتر التقليدية والعصبية:

اتباع التعليمات مقابل القدرة على التعلم: تتعلم أجهزة الكمبيوتر التقليدية فقط من خلال تنفيذ الخطوات أو التسلسلات التي تحددها خوارزمية ، بينما تقوم الشبكات العصبية باستمرار بتكييف برمجتها وتبرمج نفسها بشكل أساسي لإيجاد الحلول. أجهزة الكمبيوتر التقليدية محدودة بتصميمها ، بينما تم تصميم الشبكات العصبية لتجاوز حالتها الأصلية.

القواعد مقابل المفاهيم والصور: تعمل أجهزة الكمبيوتر التقليدية من خلال وظائف منطقية تستند إلى مجموعة معينة من القواعد والحسابات. في المقابل ، يمكن للشبكات العصبية الاصطناعية أن تعمل من خلال وظائف منطقية وتستخدم مفاهيم ورسومات وصور فوتوغرافية مجردة. تعتمد أجهزة الكمبيوتر التقليدية على القواعد ، بينما تؤدي الشبكات العصبية الاصطناعية المهام ثم تتعلم منها.

مكمل ، غير متساو: أجهزة الكمبيوتر الخوارزمية التقليدية والشبكات العصبية تكمل بعضها البعض. بعض المهام مبنية على أساس حسابي أكثر ولا تتطلب القدرة على التعلم من الشبكات العصبية. في كثير من الأحيان ، تتطلب المهام قدرات كلا النظامين. في هذه الحالات ، يشرف الكمبيوتر التقليدي على الشبكة العصبية للحصول على سرعة وكفاءة أعلى.

وبقدر ما تبدو الشبكات العصبية مثيرة للإعجاب ، إلا أنها لا تزال قيد التنفيذ ، وتقدم تحديات بالإضافة إلى أنها تعد بمستقبل حل المشكلات.

تحديات الشبكات العصبية

يقول Cardinell من Cortx إن قيمة وتنفيذ الشبكات العصبية يعتمدان على المهمة ، لذلك من المهم فهم التحديات والقيود: "نهجنا العام هو القيام بما يصلح لكل مشكلة محددة نحاول حلها. في العديد من هذه الحالات ، يتضمن ذلك استخدام الشبكات العصبية في حالات أخرى ، نستخدم طرقًا أكثر تقليدية ". يوضح كاردينيل وجهة نظره بهذا المثال: "على سبيل المثال ، في Perfect Tense ، نحاول اكتشاف ما إذا كان شخص ما يستخدم أ أو ا بشكل صحيح. في هذه الحالة ، سيكون استخدام الشبكة العصبية أمرًا مبالغًا فيه ، لأنه يمكنك ببساطة إلقاء نظرة على النطق الصوتي لاتخاذ القرار (على سبيل المثال ، موزة خطأ). الشبكات العصبية هي المكان الذي يتم فيه إحراز معظم التقدم في الوقت الحالي. الأشياء التي كانت مستحيلة قبل عام أو عامين فقط فيما يتعلق بجودة المحتوى أصبحت الآن حقيقة واقعة ".

بقدر ما يمكن أن تكون الشبكات العصبية مفيدة ، تكثر التحديات في هذا المجال:

تمرين: من الانتقادات الشائعة للشبكات العصبية ، لا سيما في تطبيقات الروبوتات ، أن التدريب المفرط لعمليات العالم الحقيقي أمر إلزامي. تتمثل إحدى طرق التغلب على هذه العقبة في الترتيب العشوائي لأمثلة التدريب. باستخدام خوارزمية التحسين العددي ، يتم اتخاذ خطوات صغيرة - بدلاً من الخطوات الكبيرة - لاتباع مثال. هناك طريقة أخرى تتمثل في تجميع الأمثلة فيما يسمى بالدُفعات الصغيرة. يعد تحسين كفاءات التدريب وقدرات التقارب مجال بحث مستمر لعلماء الكمبيوتر.

قضايا نظرية: لا تزال هناك مشاكل لم يتم حلها ، حتى بالنسبة للشبكات العصبية الأكثر تعقيدًا. على سبيل المثال ، على الرغم من بذل قصارى جهده ، لا يزال Facebook يجد أنه من المستحيل تحديد كل الكلام الذي يحض على الكراهية والمعلومات المضللة باستخدام الخوارزميات. توظف الشركة الآلاف من المراجعين البشريين لحل المشكلة. بشكل عام ، نظرًا لأن أجهزة الكمبيوتر ليست بشرية ، فإن قدرتها على الإبداع حقًا - إثبات النظريات الرياضية ، أو اتخاذ الخيارات الأخلاقية ، أو تأليف الموسيقى الأصلية ، أو الابتكار العميق - هي خارج نطاق الشبكات العصبية والذكاء الاصطناعي.

الزيف: تنشأ التحديات النظرية التي نتناولها أعلاه لأن الشبكات العصبية لا تعمل تمامًا كما تعمل أدمغة الإنسان - فهي تعمل فقط كمحاكاة للدماغ البشري. لا تزال تفاصيل كيفية تشفير معلومات الخلايا العصبية في الثدييات مجهولة. لا تكرر الشبكات العصبية الاصطناعية الوظيفة العصبية بدقة ، بل تستخدم الشبكات العصبية البيولوجية كمصدر إلهام لها. تسمح هذه العملية بالارتباط الإحصائي ، وهو أساس الشبكات العصبية الاصطناعية. لا تتطابق عملية التعلم الخاصة بـ ANN مع عملية تعلم الإنسان ، وبالتالي ، فإن قيودها المتأصلة (على الأقل في الوقت الحالي).

مشاكل الأجهزة: يرجع تركيز هذا القرن على الشبكات العصبية إلى زيادة قوة الحوسبة بمقدار مليون ضعف منذ عام 1991. وقد أتاحت السعة المتزايدة للأجهزة مزيدًا من الطبقات المتعددة والتعلم العميق اللاحق ، كما أن استخدام وحدات معالجة الرسومات المتوازية (GPUs) يقلل الآن من أوقات التدريب من شهور إلى أيام. على الرغم من الخطوات الكبيرة لشبكات NN في السنوات الأخيرة ، مع نضوج الشبكات العصبية العميقة ، يحتاج المطورون إلى ابتكارات في الأجهزة لتلبية الطلبات الحسابية المتزايدة. البحث قيد التشغيل ، ولا تزال الأجهزة والرقائق الجديدة المصممة خصيصًا للذكاء الاصطناعي قيد التطوير. 2018 نيويورك تايمز مقال بعنوان "رهانات كبيرة على الذكاء الاصطناعي" ذكرت Open a New Frontier for Chip Startups ، أيضًا "أن" أصحاب رؤوس الأموال استثمروا أكثر من 1.5 مليار دولار في الشركات الناشئة ذات الرقائق "في عام 2017.

الهجينة: اقتراح للتغلب على بعض تحديات الشبكات العصبية يجمع بين NN والذكاء الاصطناعي الرمزي ، أو التمثيلات التي يمكن للبشر قراءتها للبحث والمنطق والمشكلات. لتكرار الذكاء البشري بنجاح ، من الضروري ترجمة المعرفة الإجرائية أو المعرفة الضمنية (المهارات والمعرفة التي لا يمكن الوصول إليها بسهولة من خلال الإدراك الواعي) يمتلك البشر شكلًا لا لبس فيه يستخدم الرموز والقواعد. حتى الآن ، كانت صعوبات تطوير الذكاء الاصطناعي الرمزي غير قابلة للحل - لكن هذا الوضع قد يتغير قريبًا.

يعمل علماء الكمبيوتر على القضاء على هذه التحديات. يكتب القادة في مجال الشبكات العصبية والذكاء الاصطناعي خوارزميات أكثر ذكاءً وأسرع وأكثر إنسانية كل يوم. يقود المهندسون التحسينات من خلال استخدام أجهزة أفضل والتلقيح المتبادل بين الأجهزة والبرامج المختلفة

مستقبل الشبكات العصبية

"علينا أن نتذكر أن الشبكات العصبية الاصطناعية والتعلم العميق ليست سوى مجموعة واحدة من التقنيات لتطوير حلول لمشاكل معينة. في الوقت الحالي ، هم "الشيء الكبير" ، على حد قول ريتشارد يونك ، مؤسس شركة Intelligent Future Consulting ومؤلف كتاب Heart of the Machine: مستقبلنا في عالم الذكاء العاطفي الاصطناعي.

ويضيف ، "إنها تلك المقولة القديمة:" عندما تكون أداتك الوحيدة مطرقة ، فإن كل شيء يبدو وكأنه مسمار ". باستثناء أن كل شيء ليس مسمارًا ، والتعلم العميق لا يعمل مع جميع المشكلات. هناك كل أنواع التطورات التي ستأتي في العقدين المقبلين والتي قد توفر حلولاً أفضل: التعلم من لقطة واحدة ، ومعالجة اللغة الطبيعية السياقية ، ومحركات المشاعر ، ومحركات الفطرة السليمة ، والإبداع الاصطناعي ".

فيما يلي بعض التطورات المستقبلية المحتملة في تقنيات الشبكة العصبية:

تكامل المنطق الضبابي: يتعرف المنطق الضبابي على أكثر من مجرد قيم صحيحة وخاطئة - فهو يأخذ في الاعتبار المفاهيم النسبية ، مثل إلى حد ما ، وأحيانًا ، وفي العادة. تم دمج المنطق الضبابي والشبكات العصبية لاستخدامات متنوعة مثل فحص المتقدمين للوظائف ، وهندسة السيارات ، والتحكم في رافعة البناء ، ومراقبة الجلوكوما. سيكون المنطق الضبابي ميزة أساسية في تطبيقات الشبكة العصبية المستقبلية.

الشبكات العصبية النبضية: في الآونة الأخيرة ، أوضحت بيانات التجارب البيولوجية العصبية أن الشبكات العصبية البيولوجية للثدييات تتصل وتتواصل من خلال النبض وتستخدم توقيت النبضات لنقل المعلومات وإجراء الحسابات. أدى هذا الاعتراف إلى تسريع البحث المهم ، بما في ذلك التحليلات النظرية ، وتطوير النماذج ، والنمذجة العصبية الحيوية ، ونشر الأجهزة ، وكلها تهدف إلى جعل الحوسبة أكثر تشابهًا مع الطريقة التي تعمل بها أدمغتنا.

الأجهزة المتخصصة: يوجد حاليًا انفجار في التطوير لإنشاء الأجهزة التي ستسرع وتخفض سعر الشبكات العصبية والتعلم الآلي والتعلم العميق في النهاية. تتسابق الشركات الناشئة والشركات الناشئة لتطوير شرائح محسنة ووحدات معالجة رسومية ، ولكن الخبر الحقيقي هو التطور السريع لوحدات معالجة الشبكة العصبية (NNPUs) وغيرها من الأجهزة الخاصة بالذكاء الاصطناعي ، والتي يشار إليها مجتمعة باسم أبنية المشبك العصبي. تعتبر الرقائق العصبية المشبكية أساسية لتقدم الذكاء الاصطناعي لأنها تعمل مثل الدماغ البيولوجي أكثر من كونها جوهر الكمبيوتر التقليدي. بفضل تقنية Brain Power الخاصة بها ، كانت IBM رائدة في تطوير رقائق العصبية المشبكية. على عكس الرقائق القياسية ، التي تعمل بشكل مستمر ، فإن رقائق Brain Power تعتمد على الأحداث وتعمل على أساس الحاجة. تدمج التكنولوجيا الذاكرة والحساب والاتصال.

تحسين التقنيات الحالية: تم تمكينها بواسطة برامج وأجهزة جديدة بالإضافة إلى تقنيات الشبكة العصبية الحالية وزيادة قوة الحوسبة للبنى العصبية المشبكية ، وبدأت الشبكات العصبية فقط في إظهار ما يمكنها فعله. تعد تطبيقات الأعمال التي لا تعد ولا تحصى من حل المشكلات الأسرع والأرخص والأكثر شبيهة بالإنسان وأساليب التدريب المحسنة مربحة للغاية.

علم الروبوتات: كانت هناك تنبؤات لا حصر لها حول الروبوتات التي ستكون قادرة على الشعور مثلنا ، ورؤية مثلنا ، والتكهن بالعالم من حولهم. تتضمن هذه النبوءات حتى بعض الإصدارات البائسة من ذلك المستقبل ، من المنهي سلسلة أفلام ل بليد عداء و Westworld. ومع ذلك ، يقول عالم المستقبل يونك إنه لا يزال أمامنا طريق طويل لنقطعه قبل أن تحل الروبوتات محلنا: "بينما تتعلم هذه الروبوتات بطريقة محدودة ، فإن القول بأنها" تفكر "قفزة كبيرة جدًا. يجب أن يحدث قبل أن تتمكن هذه الأنظمة من التفكير حقًا بطريقة سلسة وغير هشة. أحد العوامل الحاسمة التي أذكرها في كتابي هي القدرة على إنشاء القيم المحددة ذاتيًا والتصرف وفقًا لها في الوقت الفعلي ، وهو ما نفعله نحن البشر آلاف المرات في اليوم. بدون هذا ، ستفشل هذه الأنظمة في كل مرة تقع فيها الظروف خارج نطاق محدد مسبقًا. "

وفقًا لـ Yonck ، فإن الاندماج العقلي بين العقول البشرية والاصطناعية هو في مستقبلنا: "أعتقد أن الذكاء الاصطناعي والشبكات العصبية الاصطناعية والتعلم العميق سيلعب في النهاية دورًا أكثر نشاطًا بكثير في إعادة تدريب أدمغتنا ، لا سيما واجهات الدماغ والحاسوب. (BCIs) أصبحت أكثر انتشارًا واستخدامًا على نطاق واسع. سيكون التعلم العميق ضروريًا لتعلم قراءة لغة دماغ الفرد وتفسيرها ، وسيتم استخدامه لتحسين جانب مختلف من التفكير - التركيز والتحليل والاستبطان.في النهاية ، قد يكون هذا هو الطريق إلى IA (زيادة الذكاء) ، وهو شكل من أشكال الذكاء المختلط الذي سنراه في منتصف هذا القرن ".

موارد على الشبكات العصبية

قد يكون من الصعب فهم العالم الجديد الشجاع للشبكات العصبية وهو يتغير باستمرار ، لذا استفد من هذه الموارد لمواكبة أحدث التطورات.

ترعى جمعيات الشبكات العصبية المؤتمرات وتنشر الأوراق والدوريات وتنشر أحدث الاكتشافات حول النظرية والتطبيقات. فيما يلي قائمة ببعض جمعيات NN الرئيسية وكيف تصف أهدافها التنظيمية:

جمعية الشبكة العصبية الدولية (INNS): المنظمة مخصصة "للأفراد المهتمين بالفهم النظري والحاسبي للدماغ وتطبيق تلك المعرفة لتطوير أشكال جديدة وأكثر فاعلية للذكاء الآلي."

IEEE Computational Intelligence Society (IEEE CIS): هذا مجتمع مهني تابع لمعهد مهندسي الكهرباء والإلكترونيات (IEEE) الذي يركز على "نظرية وتصميم وتطبيق وتطوير النماذج الحسابية ذات الدوافع البيولوجية واللغوية التي تؤكد على الشبكات العصبية وأنظمة الاتصال والخوارزميات الجينية والتطورية البرمجة والأنظمة الضبابية والأنظمة الذكية الهجينة التي تحتوي على هذه النماذج ".

جمعية الشبكة العصبية الأوروبية (ENNS): هذا عبارة عن "رابطة من العلماء والمهندسين والطلاب وغيرهم ممن يسعون إلى التعرف على فهمنا لنمذجة العمليات السلوكية والدماغية وتعزيزه ، وتطوير الخوارزميات العصبية ، وتطبيق مفاهيم النمذجة العصبية على المشكلات ذات الصلة في العديد من المجالات المختلفة."

المعهد الدولي للمتنبئين (IIF): هذه المنظمة "مكرسة لتطوير وتعزيز توليد وتوزيع واستخدام المعرفة في مجال التنبؤ."

تم نشر معظم العناوين الواردة أدناه خلال العامين الماضيين. لقد قمنا أيضًا بتضمين بعض كلاسيكيات النظام:

أجروال ، شارو سي. الشبكات العصبية والتعلم العميق: كتاب مدرسي. مدينة نيويورك: Springer International Publishing ، 2018.

غولدبرغ ، يوآف. طرق الشبكة العصبية لمعالجة اللغة الطبيعية (محاضرات توليفية عن تقنيات اللغة البشرية). ويليستون: Morgan & amp Claypool Publishers ، 2017.

هاجان ، مارتن ت ، ديموث ، هوارد ب ، وبيل ، مارك هـ. تصميم الشبكة العصبية (الإصدار الثاني). مارتن هاجان ، 2014.

حسون ، محمد. أساسيات الشبكات العصبية الاصطناعية. كامبريدج: مطبعة معهد ماساتشوستس للتكنولوجيا | كتاب برادفورد ، 2013.

هايكين ، سيمون أو. الشبكات العصبية وآلات التعلم (الإصدار الثالث). تشيناي: بيرسون إنديا ، 2008.

هيتون ، جيف. مقدمة في رياضيات الشبكات العصبية. هيتون ريسيرش ، إنك ، 2012.

تايلور ، مايكل. اصنع شبكتك العصبية الخاصة: مقدمة بصرية متعمقة للمبتدئين. نشرت بشكل مستقل ، 2017.

عالم الشبكات العصبية له لغته الخاصة. فيما يلي بعض الموارد لتوسيع مفرداتك الفنية وفهم المجال:

مسرد الشبكة العصبية ESA: مجموعة من مصطلحات الشبكات العصبية من موقع Earthnet عبر الإنترنت التابع لوكالات الفضاء الأوروبية

مسرد الشبكة العصبية المتوسطة: قائمة محدثة بشكل متكرر بأحدث المصطلحات من موقع مصدر الكتابة التقنية ، واسطة

سكايميند أ. مسرد ويكي: خلاصة وافية يتم تحديثها بشكل متكرر للمصطلحات المحددة بوضوح فيما يتعلق بالشبكات العصبية والشبكات الاصطناعية العميقة

مستقبل العمل مع العمليات المؤتمتة في Smartsheet

قم بتمكين أفرادك من الذهاب إلى أبعد الحدود باستخدام نظام أساسي مرن مصمم ليلائم احتياجات فريقك - والتكيف مع تغير هذه الاحتياجات.

يسهّل النظام الأساسي Smartsheet تخطيط العمل والتقاطه وإدارته وإعداد تقرير عنه من أي مكان ، مما يساعد فريقك على أن يكون أكثر فعالية وإنجاز المزيد من المهام. قم بالإبلاغ عن المقاييس الرئيسية واحصل على رؤية في الوقت الفعلي في العمل فور حدوثه مع تقارير العرض الإجمالي ، ولوحات المعلومات ، ومهام سير العمل المؤتمتة التي تم إنشاؤها لإبقاء فريقك متصلاً ومطلعًا.

عندما يكون لدى الفِرَق وضوح في العمل الذي يتم إنجازه ، لا يوجد ما يوضح مقدار ما يمكنهم إنجازه في نفس الفترة الزمنية. جرب Smartsheet مجانًا اليوم.


الشبكات العصبية العميقة: إطار جديد لنمذجة الرؤية البيولوجية ومعالجة معلومات الدماغ

مكنت التطورات الحديثة في نمذجة الشبكات العصبية من تحقيق خطوات كبيرة في رؤية الكمبيوتر وتطبيقات الذكاء الاصطناعي الأخرى. أصبحت قدرات التعرف المرئي على مستوى الإنسان في متناول الأنظمة الاصطناعية. الشبكات العصبية الاصطناعية مستوحاة من الدماغ ، ويمكن تنفيذ حساباتها في الخلايا العصبية البيولوجية. شبكات التغذية التلافيفية ، التي تهيمن الآن على رؤية الكمبيوتر ، تستلهم مزيدًا من الإلهام من بنية التسلسل الهرمي البصري للرئيسيات. ومع ذلك ، فإن النماذج الحالية مصممة بأهداف هندسية ، وليس لنمذجة حسابات الدماغ. ومع ذلك ، فإن الدراسات الأولية التي تقارن التمثيلات الداخلية بين هذه النماذج وأدمغة الرئيسيات تجد مساحات تمثيلية متشابهة بشكل مدهش. نظرًا لأن الأداء على المستوى البشري لم يعد بعيد المنال ، فإننا ندخل حقبة جديدة ومثيرة ، حيث سنكون قادرين على بناء نماذج حسابية متكررة وموجهة بيولوجيًا لكيفية أداء العقول البيولوجية عالية المستوى من الذكاء ، بما في ذلك الرؤية.


يعلن المؤلفون أن البحث تم إجراؤه في غياب أي علاقات تجارية أو مالية يمكن تفسيرها على أنها تضارب محتمل في المصالح.

تم تمويل هذا البحث من قبل مجلس البحوث الطبية في المملكة المتحدة (برنامج MC-A060- 5PR20) ، ومنحة بدء مجلس البحوث الأوروبي (ERC-2010-StG 261352) ، ومشروع الدماغ البشري (منحة الاتحاد الأوروبي 604102 ، كائن متعدد الحواس حساس للسياق التعرف: نموذج شبكة عميق مقيد ببيانات متعددة المستويات ومتعددة الأنواع).


ملخص المؤلف

تتطلب وفرة مجموعات بيانات الصور المعقدة ثلاثية الأبعاد في علم الأحياء تقنيات جديدة لمعالجة الصور تتسم بالدقة والسرعة. حققت تقنيات التعلم العميق ، ولا سيما الشبكات العصبية التلافيفية ، دقة وسرعات غير مسبوقة عبر مجموعة كبيرة ومتنوعة من مهام تصنيف الصور. ومع ذلك ، فمن غير الواضح ما إذا كان استخدامها مبررًا أم لا في مجموعات بيانات مجهرية ثلاثية الأبعاد غير متجانسة وصاخبة ، لا سيما بالنظر إلى متطلباتها من مجموعات البيانات الكبيرة المصنفة وافتقارها إلى ميزات مفهومة. لتقييم ذلك ، نقدم دراسة حالة ، ونطبق شبكات عصبية تلافيفية بالإضافة إلى طرق قائمة على الميزات لمجموعات بيانات مجهرية مضان للصفائح الضوئية للبكتيريا في أمعاء يرقات الزرد. نجد أن الشبكة العصبية دقيقة مثل الخبراء البشريين ، وتتفوق على الأساليب القائمة على الميزات ، وتعمم جيدًا على أنواع بكتيرية مختلفة من خلال استخدام التعلم الانتقالي.

الاقتباس: Hay EA ، Parthasarathy R (2018) أداء الشبكات العصبية التلافيفية لتحديد البكتيريا في مجموعات البيانات المجهرية ثلاثية الأبعاد. بلوس كومبوت بيول 14 (12): e1006628. https://doi.org/10.1371/journal.pcbi.1006628

محرر: أليس كارولين ماكهاردي ، Helmholtz-Zentrum fur Infektionsforschung GmbH ، ألمانيا

تم الاستلام: 13 فبراير 2018 وافقت: 7 نوفمبر 2018 نشرت: 3 ديسمبر 2018

حقوق النشر: © 2018 Hay، Parthasarathy. هذا مقال مفتوح الوصول يتم توزيعه بموجب شروط ترخيص Creative Commons Attribution License ، والذي يسمح بالاستخدام غير المقيد والتوزيع والاستنساخ في أي وسيط ، بشرط ذكر المؤلف والمصدر الأصليين.

توافر البيانات: يتم توفير كود التحليل من خلال مستودع GitHub العام ، https://github.com/rplab/Bacterial-Identification. أيضًا ، جميع مجموعات بيانات التدريب متاحة للجمهور عبر الإنترنت ، كما هو موضح في المخطوطة. تتوفر جميع الصور مقاس 28 × 28 × 8 348 بكسل المستخدمة في التصنيف البكتيري بالإضافة إلى الملصقات المقابلة في مكتبة الصور الخلوية ، http://cellimagelibrary.org/home ، مع أرقام الانضمام 50508 ، 50509 ، 50510.

التمويل: تم دعم الأبحاث الواردة في هذا المنشور جزئيًا من قبل المؤسسة الوطنية للعلوم (NSF www.nsf.gov) بموجب جائزتي 0922951 (إلى RP) و 1427957 (إلى RP) وصندوق MJ Murdock Charitable Trust (https://murdocktrust.org) ، من جامعة أوريغون من خلال جائزة احتضان المبادرات متعددة التخصصات ، وجائزة من Kavli Microbiome Ideas Challenge ، وهو مشروع تقوده الجمعية الأمريكية لعلم الأحياء الدقيقة بالشراكة مع الجمعية الكيميائية الأمريكية والجمعية الفيزيائية الأمريكية وبدعم من مؤسسة Kavli ( http://www.kavlifoundation.org). تم دعم هذا البحث من قبل المعاهد الوطنية للصحة (NIH nih.gov) على النحو التالي: من قبل المعهد الوطني للعلوم الطبية العامة تحت رقم الجائزة P50GM098911 والمعهد الوطني لصحة الطفل والتنمية البشرية بموجب الجائزة P01HD22486 ، والتي قدمت الدعم لـ جامعة أوريغون مرفق الزرد. المحتوى هو مسؤولية المؤلفين فقط ولا يمثل وجهات النظر الرسمية للمعاهد الوطنية للصحة أو مؤسسة العلوم الوطنية أو وكالات التمويل الأخرى. لم يكن للممولين دور في تصميم الدراسة أو جمع البيانات وتحليلها أو اتخاذ قرار النشر أو إعداد المخطوطة.

تضارب المصالح: وقد أعلن الباحثون إلى أن لا المصالح المتنافسة موجودة.


محتويات

يشير اسم "الشبكة العصبية التلافيفية" إلى أن الشبكة تستخدم عملية حسابية تسمى الالتواء. الشبكات التلافيفية هي نوع متخصص من الشبكات العصبية التي تستخدم الالتواء بدلاً من مضاعفة المصفوفة العامة في طبقة واحدة على الأقل من طبقاتها. [13]

تتكون الشبكة العصبية التلافيفية من طبقة إدخال وطبقات مخفية وطبقة إخراج. في أي شبكة عصبية تلقائية للأمام ، تسمى أي طبقات وسطى بأنها مخفية لأن مدخلاتها ومخرجاتها مقنعة بوظيفة التنشيط والالتفاف النهائي. في الشبكة العصبية التلافيفية ، تشتمل الطبقات المخفية على طبقات تؤدي عمليات تلافيف. يشتمل هذا عادةً على طبقة تؤدي منتجًا نقطيًا لنواة الالتواء مع مصفوفة إدخال الطبقة. عادة ما يكون هذا المنتج هو المنتج الداخلي لـ Frobenius ، ووظيفة التنشيط الخاصة به هي عادة ReLU. عندما تنزلق نواة الالتفاف على طول مصفوفة الإدخال للطبقة ، فإن عملية الالتواء تنشئ خريطة معالم ، والتي بدورها تساهم في إدخال الطبقة التالية. يتبع ذلك طبقات أخرى مثل طبقات التجميع والطبقات المتصلة بالكامل وطبقات التسوية.

الطبقات التلافيفية تحرير

في CNN ، يكون الإدخال موترًا له شكل: (عدد المدخلات) x (ارتفاع الإدخال) x (عرض الإدخال) x (قنوات الإدخال). بعد المرور عبر طبقة تلافيفية ، تصبح الصورة مجردة لخريطة المعالم ، وتسمى أيضًا خريطة التنشيط ، بالشكل: (عدد المدخلات) × (ارتفاع خريطة المعالم) × (عرض خريطة المعالم) × (قنوات خريطة المعالم). تحتوي الطبقة التلافيفية داخل CNN بشكل عام على السمات التالية:

  • المرشحات التلافيفية / النواة المحددة بالعرض والارتفاع (معلمات مفرطة).
  • عدد قنوات الإدخال وقنوات الإخراج (المعلمات الفائقة). يجب أن تساوي قنوات الإدخال لطبقة واحدة عدد قنوات الإخراج (وتسمى أيضًا العمق) لمدخلاتها.
  • معلمات إضافية لعملية الالتواء ، مثل: الحشو ، والخطوة ، والتمدد.

تقوم الطبقات التلافيفية بلف المدخلات وتمرير نتيجتها إلى الطبقة التالية. هذا مشابه لاستجابة خلية عصبية في القشرة البصرية لحافز معين. [14] تعالج كل خلية عصبية تلافيفية البيانات فقط لمجالها الاستقبالي. على الرغم من أنه يمكن استخدام الشبكات العصبية المتصاعدة بالكامل لتعلم الميزات وتصنيف البيانات ، إلا أن هذه البنية غير عملية بشكل عام للمدخلات الأكبر مثل الصور عالية الدقة. سيتطلب عددًا كبيرًا جدًا من الخلايا العصبية ، حتى في بنية ضحلة ، نظرًا لحجم الإدخال الكبير للصور ، حيث يمثل كل بكسل ميزة إدخال ذات صلة. على سبيل المثال ، طبقة متصلة بالكامل لصورة (صغيرة) بحجم 100 × 100 بها 10000 أوزان لـ كل الخلايا العصبية في الطبقة الثانية. بدلاً من ذلك ، يقلل الالتواء من عدد المعلمات المجانية ، مما يسمح للشبكة بأن تكون أعمق. [15] على سبيل المثال ، بغض النظر عن حجم الصورة ، فإن استخدام منطقة تقسيم 5 × 5 ، لكل منها نفس الأوزان المشتركة ، يتطلب 25 معلمة قابلة للتعلم فقط. يؤدي استخدام أوزان منتظمة على عدد أقل من المعلمات إلى تجنب التدرجات المتلاشية وتفجير مشاكل التدرجات التي تظهر أثناء الانتشار العكسي في الشبكات العصبية التقليدية. [16] [17] علاوة على ذلك ، تعتبر الشبكات العصبية التلافيفية مثالية للبيانات ذات الهيكل الشبكي (مثل الصور) حيث يتم أخذ العلاقات المكانية بين الميزات المنفصلة في الاعتبار أثناء الالتفاف و / أو التجميع.

تجميع الطبقات تحرير

قد تتضمن الشبكات التلافيفية طبقات تجميع محلية و / أو عالمية جنبًا إلى جنب مع الطبقات التلافيفية التقليدية. تعمل طبقات التجميع على تقليل أبعاد البيانات من خلال دمج مخرجات مجموعات الخلايا العصبية في طبقة واحدة في خلية عصبية واحدة في الطبقة التالية. يجمع التجميع المحلي بين مجموعات صغيرة ، وتستخدم أحجام التبليط مثل 2 × 2 بشكل شائع. يعمل التجميع العالمي على جميع الخلايا العصبية في خريطة المعالم. [18] [19] هناك نوعان شائعان من التجميع في الاستخدام الشائع: الحد الأقصى والمتوسط. ماكس تجمع يستخدم القيمة القصوى لكل مجموعة عصبية محلية في خريطة المعالم ، [20] [21] بينما متوسط ​​التجميع يأخذ متوسط ​​القيمة.

تحرير الطبقات المتصلة بالكامل

تربط الطبقات المتصلة بالكامل كل خلية عصبية في طبقة واحدة بكل خلية عصبية في طبقة أخرى. إنها نفس الشبكة العصبية التقليدية متعددة الطبقات (MLP). تمر المصفوفة المسطحة عبر طبقة متصلة بالكامل لتصنيف الصور.

تحرير مجال الاستقبال

في الشبكات العصبية ، يتلقى كل خلية عصبية مدخلات من عدد من المواقع في الطبقة السابقة. في طبقة تلافيفية ، يتلقى كل خلية عصبية مدخلات من منطقة محدودة فقط من الطبقة السابقة تسمى الخلية العصبية الحقل قابل للعدوي. عادةً ما تكون المنطقة مربعة (على سبيل المثال ، 5 × 5 خلايا عصبية). بينما ، في طبقة متصلة بالكامل ، يكون المجال المستقبِل هو الطبقة السابقة بأكملها. وهكذا ، في كل طبقة تلافيفية ، يأخذ كل خلية عصبية مدخلات من منطقة أكبر في الإدخال من الطبقات السابقة. ويرجع ذلك إلى تطبيق الالتفاف مرارًا وتكرارًا ، والذي يأخذ في الاعتبار قيمة البكسل ، وكذلك وحدات البكسل المحيطة به. عند استخدام الطبقات المتوسعة ، يظل عدد وحدات البكسل في المجال الاستقبالي ثابتًا ، ولكن يكون الحقل أقل كثافة حيث تنمو أبعاده عند الجمع بين تأثير طبقات متعددة.

الأوزان تحرير

تحسب كل خلية عصبية في الشبكة العصبية قيمة الإخراج من خلال تطبيق وظيفة محددة على قيم الإدخال الواردة من الحقل الاستقبالي في الطبقة السابقة. يتم تحديد الوظيفة التي يتم تطبيقها على قيم الإدخال بواسطة متجه للأوزان والتحيز (عادةً الأرقام الحقيقية). يتكون التعلم من التعديل المتكرر لهذه التحيزات والأوزان.

يتم استدعاء متجه الأوزان والتحيز المرشحات وتمثل ميزات معينة للإدخال (على سبيل المثال ، شكل معين). السمة المميزة لشبكات CNN هي أن العديد من الخلايا العصبية يمكن أن تشترك في نفس المرشح. هذا يقلل من أثر الذاكرة لأنه يتم استخدام تحيز واحد ومتجه واحد للأوزان عبر جميع المجالات الاستقبالية التي تشترك في هذا المرشح ، على عكس كل مجال مستقبلي له تحيزه الخاص ووزن متجه. [22]

غالبًا ما تتم مقارنة CNN بالطريقة التي يحقق بها الدماغ معالجة الرؤية في الكائنات الحية [23]. [ بحاجة لمصدر ]

تحرير الحقول المستقبلة في القشرة البصرية

أظهر العمل الذي قام به Hubel و Wiesel في الخمسينيات والستينيات من القرن الماضي أن القط بصري قشور تحتوي على الخلايا العصبية التي تستجيب بشكل فردي لمناطق صغيرة من المجال البصري. شريطة ألا تتحرك العينان ، تُعرف منطقة المساحة المرئية التي تؤثر فيها المحفزات البصرية على إطلاق خلية عصبية واحدة باسم مجالها الاستقبالي. [24] الخلايا المجاورة لها مجالات استقبال متشابهة ومتداخلة. [ بحاجة لمصدر ] يتباين حجم وموقع المجال المستقبلي بشكل منهجي عبر القشرة لتشكيل خريطة كاملة للفضاء المرئي. [ بحاجة لمصدر ] تمثل القشرة في كل نصفي الكرة الأرضية المجال البصري المقابل. [ بحاجة لمصدر ]

حددت ورقتهم لعام 1968 نوعين أساسيين من الخلايا البصرية في الدماغ: [10]

    ، التي يتم تكبير ناتجها عن طريق الحواف المستقيمة التي لها اتجاهات معينة داخل مجالها الاستقبالي ، والتي تحتوي على حقول استقبالية أكبر ، والتي يكون ناتجها غير حساس للموضع الدقيق للحواف في الحقل.

اقترح Hubel و Wiesel أيضًا نموذجًا متتاليًا لهذين النوعين من الخلايا لاستخدامه في مهام التعرف على الأنماط. [25] [24]

Neocognitron ، أصل تحرير هندسة CNN

تم تقديم "النيوكونيترون" [9] من قبل كونيهيكو فوكوشيما في عام 1980. [11] [21] [26] وقد استوحى من عمل هوبل وويسل المذكور أعلاه. قدم النيوكونيترون نوعين أساسيين من الطبقات في شبكات CNN: الطبقات التلافيفية وطبقات الاختزال. تحتوي الطبقة التلافيفية على وحدات تغطي مجالاتها الاستقبالية رقعة من الطبقة السابقة. غالبًا ما يُطلق على متجه الوزن (مجموعة المعلمات التكيفية) لمثل هذه الوحدة اسم مرشح. يمكن للوحدات مشاركة المرشحات. تحتوي طبقات الاختزال على وحدات تغطي مجالاتها الاستقبالية بقعًا من طبقات تلافيفية سابقة. تحسب هذه الوحدة عادةً متوسط ​​عمليات تنشيط الوحدات في التصحيح الخاص بها. يساعد هذا الاختزال في تصنيف الكائنات بشكل صحيح في المشاهد المرئية حتى عندما يتم إزاحة الكائنات.

في متغير من النيوكوجنيترون يسمى cresceptron ، بدلاً من استخدام المتوسط ​​المكاني لفوكوشيما ، J. Weng et al. قدم طريقة تسمى max-pooling حيث تقوم وحدة الاختزال بحساب الحد الأقصى من عمليات التنشيط للوحدات في التصحيح الخاص بها. [27] غالبًا ما يستخدم Max-pooling في شبكات CNN الحديثة. [28]

تم اقتراح العديد من خوارزميات التعلم الخاضعة للإشراف وغير الخاضعة للإشراف على مدى عقود لتدريب أوزان جهاز نيوكونيترون. [9] اليوم ، ومع ذلك ، عادة ما يتم تدريب بنية CNN من خلال backpropagation.

إن neocognitron هو أول CNN الذي يتطلب الوحدات الموجودة في مواقع شبكة متعددة لتقاسم الأوزان.

تم تقديم الشبكات العصبية التلافيفية في ورشة معالجة المعلومات العصبية في عام 1987 ، حيث قامت تلقائيًا بتحليل الإشارات المتغيرة بمرور الوقت عن طريق استبدال الضرب المكتسب بالتواء في الوقت المناسب ، وعرضها للتعرف على الكلام. [29]

تأخير وقت الشبكات العصبية تحرير

تم تقديم الشبكة العصبية للتأخير الزمني (TDNN) في عام 1987 بواسطة Alex Waibel et al. وكانت أول شبكة تلافيفية ، حيث حققت ثبات التحول. [30] وقد فعلت ذلك من خلال الاستفادة من تقاسم الوزن مع تدريب Backpropagation. [31] وهكذا ، أثناء استخدام الهيكل الهرمي أيضًا كما هو الحال في neocognitron ، فقد قام بتحسين شامل للأوزان بدلاً من الترجيح المحلي. [30]

شبكات TDNN هي شبكات تلافيفية تشترك في الأوزان على طول البعد الزمني. [32] أنها تسمح بمعالجة إشارات الكلام على الدوام. في عام 1990 ، قدم هامبشاير وويبل متغيرًا يؤدي التفافًا ثنائي الأبعاد. [33] نظرًا لأن شبكات TDNN هذه تعمل على مخططات طيفية ، فإن نظام التعرف الصوتي الناتج كان ثابتًا لكل من التحولات في الوقت والتردد.ثبات الترجمة الملهم في معالجة الصور باستخدام شبكات CNN. [31] يمكن أن يغطي تبليط مخرجات الخلايا العصبية المراحل الزمنية. [34]

تحقق شبكات TDNN الآن أفضل أداء في التعرف على الكلام عن بُعد. [35]

ماكس تجمع تحرير

في عام 1990 ياماغوتشي وآخرون. قدم مفهوم التجميع الأقصى ، وهو عملية تصفية ثابتة تحسب وتنشر القيمة القصوى لمنطقة معينة. لقد فعلوا ذلك من خلال الجمع بين TDNNs وتجميع max من أجل تحقيق نظام التعرف على الكلمات المعزول المستقل للمتحدث. [20] في نظامهم استخدموا عدة TDNNs لكل كلمة ، واحد لكل مقطع لفظي. تم دمج نتائج كل TDNN عبر إشارة الإدخال باستخدام أقصى تجمع وتم بعد ذلك تمرير مخرجات طبقات التجميع إلى الشبكات التي تقوم بتصنيف الكلمات الفعلي.

التعرف على الصور مع شبكات CNN المدربة عن طريق تحرير النسب المتدرج

تضمن نظام للتعرف على أرقام الرمز البريدي المكتوبة بخط اليد [36] التلافيف التي تم فيها تصميم معاملات النواة بشكل شاق يدويًا. [37]

يان ليكون وآخرون. (1989) [37] استخدم الانتشار العكسي لتعلم معاملات نواة الالتفاف مباشرة من صور الأرقام المكتوبة بخط اليد. وهكذا كان التعلم آليًا بالكامل ، وكان أداؤه أفضل من تصميم المعامل اليدوي ، وكان مناسبًا لنطاق أوسع من مشاكل التعرف على الصور وأنواع الصور.

أصبح هذا النهج أساسًا لرؤية الكمبيوتر الحديثة.

LeNet-5 تحرير

LeNet-5 ، شبكة تلافيفية رائدة من 7 مستويات بواسطة LeCun et al. في عام 1998 ، [38] الذي يصنف الأرقام ، تم تطبيقه من قبل العديد من البنوك للتعرف على الأرقام المكتوبة بخط اليد على الشيكات (الإنجليزية البريطانية: الشيكات) الرقمية في صور 32 × 32 بكسل. تتطلب القدرة على معالجة الصور عالية الدقة طبقات أكبر وأكثر من الشبكات العصبية التلافيفية ، لذلك فإن هذه التقنية مقيدة بتوافر موارد الحوسبة.

Shift-invariant الشبكة العصبية تحرير

وبالمثل ، تم اقتراح تحول الشبكة العصبية الثابتة من قبل W. Zhang et al. للتعرف على شخصية الصورة في عام 1988. [2] [3] تم تعديل الهيكل وخوارزمية التدريب في عام 1991 [39] وتم تطبيقها لمعالجة الصور الطبية [40] والكشف التلقائي عن سرطان الثدي في تصوير الثدي بالأشعة السينية. [41]

تم اقتراح تصميم مختلف قائم على الالتفاف في عام 1988 [42] لتطبيقه على تحلل الإشارات الملتفة بالتخطيط الكهربائي للعضلات أحادية البعد عن طريق فك الالتواء. تم تعديل هذا التصميم في عام 1989 إلى تصميمات أخرى قائمة على عدم الالتفاف. [43] [44]

هرم التجريد العصبي تحرير

تم توسيع بنية التغذية الأمامية للشبكات العصبية التلافيفية في هرم التجريد العصبي [45] عن طريق الوصلات الجانبية والتغذية الراجعة. تسمح الشبكة التلافيفية المتكررة الناتجة بالتضمين المرن للمعلومات السياقية لحل الغموض المحلي بشكل متكرر. على عكس النماذج السابقة ، تم إنشاء مخرجات تشبه الصور بأعلى دقة ، على سبيل المثال ، للتجزئة الدلالية وإعادة بناء الصورة ومهام توطين الكائنات.

تحرير تطبيقات GPU

على الرغم من اختراع شبكات CNN في ثمانينيات القرن الماضي ، إلا أن اختراقها في العقد الأول من القرن الحادي والعشرين تطلب تنفيذًا سريعًا لوحدات معالجة الرسومات (GPUs).

في عام 2004 ، أظهر K. S. Oh و K. Jung أن الشبكات العصبية القياسية يمكن تسريعها بشكل كبير على وحدات معالجة الرسومات. كان تنفيذها أسرع 20 مرة من تنفيذ مكافئ على وحدة المعالجة المركزية. [46] [28] في عام 2005 ، أكدت ورقة أخرى أيضًا على قيمة GPGPU للتعلم الآلي. [47]

تم وصف أول تطبيق GPU لشبكة CNN في عام 2006 بواسطة K. Chellapilla et al. كان تنفيذها أسرع 4 مرات من تنفيذ مكافئ على وحدة المعالجة المركزية. [48] ​​استخدم العمل اللاحق أيضًا وحدات معالجة الرسومات ، مبدئيًا لأنواع أخرى من الشبكات العصبية (تختلف عن شبكات CNN) ، خاصة الشبكات العصبية غير الخاضعة للإشراف. [49] [50] [51] [52]

في عام 2010 ، دان سيريسان وآخرون. أظهر في IDSIA أنه حتى الشبكات العصبية القياسية العميقة ذات الطبقات المتعددة يمكن تدريبها بسرعة على وحدة معالجة الرسومات من خلال التعلم الخاضع للإشراف من خلال الطريقة القديمة المعروفة باسم backpropagation. تفوقت شبكتهم على أساليب التعلم الآلي السابقة في معيار MNIST للأرقام المكتوبة بخط اليد. [53] في عام 2011 ، وسعوا نهج GPU هذا ليشمل شبكات CNN ، وحققوا عامل تسريع قدره 60 ، مع نتائج مبهرة. [18] في عام 2011 ، استخدموا شبكات CNN على وحدة معالجة الرسومات للفوز بمسابقة التعرف على الصور حيث حققوا أداءً خارقًا لأول مرة. [54] بين 15 مايو 2011 و 30 سبتمبر 2012 ، فازت شبكات CNN الخاصة بهم بما لا يقل عن أربع مسابقات للصور. [55] [28] في عام 2012 ، قاموا أيضًا بتحسين الأداء الأفضل في الأدبيات لقواعد بيانات الصور المتعددة ، بما في ذلك قاعدة بيانات MNIST وقاعدة بيانات NORB ومجموعة بيانات HWDB1.0 (الأحرف الصينية) ومجموعة بيانات CIFAR10 (مجموعة بيانات من 60000 32 × 32 صور RGB معنون). [21]

في وقت لاحق ، CNN مماثلة تعتمد على GPU بواسطة Alex Krizhevsky et al. فازت في مسابقة ImageNet Large Scale Visual Recognition Challenge 2012. [56] وقد فازت شبكة CNN العميقة جدًا مع أكثر من 100 طبقة بواسطة Microsoft في مسابقة ImageNet 2015. [57]

تحرير تطبيقات Intel Xeon Phi

مقارنةً بتدريب CNNs باستخدام وحدات معالجة الرسومات ، لم يتم إيلاء الكثير من الاهتمام للمعالج المساعد Intel Xeon Phi. [58] التطور الملحوظ هو طريقة موازاة لتدريب الشبكات العصبية التلافيفية على Intel Xeon Phi ، المسماة Hogwild المحكوم بترتيب التزامن التعسفي (CHAOS). [59] يستغل CHAOS كلاً من التوازي على مستوى الخيط و SIMD المتاح في Intel Xeon Phi.

في الماضي ، تم استخدام نماذج الإدراك الحسي متعدد الطبقات التقليدية (MLP) للتعرف على الصور. [ الحاجة إلى سبيل المثال ] ومع ذلك ، فإن الاتصال الكامل بين العقد تسبب في لعنة الأبعاد ، وكان صعبًا من الناحية الحسابية مع الصور عالية الدقة. تحتوي الصورة 1000 × 1000 بكسل مع قنوات الألوان RGB على 3 ملايين وزن ، وهي نسبة عالية جدًا بحيث لا يمكن معالجتها بكفاءة على نطاق واسع مع اتصال كامل.

على سبيل المثال ، في CIFAR-10 ، تكون الصور بحجم 32 × 32 × 3 فقط (32 قناة عريضة ، 32 عالية ، 3 قنوات ملونة) ، لذا فإن خلية عصبية واحدة متصلة بالكامل في الطبقة المخفية الأولى للشبكة العصبية العادية سيكون لها 32 * 32 * 3 = 3072 وزن. ومع ذلك ، فإن صورة 200 × 200 ستؤدي إلى خلايا عصبية بها 200 * 200 * 3 = 120000 وزن.

أيضًا ، لا تأخذ بنية الشبكة هذه في الاعتبار البنية المكانية للبيانات ، وتعامل وحدات البكسل التي تكون متباعدة تمامًا مثل وحدات البكسل القريبة من بعضها. هذا يتجاهل موقع المرجع في البيانات ذات الهيكل الشبكي (مثل الصور) ، حسابيًا ودلالة. وبالتالي ، فإن الاتصال الكامل للخلايا العصبية يكون هدرًا لأغراض مثل التعرف على الصور التي تهيمن عليها أنماط الإدخال المحلية مكانيًا.

الشبكات العصبية التلافيفية هي متغيرات من الإدراك متعدد الطبقات ، مصممة لمحاكاة سلوك القشرة البصرية. تخفف هذه النماذج من التحديات التي تفرضها بنية MLP من خلال استغلال الارتباط المحلي المكاني القوي الموجود في الصور الطبيعية. على عكس MLPs ، تتمتع CNN بالسمات المميزة التالية:

  • مجلدات ثلاثية الأبعاد من الخلايا العصبية. تحتوي طبقات CNN على خلايا عصبية مرتبة في 3 أبعاد: العرض والارتفاع والعمق. [60] حيث يتم توصيل كل خلية عصبية داخل طبقة تلافيفية بمنطقة صغيرة فقط من الطبقة التي تسبقها ، تسمى المجال المستقبلي. يتم تكديس أنواع مميزة من الطبقات ، سواء محليًا أو متصلًا تمامًا ، لتشكيل بنية CNN.
  • الاتصال المحلي: باتباع مفهوم المجالات المستقبلة ، تستغل شبكات CNN الموقع المكاني من خلال فرض نمط اتصال محلي بين الخلايا العصبية للطبقات المجاورة. وبالتالي تضمن البنية أن "المرشحات" التي تم تعلمها تنتج أقوى استجابة لنمط إدخال محلي مكانيًا. يؤدي تكديس العديد من هذه الطبقات إلى عوامل تصفية غير خطية أصبحت عالمية بشكل متزايد (أي تستجيب لمنطقة أكبر من مساحة البكسل) بحيث تنشئ الشبكة أولاً تمثيلات لأجزاء صغيرة من الإدخال ، ثم تجمع منها تمثيلات لمناطق أكبر.
  • الأوزان المشتركة: في شبكات CNN ، يتم تكرار كل مرشح عبر المجال البصري بأكمله. تشترك هذه الوحدات المنسوخة في نفس المعلمات (متجه الوزن والتحيز) وتشكل خريطة معالم. هذا يعني أن جميع الخلايا العصبية في طبقة تلافيفية معينة تستجيب لنفس الميزة داخل مجال الاستجابة المحدد. تسمح وحدات النسخ المتماثل بهذه الطريقة أن تكون خريطة التنشيط الناتجة متساوية في ظل التحولات في مواقع ميزات الإدخال في المجال المرئي ، أي أنها تمنح المساواة الترجمية - بالنظر إلى أن الطبقة لديها خطوة واحدة. [61]
  • التجميع: في طبقات التجميع الخاصة بشبكة CNN ، يتم تقسيم خرائط المعالم إلى مناطق فرعية مستطيلة ، ويتم اختزال الميزات في كل مستطيل بشكل مستقل إلى قيمة واحدة ، عادةً عن طريق أخذ القيمة المتوسطة أو القصوى. بالإضافة إلى تقليل أحجام خرائط الميزات ، تمنح عملية التجميع درجة من الثبات الترجمي المحلي للميزات الواردة فيها ، مما يسمح لشبكة CNN بأن تكون أكثر قوة في مواجهة الاختلافات في مواقعها. [4]

تتيح هذه الخصائص معًا لشبكات CNN تحقيق تعميم أفضل على مشاكل الرؤية. تقلل مشاركة الوزن بشكل كبير من عدد المعلمات المجانية المكتسبة ، وبالتالي تقليل متطلبات الذاكرة لتشغيل الشبكة والسماح بتدريب شبكات أكبر وأكثر قوة.

تتشكل بنية CNN من خلال كومة من الطبقات المميزة التي تحول حجم الإدخال إلى حجم إخراج (مثل الاحتفاظ بدرجات الفئة) من خلال وظيفة قابلة للتفاضل. يتم استخدام أنواع قليلة مميزة من الطبقات بشكل شائع. وتناقش هذه بمزيد من التفصيل أدناه.

طبقة تلافيفية تحرير

الطبقة التلافيفية هي لبنة البناء الأساسية لشبكة CNN. تتكون معلمات الطبقة من مجموعة من المرشحات (أو النواة) القابلة للتعلم ، والتي تحتوي على مجال استقبالي صغير ، ولكنها تمتد من خلال العمق الكامل لحجم الإدخال. أثناء التمرير الأمامي ، يتم تحويل كل مرشح عبر عرض وارتفاع حجم الإدخال ، وحساب المنتج النقطي بين إدخالات المرشح والمدخلات ، مما ينتج عنه خريطة تنشيط ثنائية الأبعاد لهذا المرشح. نتيجة لذلك ، تتعرف الشبكة على المرشحات التي يتم تنشيطها عندما تكتشف نوعًا معينًا من الميزات في موضع مكاني معين في الإدخال. [62] [ملحوظة 1]

يؤدي تكديس خرائط التنشيط لجميع المرشحات على طول بُعد العمق إلى تكوين حجم الإخراج الكامل لطبقة الالتواء. وبالتالي يمكن أيضًا تفسير كل إدخال في حجم الإخراج على أنه ناتج من خلية عصبية تنظر إلى منطقة صغيرة في الإدخال وتشارك المعلمات مع الخلايا العصبية في نفس خريطة التنشيط.

تحرير الاتصال المحلي

عند التعامل مع مدخلات عالية الأبعاد مثل الصور ، من غير العملي توصيل الخلايا العصبية بجميع الخلايا العصبية في المجلد السابق لأن بنية الشبكة هذه لا تأخذ البنية المكانية للبيانات في الاعتبار. تستغل الشبكات التلافيفية الارتباط المحلي المكاني من خلال فرض نمط اتصال محلي متفرق بين الخلايا العصبية للطبقات المجاورة: كل خلية عصبية متصلة بمنطقة صغيرة فقط من حجم الإدخال.

مدى هذا الاتصال هو معلمة مفرطة تسمى المجال الاستقبالي للخلايا العصبية. تكون الوصلات محلية في الفضاء (على طول العرض والارتفاع) ، ولكنها تمتد دائمًا على طول عمق حجم الإدخال بالكامل. تضمن مثل هذه البنية أن المرشحات التي تم تعلمها تنتج أقوى استجابة لنمط إدخال محلي مكانيًا.

تعديل الترتيب المكاني

تتحكم ثلاثة معلمات فائقة في حجم إخراج الطبقة التلافيفية: العمق والخطوة وحجم الحشو.

  • ال عمق يتحكم حجم الإخراج في عدد الخلايا العصبية في طبقة تتصل بنفس المنطقة من حجم الإدخال. تتعلم هذه الخلايا العصبية التنشيط لميزات مختلفة في الإدخال. على سبيل المثال ، إذا أخذت الطبقة التلافيفية الأولى الصورة الأولية كمدخلات ، فقد تنشط الخلايا العصبية المختلفة على طول بُعد العمق في وجود حواف موجهة مختلفة ، أو نقاط من اللون.
  • خطوة يتحكم في كيفية تخصيص عمق الأعمدة حول العرض والارتفاع. إذا كانت الخطوة 1 ، فإننا ننقل المرشحات بمقدار بكسل واحد في كل مرة. هذا يؤدي إلى تداخل كبير في الحقول المستقبلة بين الأعمدة ، وإلى أحجام إخراج كبيرة. لأي عدد صحيح S & gt 0 ، < textstyle S & gt0 ،> خطوة س يعني أن الفلتر مترجم س وحدات في وقت لكل ناتج. من الناحية العملية ، يعد S ≥ 3 < textstyle S geq 3> نادرًا. تعني الخطوة الأكبر تداخلًا أصغر للحقول المستقبلة وأبعادًا مكانية أصغر لحجم الإخراج. [63]
  • في بعض الأحيان ، يكون من الملائم حشو الإدخال بالأصفار (أو قيم أخرى ، مثل متوسط ​​المنطقة) على حدود حجم الإدخال. حجم هذه الحشو هو ثالث معلمة تشعبية. يوفر الحشو التحكم في الحجم المكاني لحجم الإخراج. على وجه الخصوص ، في بعض الأحيان يكون من المرغوب فيه الحفاظ بالضبط على الحجم المكاني لحجم الإدخال ، ويشار إلى هذا عادة باسم الحشو "نفسه".

مشاركة المعلمة تحرير

يستخدم مخطط تقاسم المعلمات في الطبقات التلافيفية للتحكم في عدد المعلمات الحرة. وهو يعتمد على افتراض أنه إذا كانت ميزة التصحيح مفيدة للحساب في بعض المواقع المكانية ، فيجب أن يكون من المفيد أيضًا الحساب في مواضع أخرى. تشير إلى شريحة واحدة ثنائية الأبعاد من العمق على أنها a شريحة العمق، فإن الخلايا العصبية في كل شريحة عمق مقيدة باستخدام نفس الأوزان والتحيز.

نظرًا لأن جميع الخلايا العصبية في شريحة ذات عمق واحد تشترك في نفس المعلمات ، يمكن حساب الممر الأمامي في كل شريحة عمق للطبقة الالتفافية على أنه التفاف لأوزان الخلايا العصبية مع حجم الإدخال. [nb 2] لذلك ، من الشائع الإشارة إلى مجموعات الأوزان كمرشح (أو نواة) ، والتي يتم ربطها مع المدخلات. نتيجة هذا الالتفاف هي خريطة تنشيط ، ويتم تجميع مجموعة خرائط التنشيط لكل مرشح مختلف معًا على طول بُعد العمق لإنتاج حجم الإخراج. تساهم مشاركة المعلمات في ثبات ترجمة بنية CNN. [4]

في بعض الأحيان ، قد لا يكون افتراض مشاركة المعلمة منطقيًا. هذا هو الحال بشكل خاص عندما تحتوي الصور المدخلة على شبكة CNN على بنية مركزية محددة نتوقع من خلالها تعلم ميزات مختلفة تمامًا في مواقع مكانية مختلفة. أحد الأمثلة العملية هو عندما تكون المدخلات عبارة عن وجوه تم توسيطها في الصورة: قد نتوقع تعلم ميزات مختلفة خاصة بالعين أو خاصة بالشعر في أجزاء مختلفة من الصورة. في هذه الحالة ، من الشائع تخفيف نظام مشاركة المعلمات ، وبدلاً من ذلك ببساطة نسمي الطبقة "طبقة متصلة محليًا".

تحرير طبقة التجميع

مفهوم آخر مهم لشبكات CNN هو التجميع ، وهو شكل من أشكال أخذ العينات غير الخطية. هناك العديد من الوظائف غير الخطية لتنفيذ التجميع ، حيث أقصى تجمع هو الأكثر شيوعا. فهو يقسم الصورة المدخلة إلى مجموعة من المستطيلات ، ويخرج الحد الأقصى لكل منطقة فرعية من هذا القبيل.

حدسيًا ، يكون الموقع الدقيق للميزة أقل أهمية من موقعه التقريبي بالنسبة إلى الميزات الأخرى. هذه هي الفكرة من وراء استخدام التجميع في الشبكات العصبية التلافيفية. تعمل طبقة التجميع على تقليل الحجم المكاني للتمثيل بشكل تدريجي ، لتقليل عدد المعلمات ، وبصمة الذاكرة ومقدار الحساب في الشبكة ، وبالتالي للتحكم أيضًا في التخصيص. يُعرف هذا بأخذ العينات لأسفل. من الشائع إدخال طبقة تجميع بشكل دوري بين الطبقات التلافيفية المتتالية (تتبع كل طبقة عادةً وظيفة تنشيط ، مثل طبقة ReLU) في بنية CNN. [62]: 460–461 بينما تساهم طبقات التجميع في ثبات الترجمة المحلية ، فإنها لا توفر ثباتًا للترجمة العالمية في CNN ، ما لم يتم استخدام شكل من أشكال التجميع العالمي. [4] [61] عادة ما تعمل طبقة التجميع بشكل مستقل على كل عمق أو شريحة من المدخلات وتغير حجمها مكانيًا. أحد الأشكال الشائعة جدًا للتجميع الأقصى هو طبقة بها مرشحات بحجم 2 × 2 ، مطبقة بخطوة 2 ، والتي تقوم بتجميع كل شريحة عمق في الإدخال بمقدار 2 على طول كل من العرض والارتفاع ، مع تجاهل 75٪ من التنشيطات:

بالإضافة إلى الحد الأقصى للتجميع ، يمكن لوحدات التجميع استخدام وظائف أخرى ، مثل متوسط ​​التجميع أو ℓ2- تجميع طبيعي. غالبًا ما تم استخدام متوسط ​​التجميع من الناحية التاريخية ولكنه تراجع مؤخرًا عن الأفضل مقارنةً بالتجميع الأقصى ، والذي يؤدي عمومًا بشكل أفضل في الممارسة. [64]

بسبب تأثيرات التخفيض المكاني السريع لحجم التمثيل ، [ أي؟ ] هناك اتجاه حديث نحو استخدام مرشحات أصغر [65] أو تجاهل طبقات التجميع تمامًا. [66]

يعد تجميع "منطقة الاهتمام" (المعروف أيضًا باسم تجميع العائد على الاستثمار) أحد أشكال التجميع الأقصى ، حيث يتم إصلاح حجم الإخراج ويكون مستطيل الإدخال معلمة. [67]

يعتبر التجميع مكونًا مهمًا للشبكات العصبية التلافيفية للكشف عن الكائنات بناءً على بنية Fast R-CNN [68].

تحرير طبقة ReLU

ReLU هو اختصار للوحدة الخطية المصححة ، والتي تطبق وظيفة التنشيط غير المشبعة f (x) = max (0، x) . [56] يزيل القيم السلبية بشكل فعال من خريطة التنشيط عن طريق تعيينها إلى الصفر. [69] يقدم اللاخطية لوظيفة القرار والشبكة الكلية دون التأثير على المجالات المستقبلة لطبقات الالتواء.

تحرير طبقة متصلة بالكامل

بعد عدة طبقات تلافيفية وتجميع قصوى ، يتم التصنيف النهائي عبر طبقات متصلة بالكامل. الخلايا العصبية الموجودة في طبقة متصلة بالكامل لها اتصالات بجميع عمليات التنشيط في الطبقة السابقة ، كما يظهر في الشبكات العصبية الاصطناعية العادية (غير التلافيفية). وبالتالي يمكن حساب عمليات تنشيطها كتحول أفيني ، مع مضاعفة المصفوفة متبوعة بتعويض التحيز (إضافة متجه لمصطلح تحيز مكتسب أو ثابت). [ بحاجة لمصدر ]

تحرير طبقة الخسارة

تحدد "طبقة الخسارة" أو "وظيفة الخسارة" كيف يعاقب التدريب الانحراف بين الناتج المتوقع للشبكة وتسميات البيانات الحقيقية (أثناء التعلم الخاضع للإشراف). يمكن استخدام وظائف الخسارة المختلفة ، اعتمادًا على المهمة المحددة.

تُستخدم وظيفة خسارة Softmax للتنبؤ بفئة واحدة من ك فئات حصرية للطرفين. [nb 3] يتم استخدام فقدان الانتروبيا السيني للتنبؤ ك قيم احتمالية مستقلة في [0، 1] < displaystyle [0،1]>. يتم استخدام الخسارة الإقليدية للتراجع إلى الملصقات ذات القيمة الحقيقية (- ∞ ، ∞) .

تستخدم شبكات CNN المزيد من المعلمات الفائقة مقارنةً بمعيار متعدد الطبقات قياسي (MLP). بينما لا تزال القواعد المعتادة لمعدلات التعلم وثوابت التسوية سارية ، يجب مراعاة ما يلي عند التحسين.

عدد المرشحات تحرير

نظرًا لأن حجم خريطة المعالم يتناقص مع العمق ، تميل الطبقات القريبة من طبقة الإدخال إلى الحصول على عدد أقل من المرشحات بينما يمكن أن تحتوي الطبقات الأعلى على المزيد. لمعادلة الحساب في كل طبقة ، منتج قيم المعالم الخامسأ مع موضع البكسل ثابتًا تقريبًا عبر الطبقات. يتطلب الاحتفاظ بمزيد من المعلومات حول الإدخال الحفاظ على العدد الإجمالي لعمليات التنشيط (عدد خرائط المعالم مضروبًا في عدد مواضع البكسل) غير متناقص من طبقة إلى أخرى.

يتحكم عدد خرائط المعالم بشكل مباشر في السعة ويعتمد على عدد الأمثلة المتاحة وتعقيد المهام.

تعديل حجم المرشح

تختلف أحجام المرشحات الشائعة الموجودة في الأدبيات اختلافًا كبيرًا ، وعادةً ما يتم اختيارها بناءً على مجموعة البيانات.

يكمن التحدي في العثور على المستوى الصحيح من التفصيل من أجل إنشاء تجريدات بالمقياس المناسب ، مع إعطاء مجموعة بيانات معينة ، وبدون فرط.

نوع التجميع وحجم التحرير

في شبكات CNN الحديثة ، أقصى تجمع يتم استخدامه عادةً ، وغالبًا ما يكون بحجم 2 × 2 ، بخطوة 2. وهذا يعني أن المدخلات قد تم تصغيرها بشكل كبير ، مما يؤدي إلى زيادة تحسين الكفاءة الحسابية.

قد تضمن أحجام المدخلات الكبيرة جدًا تجميع 4 × 4 في الطبقات السفلية. [71] ومع ذلك ، فإن اختيار الأشكال الأكبر سيقلل بشكل كبير من أبعاد الإشارة ، وقد يؤدي إلى فقدان المعلومات الزائد. غالبًا ما يكون أداء نوافذ التجميع غير المتداخلة أفضل. [64]

يُفترض عمومًا أن شبكات CNN ثابتة في تحولات المدخلات. ومع ذلك ، فإن طبقات الالتواء أو التجميع داخل شبكة CNN التي لا تحتوي على خطوة أكبر من واحدة تكون متساوية ، على عكس ثابتة ، لترجمات المدخلات. [61] تتجاهل الطبقات ذات الخطوة الأكبر من واحدة نظرية أخذ العينات نيكويست-شانون ، وتؤدي إلى تشويش إشارة الإدخال ، مما يكسر خاصية التباين (يشار إليها أيضًا باسم التغاير). [61] علاوة على ذلك ، إذا استخدمت CNN طبقات متصلة بالكامل ، فإن معادلة الترجمة لا تعني ثبات الترجمة ، حيث إن الطبقات المتصلة بالكامل ليست ثابتة على تحولات المدخلات. [72] [4] يتمثل أحد الحلول لثبات الترجمة الكامل في تجنب أي تقليل لأخذ العينات في جميع أنحاء الشبكة وتطبيق متوسط ​​التجميع العالمي في الطبقة الأخيرة. [61] بالإضافة إلى ذلك ، تم اقتراح العديد من الحلول الجزئية الأخرى ، مثل منع التعرج ، [73] شبكات المحولات المكانية ، [74] زيادة البيانات ، والاختزال الفرعي جنبًا إلى جنب مع التجميع ، [4] والشبكات العصبية للكبسولة. [75]

التنظيم هو عملية إدخال معلومات إضافية لحل مشكلة غير صحيحة أو لمنع فرط التجهيز. تستخدم شبكات CNN أنواعًا مختلفة من التنظيم.

تحرير تجريبي

تحرير التسرب

من خلال تجنب تدريب جميع العقد على جميع بيانات التدريب ، يقلل التسرب من التجهيز الزائد. تعمل الطريقة أيضًا على تحسين سرعة التدريب بشكل كبير. هذا يجعل مجموعة النموذج عملية ، حتى بالنسبة للشبكات العصبية العميقة. يبدو أن هذه التقنية تقلل من تفاعلات العقد ، مما يؤدي بهم إلى تعلم المزيد من الميزات القوية [ التوضيح المطلوب ] التي تعمم بشكل أفضل على البيانات الجديدة.

تحرير DropConnect

DropConnect هو تعميم التسرب حيث يمكن إسقاط كل اتصال ، بدلاً من كل وحدة إخراج ، مع احتمال 1 - p < displaystyle 1-p>. وبالتالي تتلقى كل وحدة مدخلات من مجموعة فرعية عشوائية من الوحدات في الطبقة السابقة. [78]

يشبه DropConnect التسرب لأنه يقدم تباينًا ديناميكيًا داخل النموذج ، ولكنه يختلف في أن التباين موجود على الأوزان ، بدلاً من متجهات الإخراج للطبقة. بمعنى آخر ، تصبح الطبقة المتصلة بالكامل مع DropConnect طبقة متصلة بشكل ضئيل يتم فيها اختيار الاتصالات عشوائيًا أثناء مرحلة التدريب.

تحرير التجميع العشوائي

العيب الرئيسي لـ Dropout هو أنه لا يحتوي على نفس الفوائد للطبقات التلافيفية ، حيث لا تكون الخلايا العصبية متصلة بشكل كامل.

في التجميع العشوائي ، [79] يتم استبدال عمليات التجميع الحتمية التقليدية بالإجراء العشوائي ، حيث يتم اختيار التنشيط داخل كل منطقة تجميع عشوائيًا وفقًا لتوزيع متعدد الحدود ، معطى بواسطة الأنشطة داخل منطقة التجميع. هذا النهج خالٍ من المعلمات الفائقة ويمكن دمجه مع أساليب التنظيم الأخرى ، مثل التسرب وزيادة البيانات.

طريقة عرض بديلة للتجميع العشوائي هي أنه مكافئ للتجميع القياسي الأقصى ولكن مع العديد من النسخ من صورة الإدخال ، لكل منها تشوهات محلية صغيرة. هذا مشابه للتشوهات المرنة الصريحة لصور الإدخال ، [80] والتي تقدم أداءً ممتازًا على مجموعة بيانات MNIST. [80] استخدام التجميع العشوائي في نموذج متعدد الطبقات يعطي عددًا أسيًا من التشوهات لأن التحديدات في الطبقات العليا مستقلة عن تلك أدناه.

تحرير البيانات الاصطناعية

نظرًا لأن درجة ملاءمة النموذج يتم تحديدها من خلال كل من قوتها ومقدار التدريب الذي يتلقاه ، فإن توفير شبكة تلافيفية بمزيد من أمثلة التدريب يمكن أن يقلل من فرط التجهيز. نظرًا لأن هذه الشبكات يتم تدريبها عادةً على جميع البيانات المتاحة ، فإن أحد الأساليب هو إما إنشاء بيانات جديدة من البداية (إن أمكن) أو تشويش البيانات الموجودة لإنشاء بيانات جديدة. على سبيل المثال ، يمكن اقتصاص الصور المدخلة بشكل غير متماثل بنسبة قليلة لإنشاء أمثلة جديدة بنفس التسمية مثل الأصل. [81]

تحرير صريح

التوقف المبكر عن التحرير

واحدة من أبسط الطرق لمنع فرط تجهيز الشبكة هي ببساطة إيقاف التدريب قبل أن تتاح فرصة حدوث فرط التجهيز. يأتي مع عيب أن عملية التعلم قد توقفت.

عدد المعلمات تحرير

هناك طريقة بسيطة أخرى لمنع فرط التخصيص وهي تحديد عدد المعلمات ، عادةً عن طريق الحد من عدد الوحدات المخفية في كل طبقة أو الحد من عمق الشبكة. بالنسبة للشبكات التلافيفية ، يؤثر حجم المرشح أيضًا على عدد المعلمات. يؤدي تحديد عدد المعلمات إلى تقييد القدرة التنبؤية للشبكة بشكل مباشر ، مما يقلل من تعقيد الوظيفة التي يمكن أن تؤديها على البيانات ، وبالتالي يحد من مقدار التجهيز الزائد. هذا يعادل "القاعدة الصفرية".

تحرير تسوس الوزن

الشكل البسيط لمنظم الوزن المضاف هو تسوس الوزن ، والذي يضيف خطأً إضافيًا ، يتناسب مع مجموع الأوزان (معيار L1) أو الحجم التربيعي (معيار L2) لمتجه الوزن ، إلى الخطأ عند كل عقدة. يمكن تقليل مستوى تعقيد النموذج المقبول عن طريق زيادة ثابت التناسب (معلمة فرط "ألفا") ، وبالتالي زيادة العقوبة على متجهات الوزن الكبيرة.

تنظيم المستوى الثاني هو الشكل الأكثر شيوعًا للتنظيم. يمكن تنفيذه من خلال معاقبة الحجم التربيعي لجميع المعلمات مباشرة في الهدف. يحتوي تنظيم L2 على تفسير بديهي لمعاقبة نواقل الوزن الذروة بشدة وتفضيل نواقل الوزن المنتشرة. نظرًا للتفاعلات المضاعفة بين الأوزان والمدخلات ، فإن هذا له خاصية مفيدة لتشجيع الشبكة على استخدام جميع مدخلاتها قليلاً بدلاً من بعض مدخلاتها كثيرًا.

تنظيم L1 شائع أيضًا. يجعل نواقل الوزن متناثرة أثناء التحسين. بعبارة أخرى ، الخلايا العصبية مع تنظيم L1 ينتهي بها الأمر باستخدام مجموعة فرعية متفرقة من أهم مدخلاتها وتصبح تقريبًا ثابتة بالنسبة للمدخلات الصاخبة. يمكن الجمع بين L1 و L2 وهو ما يسمى تنظيم الشبكة المرنة.

تعديل قيود القاعدة القصوى

شكل آخر من أشكال التنظيم هو فرض حد أعلى مطلق على حجم متجه الوزن لكل خلية عصبية واستخدام النسب المتدرج المتوقع لفرض القيد. في الممارسة العملية ، هذا يتوافق مع إجراء تحديث المعلمة كالمعتاد ، ثم فرض القيد عن طريق تثبيت متجه الوزن w → < displaystyle < vec >> من كل خلية عصبية لإرضاء ‖ w → ‖ 2 & lt c < displaystyle | < vec > | _ <2> & ltc>. القيم النموذجية لـ c < displaystyle c> هي ترتيب من 3-4. تشير بعض الأوراق إلى تحسينات [82] عند استخدام هذا الشكل من التنظيم.

يفقد التجميع العلاقات المكانية الدقيقة بين الأجزاء عالية المستوى (مثل الأنف والفم في صورة الوجه). هذه العلاقات ضرورية للتعرف على الهوية. يساعد تداخل التجمعات بحيث تحدث كل ميزة في مجموعات متعددة على الاحتفاظ بالمعلومات. لا تستطيع الترجمة وحدها استقراء فهم العلاقات الهندسية لوجهة نظر جديدة جذريًا ، مثل اتجاه أو مقياس مختلف. من ناحية أخرى ، فإن الناس بارعون جدًا في الاستقراء بعد رؤية الشكل الجديد بمجرد أن يتمكنوا من التعرف عليه من وجهة نظر مختلفة. [83]

تتمثل إحدى الطرق الشائعة السابقة للتعامل مع هذه المشكلة في تدريب الشبكة على البيانات المحولة في اتجاهات ومقاييس وإضاءة مختلفة وما إلى ذلك حتى تتمكن الشبكة من التعامل مع هذه الاختلافات. هذا مكثف من الناحية الحسابية لمجموعات البيانات الكبيرة. البديل هو استخدام التسلسل الهرمي لإطارات الإحداثيات واستخدام مجموعة من الخلايا العصبية لتمثيل اقتران شكل الميزة ووضعها بالنسبة لشبكية العين. الوضع النسبي لشبكية العين هو العلاقة بين إطار إحداثيات شبكية العين وإطار تنسيق السمات الجوهرية. [84]

وبالتالي ، فإن إحدى طرق تمثيل شيء ما هي تضمين إطار الإحداثيات بداخله. يسمح ذلك بالتعرف على السمات الكبيرة باستخدام تناسق أوضاع أجزائها (على سبيل المثال ، تشكل أوضاع الأنف والفم تنبؤًا ثابتًا بوضع الوجه بالكامل). يضمن هذا النهج أن الكيان ذي المستوى الأعلى (مثل الوجه) موجود عندما يتفق المستوى الأدنى (مثل الأنف والفم) على توقعه للوضع. تسمح نواقل النشاط العصبي التي تمثل الوضع ("نواقل الوضع") بالتحولات المكانية على شكل عمليات خطية تسهل على الشبكة تعلم التسلسل الهرمي للكيانات المرئية والتعميم عبر وجهات النظر. هذا مشابه للطريقة التي يفرض بها النظام البصري البشري إطارات تنسيق لتمثيل الأشكال. [85]

تحرير التعرف على الصور

غالبًا ما تستخدم شبكات CNN في أنظمة التعرف على الصور. في عام 2012 ، تم الإبلاغ عن معدل خطأ بنسبة 0.23 ٪ في قاعدة بيانات MNIST. [21] ذكرت ورقة أخرى حول استخدام CNN لتصنيف الصور أن عملية التعلم كانت "سريعة بشكل مدهش" في نفس الورقة ، وتم تحقيق أفضل النتائج المنشورة اعتبارًا من عام 2011 في قاعدة بيانات MNIST وقاعدة بيانات NORB. [18] بعد ذلك ، فازت شبكة CNN مماثلة تسمى AlexNet [86] في تحدي التعرف المرئي على نطاق واسع على ImageNet لعام 2012.

عند تطبيقها على التعرف على الوجه ، حققت شبكات CNN انخفاضًا كبيرًا في معدل الخطأ. [87] ذكرت ورقة أخرى معدل التعرف 97.6٪ على "5600 صورة ثابتة لأكثر من 10 مواضيع". [12] تم استخدام شبكات CNN لتقييم جودة الفيديو بطريقة موضوعية بعد التدريب اليدوي ، كان للنظام الناتج خطأ تربيعي متوسط ​​جذر منخفض جدًا. [34]

يعد تحدي التعرف البصري على ImageNet Large Scale معيارًا في تصنيف الكائنات واكتشافها ، مع ملايين الصور ومئات فئات الكائنات. في ILSVRC 2014 ، [88] تحدٍ للتعرف البصري على نطاق واسع ، استخدم كل فريق رفيع المستوى تقريبًا CNN كإطار عمل أساسي لهم. زاد GoogLeNet الفائز [89] (أساس DeepDream) متوسط ​​الدقة المتوسطة لاكتشاف الأشياء إلى 0.439329 ، وقلل خطأ التصنيف إلى 0.06656 ، وهي أفضل نتيجة حتى الآن. طبقت شبكتها أكثر من 30 طبقة. كان أداء الشبكات العصبية التلافيفية في اختبارات ImageNet قريبًا من أداء البشر. [90] لا تزال أفضل الخوارزميات تصارع مع الأشياء الصغيرة أو الرفيعة ، مثل نملة صغيرة على ساق زهرة أو شخص يحمل ريشة في يده. لديهم أيضًا مشكلة في الصور التي تم تشويهها باستخدام المرشحات ، وهي ظاهرة شائعة بشكل متزايد في الكاميرات الرقمية الحديثة. على النقيض من ذلك ، نادرًا ما تزعج هذه الأنواع من الصور البشر. ومع ذلك ، يميل البشر إلى مواجهة مشكلات أخرى. على سبيل المثال ، لا يجيدون تصنيف الأشياء إلى فئات دقيقة الحبيبات مثل سلالة معينة من الكلاب أو أنواع الطيور ، بينما تتعامل الشبكات العصبية التلافيفية مع هذا. [ بحاجة لمصدر ]

في عام 2015 ، أظهرت شبكة CNN متعددة الطبقات القدرة على تحديد الوجوه من مجموعة واسعة من الزوايا ، بما في ذلك رأساً على عقب ، حتى عندما تكون محجوبة جزئياً ، بأداء تنافسي. تم تدريب الشبكة على قاعدة بيانات تضم 200000 صورة تضم وجوهًا من زوايا واتجاهات مختلفة و 20 مليون صورة أخرى بدون وجوه. استخدموا دفعات من 128 صورة أكثر من 50000 تكرار. [91]

تحرير تحليل الفيديو

بالمقارنة مع مجالات بيانات الصورة ، هناك القليل من العمل نسبيًا لتطبيق CNNs على تصنيف الفيديو. الفيديو أكثر تعقيدًا من الصور لأنه يحتوي على بُعد (زمني) آخر. ومع ذلك ، فقد تم استكشاف بعض امتدادات شبكات CNN في مجال الفيديو. يتمثل أحد الأساليب في معالجة المكان والزمان كأبعاد مكافئة للمدخلات وتنفيذ التلافيف في كل من الزمان والمكان. [92] [93] هناك طريقة أخرى تتمثل في دمج ميزات شبكتين عصبيتين تلافيفيتين ، واحدة للمكان والأخرى للتيار الزمني. [94] [95] [96] عادةً ما يتم دمج الوحدات المتكررة للذاكرة طويلة المدى (LSTM) بعد CNN لحساب التبعيات بين الإطارات أو بين القصاصات. [97] [98] تم تقديم مخططات التعلم غير الخاضعة للإشراف لتدريب السمات المكانية والزمانية ، استنادًا إلى آلات بولتزمان المقيدة بالبوابات التلافيفية [99] وتحليل الفراغ المستقل. [100]

تحرير معالجة اللغة الطبيعية

تم استكشاف شبكات CNN أيضًا لمعالجة اللغة الطبيعية. تعد نماذج CNN فعالة في العديد من مشاكل البرمجة اللغوية العصبية وحققت نتائج ممتازة في التحليل الدلالي ، [101] استرجاع استعلام البحث ، [102] نمذجة الجملة ، [103] التصنيف ، [104] التنبؤ [105] ومهام البرمجة اللغوية العصبية التقليدية الأخرى. [106]

تحرير كشف الشذوذ

تم استخدام CNN مع التلافيف 1-D في السلاسل الزمنية في مجال التردد (المتبقي الطيفي) بواسطة نموذج غير خاضع للإشراف لاكتشاف الحالات الشاذة في المجال الزمني. [107]

تحرير اكتشاف المخدرات

تم استخدام شبكات CNN في اكتشاف الأدوية. يمكن أن يؤدي توقع التفاعل بين الجزيئات والبروتينات البيولوجية إلى تحديد العلاجات المحتملة. في عام 2015 ، قدمت Atomwise AtomNet ، أول شبكة عصبية للتعلم العميق لتصميم الأدوية العقلاني القائم على الهيكل. [108] يتدرب النظام مباشرة على التمثيلات ثلاثية الأبعاد للتفاعلات الكيميائية. على غرار الطريقة التي تتعلم بها شبكات التعرف على الصور تكوين ميزات أصغر ، قريبة من الناحية المكانية إلى هياكل أكبر ومعقدة ، [109] تكتشف AtomNet السمات الكيميائية ، مثل العطرية ، و sp 3 carbons ، و الرابطة الهيدروجينية. بعد ذلك ، تم استخدام AtomNet للتنبؤ بالجزيئات الحيوية الجديدة المرشحة لأهداف مرضية متعددة ، وأبرزها علاجات فيروس الإيبولا [110] والتصلب المتعدد. [111]

تقييم المخاطر الصحية والمؤشرات الحيوية لاكتشاف الشيخوخة

يمكن تصميم شبكات CNN بشكل طبيعي لتحليل مجموعة كبيرة بما فيه الكفاية من بيانات السلاسل الزمنية التي تمثل تدفقات النشاط البدني البشري لمدة أسبوع واحد مدعومة بالبيانات السريرية الغنية (بما في ذلك سجل الوفيات ، على النحو المنصوص عليه ، على سبيل المثال ، دراسة NHANES). تم دمج شبكة CNN البسيطة مع نموذج المخاطر النسبية Cox-Gompertz واستخدامها لإنتاج مثال لإثبات مفهوم المؤشرات الحيوية الرقمية للشيخوخة في شكل توقع جميع الأسباب والوفيات. [112]

لعبة الداما تحرير

تم استخدام شبكات CNN في لعبة الداما. من 1999 إلى 2001 ، نشر Fogel و Chellapilla أوراقًا توضح كيف يمكن للشبكة العصبية التلافيفية أن تتعلم العزف. فاحص باستخدام التطور المشترك. لم تستخدم عملية التعلم ألعابًا احترافية بشرية سابقة ، ولكنها ركزت على مجموعة قليلة من المعلومات الموجودة في رقعة الداما: موقع ونوع القطع ، والاختلاف في عدد القطع بين الجانبين. أخيرًا ، تم اختبار برنامج (Blondie24) على 165 مباراة ضد لاعبين واحتلت المرتبة الأعلى بنسبة 0.4٪. [113] [114] كما أنها حققت فوزًا ضد برنامج Chinook على مستوى لعبها "الخبير". [115]

اذهب تحرير

تم استخدام شبكات CNN في Computer Go. في ديسمبر 2014 ، نشر كلارك وستوركي ورقة توضح أن شبكة CNN المدربة من خلال التعلم الخاضع للإشراف من قاعدة بيانات للألعاب البشرية المحترفة يمكن أن تتفوق على GNU Go والفوز ببعض الألعاب ضد بحث شجرة مونت كارلو Fuego 1.1 في جزء بسيط من الوقت الذي استغرقه Fuego إلى لعب. [116] لاحقًا أُعلن أن شبكة عصبية تلافيفية كبيرة مكونة من 12 طبقة قد تنبأت بشكل صحيح بالحركة الاحترافية في 55٪ من المواضع ، أي ما يعادل دقة لاعب 6 دان البشري. عندما تم استخدام الشبكة التلافيفية المدربة مباشرة للعب ألعاب Go ، دون أي بحث ، فقد تغلبت على برنامج البحث التقليدي GNU Go في 97٪ من الألعاب ، وطابقت أداء برنامج بحث شجرة Monte Carlo Fuego الذي يحاكي عشرة آلاف عملية تشغيل (حول مليون وظيفة) لكل خطوة. [117]

تم استخدام اثنين من شبكات CNN لاختيار الحركات لمحاولة ("شبكة السياسة") وتقييم المواقف ("شبكة القيمة") التي تقود MCTS بواسطة AlphaGo ، وهو أول من هزم أفضل لاعب بشري في ذلك الوقت. [118]

تحرير التنبؤ بالسلسلة الزمنية

تعتبر الشبكات العصبية المتكررة بشكل عام أفضل هياكل الشبكات العصبية للتنبؤ بالسلسلة الزمنية (ونمذجة التسلسل بشكل عام) ، لكن الدراسات الحديثة تظهر أن الشبكات التلافيفية يمكن أن تؤدي بشكل أفضل أو مقارن. [119] [8] التلافيف المتوسعة [120] قد تمكن الشبكات العصبية التلافيفية أحادية البعد من تعلم تبعيات السلاسل الزمنية بشكل فعال. [121] يمكن تنفيذ التلافيفات بشكل أكثر كفاءة من الحلول القائمة على RNN ، ولا تعاني من تلاشي (أو انفجار) التدرجات. [١٢٢] يمكن أن توفر الشبكات التلافيفية أداء تنبؤًا محسنًا عندما يكون هناك العديد من السلاسل الزمنية المتشابهة للتعلم منها. [123] يمكن أيضًا تطبيق CNNs على مهام أخرى في تحليل السلاسل الزمنية (على سبيل المثال ، تصنيف السلاسل الزمنية [124] أو التنبؤ الكمي [125]).

تحرير التراث الثقافي ومجموعات البيانات ثلاثية الأبعاد

نظرًا لأن الاكتشافات الأثرية مثل الألواح الطينية ذات الكتابة المسمارية يتم الحصول عليها بشكل متزايد باستخدام الماسحات الضوئية ثلاثية الأبعاد ، أصبحت مجموعات البيانات المرجعية الأولى متاحة مثل HeiCuBeDa [١٢٦] توفير ما يقرب من 2.000 مجموعة بيانات طبيعية ثنائية وثلاثية الأبعاد مُعدة باستخدام إطار برامج GigaMesh. [127] لذلك يتم استخدام المقاييس القائمة على الانحناء جنبًا إلى جنب مع الشبكات العصبية الهندسية (GNNs) على سبيل المثال لتصنيف تلك الألواح الطينية لفترة زمنية من بين أقدم الوثائق في تاريخ البشرية. [128] [129]

بالنسبة للعديد من التطبيقات ، تكون بيانات التدريب أقل توفرًا. عادةً ما تتطلب الشبكات العصبية التلافيفية قدرًا كبيرًا من بيانات التدريب لتجنب فرط التجهيز. من الأساليب الشائعة تدريب الشبكة على مجموعة بيانات أكبر من مجال ذي صلة. بمجرد أن تتقارب معلمات الشبكة ، يتم تنفيذ خطوة تدريب إضافية باستخدام البيانات الموجودة في المجال لضبط أوزان الشبكة ، وهذا ما يُعرف باسم نقل التعلم. علاوة على ذلك ، تسمح هذه التقنية بتطبيق معماريات الشبكات التلافيفية بنجاح على مشاكل مجموعات التدريب الصغيرة. [130]

يعد التدريب الشامل والتنبؤ ممارسة شائعة في رؤية الكمبيوتر. ومع ذلك ، فإن التفسيرات القابلة للتفسير البشري مطلوبة للأنظمة المهمة مثل السيارات ذاتية القيادة. [131] مع التطورات الحديثة في البروز البصري والاهتمام المكاني والزماني ، يمكن تصور المناطق المكانية / اللحظات الزمنية الأكثر أهمية لتبرير تنبؤات CNN. [132] [133]

تحرير شبكات Q العميقة

شبكة Q العميقة (DQN) هي نوع من نموذج التعلم العميق الذي يجمع بين الشبكة العصبية العميقة مع Q-Learning ، وهو شكل من أشكال التعلم المعزز. على عكس عوامل التعلم المعززة السابقة ، يمكن لشبكات DQN التي تستخدم شبكات CNN أن تتعلم مباشرة من المدخلات الحسية عالية الأبعاد عبر التعلم المعزز. [134]

تم تقديم النتائج الأولية في عام 2014 ، مع ورقة مصاحبة في فبراير 2015. [135] وصف البحث تطبيقًا على Atari 2600 gaming. سبقته نماذج التعلم المعزز العميق الأخرى. [136]

شبكات المعتقدات العميقة تحرير

شبكات المعتقدات العميقة التلافيفية (CDBN) لها هيكل مشابه جدًا للشبكات العصبية التلافيفية ويتم تدريبها بشكل مشابه لشبكات المعتقدات العميقة. لذلك ، فهم يستغلون البنية ثنائية الأبعاد للصور ، كما تفعل شبكات CNN ، ويستفيدون من التدريب المسبق مثل شبكات المعتقدات العميقة. إنها توفر بنية عامة يمكن استخدامها في العديد من مهام معالجة الصور والإشارات. تم الحصول على نتائج معيارية لمجموعات بيانات الصورة القياسية مثل CIFAR [137] باستخدام CDBNs. [138]


شاهد الفيديو: الذكاء الاصطناعي - انواع الشبكات العصبية الاصطناعية -ميزاته واستخدامها والفرق بينها (كانون الثاني 2022).