خانم منیره عبدوس دانشجوی دکترای جناب آقای دکتر ناصر مزینی روز دوشنبه 10/04/92 ساعت 16 در اتاق دفاعیه واقع در طبقه دوم دانشکده مهندسی کامپیوتر از رساله دکترای خود تحت عنوان ارائه یک مدل یادگیری تقویتی با نظارت چند سطحی در سیستم های چند عامله هولونی دفاع خواهند نمود.

  چکیده پایان نامه:

  سیستم‏های چندعامله روش مناسبی برای مدل­سازی مسائل توزیع شده فراهم می آورند. چنانچه یک سیستم چندعامله از تعداد زیادی عامل تشکیل شده باشد، استفاده از روش‏های کلاسیک در سیستم‏های چندعامله کارا نخواهد بود و نیاز است همچون جامعه انسانی از روش‏های مبتنی بر سازمان استفاده شود.

  سازمان هولونی به عنوان یکی از سازمان‏های موفق در حوزه سیستم‏های چندعامله، مورد توجه بسیاری از محققین قرار گرفته است. بر اساس اصولی که توسط مبدع مفهوم هولون بیان شده، سازمان هولونی به صورت مجموعه ای از سلسله مراتب در هم آمیخته دارای ساختار انتزاعی دیده می‏­شود. این سازمان از موجودیت‏های خودمتشابهی تشکیل شده که به صورت بازگشتی در یک ساختار سلسله مراتبی قرار گرفته‏اند. از جمله ویژگی‏های این سازمان می‏توان به خودمتشابهی، قابلیت اطمینان، مقاوم بودن و پویایی آن اشاره نمود.

  از طرف دیگر، قابلیت یادگیری یکی از مباحث مهمی است که در سیستم‏های مبتنی بر عامل مطرح می‏شود. مهم‏ترین روشی که عامل‏ها برای یادگیری به کار می‏برند، بر مبنای سعی و خطا است که تحت عنوان "یادگیری تقویتی" مطرح گردیده است. به دلیل اهمیت یادگیری تقویتی در محیط‏های ناشناخته و همچنین سازمان هولونی در مدل­سازی سیستم‏های دارای مقیاس بالا، یادگیری تقویتی در سازمان هولونی جایگاه مهمی دارد. علیرغم مطالعات زیادی که در این حوزه انجام گرفته، تاکنون مدلی عمومی برای یادگیری تقویتی در این سازمان ارائه نشده است. هدف از انجام رساله، ارائه مدل یادگیری تقویتی مطابق با ویژگی­های سیستم‏های چندعامله هولونی است که تا حد امکان عمومی بوده و قابل استفاده در کاربردهای مختلف باشد. خودمتشابهی هولون‏ها در سطوح مختلف انتزاع، ارتباط میان هولون‏ها و مقاوم بودن مدل یادگیری در برابر اختلال در ارتباط از ویژگی‏های مهم مدل پیشنهادی است که به همراه تحلیل همگرایی و کارایی در این رساله به آنها پرداخته شده است.

  سیستم‏های چندعامله کاربردهای مختلفی در جهان واقعی دارد که از جمله می­توان به کنترل ترافیک شهری اشاره کرد. کاهش میانگین زمان تاخیر با استفاده از زمان‏بندی چراغ‏های راهنمایی، یکی از اهدافی است که در کنترل ترافیک دنبال می­شود. با توجه به ویژگی‏های منحصر به فرد سازمان هولونی در مدل ‏ سازی سیستم‏های توزیع شده با مقیاس بالا و نقش یادگیری تقویتی در محیط‏های پویا، یک شبکه ترافیکی متشکل از تعداد زیادی تقاطع به عنوان بستر مناسبی در این راستا مورد استفاده قرار گرفته است. نتایج تجربی نشان می‏‏دهند کاربرد مدل پیشنهادی کنترل ترافیک باعث افزایش کارایی شده و کنترلی مقاوم و قابل اطمینان در این حوزه فراهم می­آورد.

  واژه‌های کلیدی: یادگیری تقویتی، سیستم‏های چندعامله هولونی، کنترل ترافیک هوشمند.

  ABSTRACT:

  Multi-agent systems (MAS) provide a suitable approach to model distributed problems. It is not efficient to use a classic method in multi-agent system, when the system is composed of a large number of agents and therefore, it is necessary to use an organization-based approach similar to the human society. n is one of the successful organizations in MAS which is noticed by many researchers. According to principles illustrated by the holonic concept inventor, the holonic organization can be seen as an inter-woven hierarchy with abstract structure. This organization contains self-similar entities which stand on a recursive hierarchy. Among different properties of this organization, we can mention self-similarity, reliability, robustness and dynamism.

  Learning ability is one of the important issues in agent-based systems on the other hand. The most important learning method is based on trial and error which is called reinforcement learning. Because of the importance of reinforcement learning in unknown environments and holonic organization for large-scale systems modeling, reinforcement learning in holonic multi-agent systems (HMAS) brings an important issue in MAS. In spite of many researches done in HMAS, there is no general reinforcement learning method for this organization. The goal of this thesis consists in developing a general reinforcement learning model according to the properties of an HMAS which can be easily used in different applications. Self-similar holons in different levels of abstraction, communication between the holons and robustness against communication disturbances are the most important features of the proposed model which is exhausted with the convergence and efficiency analysis in this literature.

  MAS have been applied in many real-world applications such as urban traffic control. Average delay time reduction using traffic signals control is one of the goals followed in traffic control. With respect to the special properties of a holonic organization for large-scale systems modeling and the role of reinforcement learning in dynamic environments, a network composed of a large number of intersections has been used for simulation in this way. Experimental results show that applying the proposed model for traffic control, improves the performance while it provides a robust and reliable control mechanism in this area.

  Multi-agent systems (MAS) provide a suitable approach to model distributed problems. It is not efficient to use a classic method in

  ارائه­دهنده:

 منیره عبدوس

  abdoos@iust.ac.ir

 استاد راهنما:

  دکتر ناصر مزینی

  هیات داوران:

  دکتر محمدرضا جاهد مطلق - دکتر عادل ترکمان رحمانی- دکتر بهروز مینایی

 دکتر حمید بیگی- دکتر میرمحسن پدرام

 زمان : دوشنبه 10 تیرماه 1392

  ساعت 16

 مکان: دانشکده مهندسی کامپیوتر- طبقه دوم- اتاق دفاعیه

  از اساتید بزرگوار، دانشجویان گرامی و دیگر متخصصان و علاقه مندان به موضوع دفاعیه دعوت
می شود با حضور خود موجبات غنای علمی و ارتقای کیفی را فراهم سازند.

  دانشکده مهندسی کامپیوتر مدیریت تحصیلات تکمیلی