فایل بهینه سازی خوشه ها با استفاده از الگوریتم های تکاملی برای شخصی سازی وب
دسته بندي :
کالاهای دیجیتال »
رشته کامپیوتر و IT (آموزش_و_پژوهش)
این پایان نامه در قالب فرمت word قابل ویرایش ، آماده پرینت و ارائه به عنوان پروژه پایانی میباشد.
فهرست مطالب
عنوان صفحه
چکیده 1
فصل اول 2
1-1-مقدمه 3
1-2-تعریف مسئله 4
1-3-اهمیت و ضرورت تحقیق 5
1-4-شیوه پژوهش 8
1-5-چارچوب پایاننامه 8
مراجع 10
فصل دوم: 11
2-1-مقدمه 12
2-2-مروی بر کارهای انجام شده 12
مراجع 21
فصل سوم: 24
3-1-مقدمه 25
3-2-مراحل وب کاوي 26
3-2-1-انواع وب‌کاوی 27
3-3-شخصی‌سازی وب 28
3-3-1-دلایل نیاز به شخصی‌سازی وب 28
3-3-2-مراحل شخصی سازی وب 29
3-3-2-1-جمع‌آوری داده 30
3-3-2-2-پردازش داده 31
3-3-2-3-کشف الگو 31
3-3-2-4-تحلیل دانش 31
3-3-3-تکنیک های مدل¬سازی کاربر در شخصی‌سازی وب 31
3-3-3-1-تکنیک tf-idf 32
3-3-3-2-تکنیک متا مدل و ابزار OLAP 32
3-3-3-3-تکنیک براساس محتوای وب 33
3-3-3-4-تکنیک براساس فراهم کردن داده‌های موثر (ODP) 34
3-3-3-5-شخصی¬سازی وب با استفاده از روش¬های ترکیبی 34
3-3-3-6-شخصی¬سازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf 35
3-3-3-7-شخصی¬سازی وب با استفاده از کندوکاو الگوی ترتیبی و درخت الگو 35
3-4-خوشه‌بندی برای شخصی‌سازی وب 35
3-4-1-خوشه¬بندی فازی 36
3-4-1-1-الگوریتم پایه‌ای خوشه‌بندی فازی 36
3-4-1-2-الگوریتم فازی کا-مینز 36
3-4-1-3-خوشه¬بندی صفحات وب با استفاده از خوشه¬بندی فازی k-means 37
3-4-2-الگوریتم ژنتیک 39
3-4-2-1-بهینه‌سازی خوشه‌بندی فازی با استفاده از الگوریتم ژنتیک 40
3-4-3-روش پیشنهادی در این تحقیق 42
3-4-4-شمای کلی سیستم پیشنهادی 42
3-4-5-مثالی از سیستم پیشنهادی 43
3-4-6-شبه کد روش پیشنهادی 50
3-5-جمع¬بندی 51
مراجع 53
فصل چهارم: 55
4-1-مقدمه 56
4-2-مجموعه داده¬ها 56
4-2-1-دیتاست YANDEX 57
4-2-1-1-پیش پردازش انجام شده با مجموعه داده¬های خام قبل از انتشار 57
4-3-پارامترهای ارزیابی 60
4-4-آزمایشات انجام شده 61
4-4-1-سخت افزار مورد استفاده 62
4-4-2-نتایج آزمایشات 62
4-5-جمع¬بندی 64
مراجع: 65
فصل پنجم: 66
5-1-مقدمه 67
5-2-نتایج و دستاوردهای پروژه 68
5-3-پیشنهادات 68
مراجع 70
فهرست اشکال
شکل 3- 1: فرآیند شخصی‌سازی وب 29
شکل 3-2: مجموعه داده پروانه‌ای. 38
شکل 3-3:خوشه بندی فازی داده. 39
شکل 3-4: مراحل اصلی الگوریتم ژنتیک. 40
شکل 3-5: شمای کلی سیستم پیشنهادی 42
شکل 3-6: خوشه¬بندی داده¬های آموزشی 47
شکل 3-7: خوشه¬بندی داده¬های تست 49
شکل 4-8: مقایسه روش‌های پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 64
فهرست جداول
جدول4-1: نتایج آزمایشات انجام شده بر روی 100 جلسه‌ی تصادفی 62
جدول4-2: مقایسه نتایج سیستم پیشنهادی با سایر روشها 62
جدول 4-3: مقایسه نتایج سیستم پیشنهادی با روش ارائه شده در (Varghese, & John, 2012). 63
چکیده
گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می¬رود. برای مقابله با این مشکل، سیستم‌های شخصی¬سازی وب ارائه شده¬اند که محتوا و سرویس¬های یک وب¬سایت را با افراد براساس علایق و رفتار گردشی آن¬ها سازگار می¬کنند. یک مؤلفه¬ی اساسی در هر سیستم شخصی¬سازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویس¬های مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب است. در حال حاضر، برای شخصی¬سازی وب چندین متد خوشه¬بندی در دسترس است. روش¬هایی که تاکنون ارائه شده¬اند، در مواردی دارای اشکالاتی بودند. البته تکنیک¬های جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیک¬ها، مسائل افزونگی داده و مقیاس¬بندی بالا وجود دارد. با توجه به اینکه افزایش کاربران وب منجر به افزایش اندازه‌ی خوشه می‌گرد، نیاز به بهینه‌سازی خوشه‌ها اجتناب‌ناپذیر خواهد بود. در تحقیق، یک متدولوژی بهینه¬سازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهایی خوشه¬بندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفاده شده است. نتایج حاصل از شبیه‌سازی نشان می‌دهد که روش پیشنهادی دقت خوشه¬بندی صفحات وب را تا حد قابل توجهی افزایش می¬دهد.
کلید واژه¬ها: شخصی¬سازی صفحات وب- خوشه¬بندی- کاربرد وب-کاوی- الگوریتم فازی سی مینز- پایگاه داده یاندکس.
فصل اول
کلیات تحقیق:
1-1- مقدمه
با توسعه سيستم‌هاي اطلاعاتي، داده به يکي از منابع پراهميت سازمان‌ها مبدل گشته است. بنابراين روشها و تکنيک‌هايي براي دستيابي کارا به داده، اشتراک داده، استخراج اطلاعات از داده و استفاده از اين اطلاعات، مورد نياز مي‌باشد. با ايجاد و گسترش وب و افزايش چشمگير حجم اطلاعات، نياز به اين روشها و تکنيک‌ها بيش از پيش احساس مي‌شود. وب، محيطي وسيع، متنوع و پويا است که کاربران متعدد اسناد خود را در آن منتشر مي‌کنند. در حال حاضر بيش از دو بيليون صفحه در وب موجود است و اين تعداد با نرخ 7.3 ميليون صفحه در روز افزايش مي‌يابد. با توجه به حجم وسيع اطلاعات در وب، مديريت آن با ابزارهاي سنتي تقريباً غير ممکن است و ابزارها و روش¬هايي نو براي مديريت آن مورد نياز است. به طور کلي کاربران وب در استفاده از آن با مشکلات زير روبرو هستند:
1. يافتن اطلاعات مرتبط: يافتن اطلاعات مورد نياز در وب دشوار مي‌باشد. روش‌هاي سنتي بازيابي اطلاعات که براي جستجوي اطلاعات در پايگاه داده‌ها به کار مي‌روند، قابل استفاده در وب نمي‌باشند و کاربران معمولاً از موتورهاي جستجو که مهم-ترين و رايج ترين ابزار براي يافتن اطلاعات در وب مي باشند، استفاده مي‌کنند. اين موتورها، يک پرس و جوي مبتني بر کلمات کليدي از کاربر دريافت کرده و در پاسخ ليستي از اسناد مرتبط با پرس و جوي وي را که بر اساس ميزان ارتباط با اين پرس و جو مرتب شده اند، به وي ارائه مي¬کنند. اما موتورهاي جستجو داراي دو مشکل اصلي هستند (Baeza-Yates, 2004). اولاً دقت موتورهاي جستجو پايين است، چراکه اين موتورها در پاسخ به يک پرس و جوي کاربر صدها يا هزاران سند را بازيابي مي‌کنند، در حالي که بسياري از اسناد بازيابي شده توسط آنها با نياز اطلاعاتي کاربر مرتبط نمي‌باشند (Bharat, and et. al., 2001). ثانیاً ميزان فراخوان اين موتورها کم مي‌باشد، به آن معني که قادر به بازيابي کليه اسناد مرتبط با نياز اطلاعاتي کاربر نيستند. چرا که حجم اسناد در وب بسيار زياد است و موتورهاي جستجو قادر به نگهداري اطلاعات کليه اسناد وب، در پايگاه داده‌هاي خود نمي‌باشند (Chakrabarti, and et. al., 1999).
2. ايجاد دانش جديد با استفاده از اطلاعات موجود در وب: در حال حاضر اين سوال مطرح است که چگونه مي‌توان داده‌هاي فراوان موجود در وب را به دانشي قابل استفاده تبديل کرد، به طوري که يافتن اطلاعات مورد نياز در آن به سادگي صورت بگيرد. همچنين چگونه مي‌توان با استفاده از داده‌هاي وب به اطلاعات و دانشي جديد دست يافت.
3. خصوصي سازي اطلاعات: از آن جا که کاربران متفاوت هر يک درباره نوع و نحوه¬ی بازنمايي اطلاعات سليقه خاصي دارند، اين مسئله بايد توسط تأمين¬کنندگان اطلاعات در وب مورد توجه قرار بگيرد. براي اين منظور با توجه به خواسته‌ها و تمايلات کاربران متفاوت، نحوه ارائه اطلاعات به آنها بايد سفارشي گردد.
تکنيک‌هاي وب کاوي قادر به حل اين مشکلات مي‌باشند (Chakrabarti, 2000).
1-2- تعریف مسئله
وب به یک بخش تسلیم نشدنی جهان تبدیل شده است و گشت و گذار وب، یک فعالیت مهم برای مشتریانی که خرید آنلاین دارند، به شمار می¬آید (Varghese, 2012). همانطور که گفته شد، با توجه به حجم وسيع اطلاعات در وب، مديريت آن با ابزارهاي سنتي تقريباً غير ممکن است و ابزارها و روش¬هايي نو براي مديريت آن مورد نياز است.