مشاهده مشخصات مقاله
راه‌اندازی سامانه کلان داده برای استخراج نقاط توقف از داده‌های عظیم سنسورهای مکانی
|
Authors |
-
سید امید فاطمی
-
امید ابراهیمی
|
|
Conference |
بیست و سومین کنفرانس ملی سالانه انجمن کامپیوتر ایران |
|
Abstract |
در20 سال اخیر با پیشرفت تکنولوژی‌های تولید، ذخیره‌سازی و پردازش داده‌ها، شاهد انقلابی در رشد داده‌های ذخیره شده در جهان هستیم. این حجم عظیم داده‌ها دارای پتانسیل فراوانی برای کشف دانش می‌باشند، اما روش‌های کلاسیک آماری و یادگیری ماشین از نظر عملی برای این حجم زیاد داده‌ها پاسخگو نیستند. در راستای پردازش کلان‌داده چهارچوب‌ها و روش‌های مختلفی ارائه شده‌اند، اما به دلیل ساختار متفاوت داده‌ها و کاربردهای مختلف آنها، معمولا در هر کاربرد علاوه بر استفاده از روش‌های موجود، نیازمند ارائه‌ی روش‌های خاصی برای آن کاربرد نیز هستیم. در این مقاله مسئله انجام فرآیند پردازش کلان‌داده در عمل، برای دسته‌ای از داده‌های فضایی‌زمانی که توسط سنسورهای مکانی ثبت شده‌اند می‌باشد. خروجی این پردازش، میزان روابط افراد مختلف با توجه به تاریخچه‌ی حرکتی آنها می‌باشد که در آخرین مرحله از فرآیند، سیستم می‌تواند با دریافت شناسه‌ی هر فرد، لیستی از مرتبط‌ترین افراد به او را به صورت مرتب شده برگرداند. این فرآیند به دلیل پیچیدگی‌هایی که دارد به بخش‌های کوچکتری شکسته شده است. یکی از زمانبرترین بخش‌های این فرآیند مربوط به یافتن نقاط توقف است. هدف از این تحقیق پیاده‌سازی سامانه‌های کلان‌داده برای حل این مسئله می‌باشد. در این تحقیق الگوریتم پیدا کردن نقاط توقف با استفاده از چهارچوب Apache Spark و تغییر در روش محاسبه به گونه‌ای تغییر داده شده است که امکان اجرای آن به صورت توزیع شده یا بر روی یک کامپیوتر وجود دارد و در هر کدام از حالت‌های توزیع شده و غیر توزیع شده، الگوریتم این قابلیت را دارد که متناسب با تعداد هسته‌های اختصاص داده شده، سرعت پردازش را افزایش دهد. بر اثر این تغییر در الگوریتم پیدا کردن نقاط توقف، زمان اجرای الگوریتم با تحمل خطایی کمتر از ۰.۱ درصد حدود ۹۹.۹ درصد کاهش یافت. در این بهبود استفاده از حافظه‌ی داخلی و دیسک کاملا ثابت مانده است و تعداد هسته‌های پردازنده از ۱ هسته (روی رایانه با پردازنده‌ی ۴ هسته‌ای) به ۸ هسته افزایش یافته است. |
|
قیمت |
-
برای اعضای سایت : 100,000 Rial
-
برای دانشجویان عضو انجمن : 20,000 Rial
-
برای اعضای عادی انجمن : 40,000 Rial
|
خرید مقاله
|
|
.gif){kind=icon}