فا   |   En
Login
مشاهده‌ مشخصات مقاله

تولید متن برای توصیف ویدئوهای کوتاه با استفاده از ویژگی‌های معنایی

Authors
  • رضوان نظری
  • احمد نیک‌آبادی
Conference بیست و سومین کنفرانس ملی سالانه انجمن کامپیوتر ایران
Abstract هدف توصیف ویدئو تولید یک جمله به زبان طبیعی است که بتواند محتوای ویدئو را توصیف کند. این موضوع باعث بهبود در جست‌وجو و بازیابی ویدئو می‌شود. به طور کلی در اغلب روش‌های موجود، تولید متن برای توصیف ویدئو در دو مرحله انجام میشود، ابتدا یک سری ویژگی‌های بصری با استفاده از شبکه‌های کانولوشنی از فریم‌های ویدئو استخراج می‌شوند، سپس یک جمله با استفاده از حافظه طولانی-کوتاه مدت (LSTM) بر اساس این ویژگی‌ها تولید خواهد شد. علی‌رغم اینکه این روش‌ها از ویژگی‌های بصری استفاده می‌کنند ولی این ویژگی‌های توانایی استخراج اطلاعات معنایی مرتبط با ویدئو را ندارند، به همین دلیل پیشنهاد شده است که علاوه بر ویژگی‌های بصری، برای هر ویدئو ویژگی‌های معنایی مانند <فاعل، فعل، مفعول> با استفاده از الگوریتم‌های دسته‌بندی‌کننده استخراج شوند و ترکیب ویژگی‌های بصری و معنایی به عنوان ورودی به حافظه طولانی-کوتاه مدت داده شود. در این مقاله از الگوریتم‌های تشخیص فعالیت برای تشخیص فعل در ویدئو استفاده شده و با نگاشت افعال، اشیاء و مفاهیم استخراج شده از ویدئو به فضای بردارهای جاسازی کلمات برای بهبود فرآیند استخراج اطلاعات معنایی استفاده شده است. بررسی‌های انجام شده بر روی مجموعه داده youtube2text نشان‌دهنده برتری روش پیشنهادی بر روش‌های موجود است.
قیمت
  • برای اعضای سایت : 100,000 Rial
  • برای دانشجویان عضو انجمن : 20,000 Rial
  • برای اعضای عادی انجمن : 40,000 Rial

خرید مقاله