نرم افزار مبدل زبان اشاره (برای ناشنوایان)

دهمین دوره از پروژه های دانش آموزی تبیان نیز با یاری خداوند و حضور پرشور شما دوستان و علاقه مندان به پایان رسید اما کار ما هنوز تمام نشده است! این دوره نیز همچون سال های گذشته دوستان بسیاری با ثبت طرح ها و ایده های خلاقانه خود در منوی"پیشنهاد موضوع" ما را در ارتقای تنوع پروژه ها یاری نموده اند. هم چون گذشته بر آن شدیم تا با گردآوری این ایده های جالب، علاوه بر قدردانی از این دوستان نوآور، زمینه ای را برای ایده پروری سایر پژوهشگران علاقه مند فراهم آوریم. فراموش نکنید که ما همیشه منتظر طرح های جدید شما عزیزان هستیم.

نام ایده: نرم افزار مبدل زبان اشاره (برای ناشنوایان)
نام ارائه دهنده/دهندگان: یاسمن برومندمنش-ارغوان رضوانی-غزل نیسی مینایی
زمینه و نوع پروژه: نرم افزار کامپیوتر
درجه سختی: دشوار
نام مدرسه: دبیرستان فرزانگان 6 تهران

در جوامع امروزی با توجه به پیشرفت چشمگیر دانش و فناوری و به خصوص در عرصه برنامه نویسی و رایانه ای و آگاهی بر مشکلات بسیار ناشنوایان دانش آموزان تصمیم گرفتند تا با ساخت نرم افزاری به نام "نرم افزار مبدل زبان اشاره به زبان فارسی"، به اشخاصی که از توانایی تکلم بی بهره اند کمکی کنند، هرچند کوچک و ناچیز.

برای این منظور از زبان سی پلاس پلاس 1، ویژوال استدیو 2 و کتابخانه اپنسیوی 3 استفاده کردند و از الگوریتم های متخلف برای تشخیص دست انسان و بعد حرکت آن در تصویر بهره گرفتند.

این نرم افزار این گونه طراحی شده است که حرکات مختلف دست انسان را تشخیص می دهد و با توجه به آموزش هایی که به آن داده شده است می تواند مشخص کند که این حرکت دست مربوط به کدام حرف یا کلمه از زبان اشاره فارسی است. به این ترتیب می تواند زبان اشاره را تبدیل به زبان فارسی کرده تا افراد جامعه بتوانند به راحتی با یکدیگر ارتباط برقرار کنند، هرچند دچار ناتوانی های جسمانی باشند.

روش انجام تحقیق:

دانش آموزان پژوهش حاضر را برای سهولت در کار به مسئله های ساده تر تقسیم کردند و مواردی را به صورت پیشفرض برای فیلم ورودی در نظر گرفتند. یعنی پس زمینه را به صورت یکدست، یکرنگ و همرنگ با آستین شخص در نظر گرفتند.
همچنین به صورت پیشفرض تنها دست در برابر وب کم (webcam) قرار می گیرد. با این پیشفرض ها مشکل حذف پس زمینه و جداسازی اطلاعات اصلی کاهش یافت. در مرحله بعد عکس هایی از حرکات مختلف زبان اشاره (تنها برای حروف و صداها) تهیه کردند، سپس آن ها را سیاه سفید نمودند.
 
برای استخراج اطلاعات از تصاویر، در گام اول، لبه های تصاویر و در گام بعدی شکل کانتور دست را در هر تصویر به دست آوردند. مرکز ثقل کانتور دست در هر تصویر، با استفاده از روش میانگین گیری بین همه نقاط کانتور حاصل شد. پس از آن نمودار فاصله همه نقاط کانتور از مرکز ثقل را به دست آوردیم.

اما این نمودار، به دلیل داشتن ناهمواری های بسیار، مشکلات زیادی در هنگام عملیات پردازش ایجاد می کرد. به همین دلیل، این نمودار را هموار نمودند. برای پیدا کردن آرایه مناسب برای هموارسازی، از روش آزمون و خطا بهره گرفتند. در گام بعدی، نمودار هموارشده را در صد نقطه فشرده کردند. علت انجام این مرحله، مقایسه پذیر کردن نمودار هموارشده بود. بدین ترتیب نمودار نرمال شده را برای هر یک از تصاویری که از زبان اشاره تهیه نموده بودیم، به صورت یک آرایه به دست آوردند.

این آرایه ها به عنوان ورودی در اختیار رده بند نزدیک ترین همسایه ها قرار گرفتند. از سوی دیگر، نمونه ورودی هم تحت همین عملیات قرار گرفته و نمودار نرمال شده آن به عنوان ورودی دیگری به رده بند داده می شد. حال رده بند باید نمونه داده شده را بازشناسی کند. بدین منظور، فاصله اقلیدسی نمونه با آرایه های نرمال شده مربوط به تک تک حروف، به دست آمده و با مقایسه این فواصل، نزدیک ترین فاصله و حرکت اشاره مربوط به آن مشخص می گردد.

مهارت های کسب شده

زبان سی پلاس پلاس - کتاب خانه اوپن سی وی - ویژوال استادیو - پردازش تصویر و دسته بندی

بخش پژوهش های دانش آموزی تبیان، تهیه:مهدی رحمانی
تنظیم:علی سرمدی