بیگ دیتا (Big data) و آنچه باید بدانید

بیگ دیتا ؟! شما هم زیاد درباره آن می شنوید؟ در این مطلب تلاش می کنیم آن را برای شما بشکافیم، اما قبل از اینکه به سراغ معرفی آن برویم باید بدانید که دیتا چیست.

 به هر کمیت، کاراکتر یا نمادی که در علم کامپیوتر می توان بر روی آن عملیاتی انجام داد و به صورت سیگنال های الکتریکی در انواع رسانه های مغناطیسی، نوری یا مغناطیسی ذخیره نمود، دیتا گفته می شود. با این توضیح اکنون می توانید متوجه Big data و عملکرد آن شوید.

بیگ دیتا چیست ؟

بیگ دیتا در واقع مجموعه ای از داده ها می باشد که حجم آنها بسیار زیاد است. این حجم در طول زمان به صورت تصاعدی افزایش می یابد. می توان بیگ دیتاها را مجموعه ای از داده های بزرگ با میزان پیچیدگی زیاد دانست که برای مدیریت، پردازش و ذخیره سازی آنها نیز به ابزارهای متنوعی نیاز است. به زبانی ساده می توان بیان نمود که بیگ دیتا مجموعه ای داده با اندازه بسیار بزرگ تر از حد تصور می باشد.

خدمات داده کاوی را از آمار پیشرو دریافت کنید با کلیک بر روی این مطلب می توانید شرح فعالیت ها را ببینید .

در ادامه به مباحث زیر خواهیم پرداخت:

• معرفی و آشنایی با برخی از نمونه های Big data

• آشنایی با انواع بیگ دیتا

• ویژگی های انواع Big data

• مزایای پردازش بیگ دیتاها

قبل از اینکه به سراغ سایر مباحث برویم بهتر است مفهوم داده کاوی را ببینید؛ زیرا که بسیار کاربرد دارد.

داده کاوی مستلزم ارزیابی داده های جمع آوری شده قبلی به منظور استخراج اطلاعات جدید و بامعنا است.

مقاله داده کاوی چیست

معرفی برخی از نمونه های بیگ دیتا( Big data)

برای اینکه با مفهوم بیگ دیتا بهتر آشنا شوید، می توانید دیتاهای بورس نیویورک را در نظر بگیرید که حجم اطلاعات آنها در روز حدود 1 ترابایت می باشد. در ادامه چند نمونه دیگر نیز بیان شده اند.

•    رسانه های اجتماعی

با توجه به آماری که وجود دارد، هر روز بیش از 500 ترابایت اطلاعات در پایگاه های داده رسانه های اجتماعی ذخیره می شود. پایگاه هایی مانند فیسبوک که برای تبادل عکس و فیلم مورد استفاده قرار می گیرند، از این دسته می باشند. جالب است که بدانید موتور های جستجو می تواند در مدت زمان 30 دقیقه حدود 10 ترابایت داده تولید نمایند. با این توضیح می توان دریافت که میزان تولید این داده ها تا چه حد زیاد می باشد.

انواع مختلف بیگ دیتا

بیگ دیتاها در یکی از 3 دسته زیر قرار می گیرند:

• ساختار یافته

• بدون ساختار

• نیمه ساختار یافته

بیگ دیتا ساختار یافته

اگر داده های شما دارای یک ساختار مشخص و معین باشند، می توان آنها را در این دسته قرار داد. در علوم کامپیوتر برای استفاده از این داده ها تکنولوژی های بسیاری وجود دارد که ارزش آنان را مشخص می نماید. اما با توجه به این موضوع که حجم این داده ها به طور فزاینده ای در حال افزایش است لذا مشکلات زیادی را به همراه دارد. در حال حاضر حدود 1021 بایت یا 1 زترابایت که معادل 1 میلیارد داده ساختار یافته است در دنیا وجود دارد.

از همین رو هم اکنون می توانید متوجه شوید که چرا اسم این اطلاعات، بیگ دیتا می باشد. امروزه چالش های زیادی برای ذخیره سازی این میزان دیتا وجود دارد. این حجم دیتا باید تحت یک پایگاه داده قوی که امکان مدیریت آنها را فراهم می آورد، نگهداری شوند. پایگاه داده ای که بتواند این اطلاعات را نگهداری نماید باید از نوع رابطه ای باشد.

بررسی چند نمونه از داده های ساخت یافته

یک پایگاه داده رابطه ای که بتواند اطلاعات کارمندان را نگهداری نماید به قرار زیر است:

بیگ دیتا بدون ساختار

هر بیگ دیتا یا اطلاعاتی که فاقد فرم و ساختار مشخص باشد، در این دسته قرار می گیرد. علاوه بر اینکه حجم این داده ها بسیار زیاد است، چالش های فراوانی نیز برای نگهداری و پردازش آنها وجود دارد. می توان بیان نمود که این داده ها یک منبع ناهمگن می باشند که در آنها می توان هر نوع فایل تصویری، متنی، ویدیویی و … را مشاهده نمود. باید بیان کرد که در حال حاضر در هر سازمانی از این دست داده ها بسیار وجود دارد. متاسفانه افراد در پردازش و نگهداری آنها دچار مشکل می باشند.

معرفی چند نمونه از داده های بدون ساختار

داده هایی که توسط جستجو در موتور جستجوگر گوگل به نمایش گذاشته می شوند، جزو داده های بدون ساختار می باشند.

بیگ دیتا نیمه ساختار یافته

داده های نیمه ساختاریافته همانگونه که از نام آنها مشخص است، متشکل از داده های بدون ساختار و ساختار یافته هستند. بسیاری از افراد این نوع داده ها را یک دسته از داده های ساختار یافته می دانند. در جداول پایگاه داده DBMS رابطه ای می توان این نوع داده ها را ذخیره سازی نمود. اطلاعاتی که شما در فایل XML ذخیره می نمایید، در دسته داده های نیمه ساختار یافته طبقه بندی می شود.

معرفی چند نمونه از داده های نیمه ساختار یافته

بیگ دیتا های شخصی ذخیره شده در یک فایل XML می توانند به قرار زیر باشند:

<rec><name>Prashant Rao</name><sex>Male</sex><age>35</age></rec><rec><name>Seema

R.</name><sex>Female</sex><age>41</age></rec><rec><name>Satish

Mane</name><sex>Male</sex><age>29</age></rec><rec><name>Subrato

Roy</name><sex>Male</sex><age>26</age></rec><rec><name>Jeremiah

J.</name><sex>Male</sex><age>35</age></rec>

رشد بیگ دیتا ها در طول سال ها

در دنیای وب تعداد زیادی از دیتاهای بدون ساختار وجود دارند. این موارد در گزارش بالا درج نشده اند. دیتا های مذکور می توانند شامل تراکنش ها و گزارش ها باشند. از سیستم‌های OLTP برای کار کردن با دیتا های دارای ساختار استفاده می شود. در واقع این موارد اطلاعات را در پایگاه های داده رابطه ای ذخیره می نمایند.  

ویژگی ها و مشخصات بیگ دیتا

بیگ دیتا هایی که امروزه شناخته شده اند با 4 فاکتور زیر تعریف می شوند:

• حجم
• تنوع
• سرعت
• تغییرپذیری

حجم دیتا

نام Big data بیانگر این موضوع می باشد که حجم این مجموعه اطلاعات تا چه حد زیاد است. هر اندازه حجم اطلاعات بیشتر باشد به همان اندازه ارزش آنها نیز بالاتر خواهد بود. برای اینکه شما یک داده خاص را بتوانید در یک مجموعه که بیگ دیتا نام دارد، دسته بندی نمایید، لازم است تا به حجم آنها توجه نمایید.

تنوع دیتا

تنوع داده ها نشان دهنده ماهیت و ناهمگن بودن آنها است. همچنین می توان بیان نمود که تنوع داده ها بیانگر ساختار یا بدون ساختار بودن اطلاعات است. تا چندی پیش اطلاعاتی که در پایگاه های داده یا فایل های اکسل قرار می گرفتند تنها داده های ساختار یافته بودند. ولیکن امروزه عکس ها، فیلم ها، ایمیل ها و … را نیز می توان در این دسته قرار داد. به همین دلیل چالش بزرگی برای ذخیره سازی و پردازش آنها وجود دارد. در کنار داده های ساختار یافته باید حجم داده های بدون ساختار نیز به عنوان یک معضل مهم در نظر گرفت.  

سرعت تولید دیتا

منظور از اصطلاح “سرعت” در واقع سرعت تولید داده های جدید می باشد. در بحث سرعت میزان تولید و پردازش داده ها بسیار با اهمیت می باشد زیرا بر اساس آن می توان به نیازهای دیگران پاسخ داد. سرعت فاکتوری است که پتانسیل داده ها را نیز نمایش می دهد.  

Big data Velocity با منابع متفاوتی چون گزارش برنامه ها، فرآیندهای تجاری، شبکه ها، برنامه های مالی، حسگرها، تلفن های بیسیم و … در ارتباط است. در واقع جریان های داده عظیم و پیوسته ای وجود دارد که باید مانیتور شوند.  

تغییر پذیری دیتا

در این مبحث موضوع ناهماهنگی مدنظر قرار می گیرد. در بیگ دیتاها شما باید بتوانید توانایی مدیریت داده های مختلط را نیز داشته باشید. اگر به موضوع مذکور دقت نشود، این امکان وجود دارد که بررسی و پردازش داده ها مختل گردد.

مزایا پردازش بیگ دیتا

امروزه پردازش Big data در پایگاه های داده DBMS مزایای متعددی دارد که در زیر می توان به برخی از موارد اشاره نمود:

• اغلب فعالیت ها و کسب و کارها می توانند برای تصمیم گیری از این اطلاعات بهره مند شوند. در واقع با اطلاعاتی که موتورهای جستجو، فیس بوک، توییتر و … در پایگاه داده خود دارند می توانند بهترین تصمیم را اخذ کرد.
• بیگ دیتا ها باعث می شوند تا نحوه خدمات به مشتری ها بهبود داده شود. امروزه سیستم های سنتی از بازخورد مشتری در برابر بیگ دیتا ها و فناوری جدید استفاده می نمایند تا بهترین پاسخ را ارائه دهند. با پردازش زبان طبیعی و اطلاعاتی که در این حوزه وجود دارد می توان بهترین ارزیابی را از رفتار مشتری داشت.
• شناسایی سریع و زود هنگام خطر
• بهره وری بیشتر و بهتر

به صورت کلی می توان بیان نمود که بیگ دیتا یک منطقه امن برای داده هایی می باشد که قرار است بررسی شوند که آیا به انبار داده منتقل شوند یا پردازش گردند. اگر بتوان فناوری بیگ دیتا را با پایگاه داده ادغام نمود، در این صورت سرعت پردازش و بهره وری از اطلاعات بیشتر می شود.

خلاصه مطالب

• تعریف : Big data اگر به صورت تحت الفظی معنی شود به معنی داده ای است که حجم آن زیاد است. Big data در اصطلاح به مجموعه ای از داده های اطلاق می شود که اندازه آنها بسیار بزرگ است. از سوی دیگر حجم داده با گذشت زمان به صورت تصاعدی افزایش نیز می یابد.
• اطلاعات موجود در بورس، رسانه های اجتماعی و موتورهای جستجو تنها نمونه هایی از داده های بزرگ می باشند.
• بیگ دیتا ها می تواند در یکی از سه دسته 1) ساختاریافته، 2) بدون ساختار، 3) نیمه ساختاریافته تقسیم بندی شوند.
• حجم، تنوع، سرعت و متغیر بودن از جمله ویژگی هایی می باشند که برای تعریف بیگ دیتا باید در نظر گرفته شوند.
• بهبود نحوه ارائه خدمات به مشتری، بهره وری عملیاتی بیشتر، تصمیم گیری بهتر و سریع تر از جمله مزایای Big data هستند.