بیگ دیتا چیست؛ عملکرد، ویژگی‌ها، منابع و انواع تحلیل کلان داده

بیگ دیتا (Big Data) یا کلان داده به حجم بالایی از داده‌ها اطلاق می‌شود که هر روز نیز بر حجم آن افزوده می‌شود و می‌توان اطلاعات ارزشمندی را از میان این حجم داده استخراج کرد. در این مقاله شما را با نحوه کار بیگ دیتا، ویژگی‌ها، انواع تجزیه و تحلیل کلان داده، منابع و مثال‌های بیگ دیتا آشنا خواهیم کرد.

بیگ دیتا

بیگ دیتا یک اصطلاح تکاملی است که حجم زیادی از ساختار، داده‌های نیمه ساختار یافته و غیرساختاری را توضیف می‌کند. این داده‌ها پتانسیل آن را دارند که برای اطلاعات استخراج شوند و در پروژه‌های یادگیری ماشین و سایر برنامه‌های پیشرفته تجزیه و تحلیل استفاده شوند.

بیگ دیتا معمولا در مقابل سه موضوع مشخص می‌شود که عبارتند از: حجم شدید داده‌ها، طیف گسترده‌ای از انواع داده‌‌ها و سرعتی که داده‌ها باید پردازش شوند. این خصوصیات ابتدا توسط داگ لانی تحلیلگر گارتنر شناسایی و در سال 2001 در یک گزارش منتشر شد.

اخیرا نیز چندین مورد دیگر به توصیف‌های داده بزرگ اضافه شده است که از جمله آن‌ها: صداقت، ارزش و تنوع می‌باشد. اگرچه داده بزرگ با هر مقدار خاصی از داده‌ها معادل نیستند، اما این اصطلاح اغلب در تصیف ترابایت، الفاظ و حتی اگزابایت داده‌ها در طول زمان استفاده می‌شود.

بیگ دیتا چگونه کار می‌کند؟

بیگ دیتا را می‌توان به عنوان ساختار یافته و بدون ساختار طبقه‌بندی کرد. داده‌های ساختار یافته شامل اطلاعاتی است که سازمان در پایگاه داده‌ها مدیریت می‌کند و طیف گسترده‌ای دارد. این اطلاعات اغلب عددی هستند.

داده‌های غیرساختاری اطلاعاتی است که سازماندهی نشده و به یک مدل یا فرمت از پیش تعیین شده نمی‌رسد. این داده‌ها شامل اطلاعات جمع‌آوری شده از منابع رسانه‌های اجتماعی است که به موسسات کمک می‌کند تا اطلاعات مربوط به نیازهای مشتری را جمع‌آوری کنند.

3 مشخصه بیگ دیتا به طور سنتی عبارتند از: حجم یا مقدار داده‌ها، سرعتی که این داده‌ها جمع‌آوری شده است و انواع اطلاعات.

بیگ دیتا را می‌توان از طریق نظرات عمومی در شبکه‌های اجتماعی، وب‌سایت‌ها، اطلاعاتی که به صورت داوطلبانه از برنامه‌های شخصی و الکترونیک جمع‌آوری شده‌اند، از طریق پرسشنامه‌ها، خرید محصولات و چک‌های الکترونیکی جمع‌آوری کرد. حضور سنسورها و دیگر ورودی‌ها در دستگاه‌های هوشمند اجازه می‌دهد تا داده‌ها در طیف گسترده‌ای از شرایط و موقعیت‌ها جمع‌آوری شوند.

بیگ دیتا اغلب در پایگاه داده‌های کامپیوتری ذخیره می‌شود و یا با استفاده از نرم‌افزار به طور خاص برای دسته‌بندی مجموعه‌های داده‌های بزرگ و پیچیده مورد تجزیه و تحلیل قرا می‌گیرد. بسیاری از شرکت‌های نرم‌افزاری به عنوان یک سرویس در مدیریت این نوع داده‌های پیچیده تخصص دارند.

ویژگی‌های بیگ دیتا

حجم

ویژگی اصلی که یک داده را بزرگ می‌کند حجم منحصر به فرد آن است. به نظر می‌رسد تمرکز برروی حداقل واحدهای ذخیره‌سازی اهمیت زیادی ندارد، چراکه میزان کل اطلاعات هر سال در حال افزایش است. در سال 2010 Thomson Reuters در یک گزارش سالانه برآورد کرده است که جهان با بیش از 800 اکسایبایت از داده‌ها روبرو است و در حال رشد است. هیچ کس واقعا نمی‌داند که چه مقدار اطلاعات جدید تولید می‌شود اما میزان اطلاعات جمع‌آوری شده در هر سال بسیار زیاد است.

تنوع

تنوع یکی از جالب‌ترین تحولات در فناوری است، زیرا اطلاعات روز‌به‌روز بیشتر دیجیتالی می‌شوند. انواع داده‌های سنتی (داده‌های ساختاری) شامل مواردی مانند تاریخ، مقدار و زمان هستند که در یک بیانیه جمع‌آوری شده‌اند.

داده‌های ساختار یافته توسط داده‌های غیرساختاری افزوده و تکمیل شده است که شامل مواردی مانند فیدهای توییتر، فایل‌های صوتی، صفحات وب، تصاویر و غیره می‌شود.

داده‌های غیرساختاری یک مفهوم اساسی در داده‌های بزرگ است. بهترین راه برای تشخیص داده‌های غیرساختاری مقایسه آن با داده‌های ساختار یافته است. داده‌های ساختار یافته را  به عنوان داده‌هایی که در مجموعه‌ای از قوانین به خوبی تعریف شده‌اند در نظر بگیرید. به عنوان مثال پول همیشه عدد است و حداقل دو رقم اعشار دارد، نام‌ها به صورت متن بیان می‌شوند و تاریخ‌ها یک الگوی خاص را بیان می‌کنند.

صحت

صحت به اعتماد داده‌ها اشاره دارد. آیا یک مدیر می‌تواند بر این واقعیت تاکید کند که داده‌ها نماینده او هستند؟ هر مدیر خوب می‌داند که اختلافات ذاتی در تمام داده‌های جمع‌آوری شده وجود دارد.

سرعت

سرعت در اینجا به معنای سرعت فراخوانی داده‌های ورودی است که باید پردازش شود. تصور کنید در هر دقیقه از یک روز چند پیغام به روزرسانی فیس‌بوک و یا پیام‌های موجودی کارت‌های اعتباری از یک حامل مخابراتی خاص ارسال می‌شود. این‌‌ها همه نمونه سرعت بالا است.

ارزش

ممکن است به نظر برخی بسیار سخت برسد اما داشتن یک هدف واقعی برای این چهار پلتفرم بسیار مهم است. آیا شما بینشی را که از تجزیه و تحلیل یک خط تولید جدید، یک فرصت فروش متقابل یا یک اقدام کاهش هزینه بدست می‌آورید جمع‌آوری می‌کنید؟ یا اینکه تجزیه و تحلیل اطلاعات شما منجر به کشف یک اثر علمی می‌شود که در نتیجه باعث بهبود مشکل شما و سازمان شما خواهد شد؟

انواع تجزیه و تحلیل بیگ دیتا

۱.تجزیه و تحلیل پیش‌بینی داده‌ها

تجزیه و تحلیل پیش‌بینی شده ممکن است در دسته‌بندی متداول‌ترین تجزیه و تحلیل داده‌ها قرار گیرد که از آن برای شناسایی روند، همبستگی و علت استفاده می‌شود. این دسته‌بندی را می‌توان به مدل‌سازی پیش‌بینی شده و مدل‌سازی آماری تقسیم کرد. اما مهم است که بدانیم این دو واقعا همگام با هم کار می‌کنند.

بیایید نگاهی به یک تبلیغات در فیس‌بوک به عنوان مثال بیندازیم که برای محصولات پخته انجام می‌شود. مدل‌سازی آماری می‌تواند برای تعیین میزان هماهنگی نرخ تبدیل با یک منطقه جغرافیایی، مخاطبان هدف، مقیاس درآمد و منافع استفاده شود. در همینجا مدل‌سازی پیش‌بینی نیز می‌تواند  برای تجزیه و تحلیل آمار برای دو یا چند مخاطب مختلف هدف مورد استفاده قرار گیرد و مقادیر درآمد احتمالی برای هر جمعیت را برای شما مشخص کند.

۲.تجزیه و تحلیل توصیفی داده‌ها

تجزیه و تحلیل توصیفی داده‌ها جایی است که بیگ دیتا و AI در کنار هم برای کمک به پیش‌بینی نتایج و اقدام انجام شده قرار می‌گیرند. این دسته‌بندی از تجزیه و تحلیل را می‌توان بیشتر به بهینه‌سازی و آزمایش تصادفی تعبیر کرد. با استفاده از پیشرفت‌ها در یادگیری ماشین یا همان Machine learning، تجزیه و تحلیل توصیفی می‌تواند به پاسخ سوالاتی مانند «اگر این را امتحان کنیم چه می‌شود؟» و «بهترین عمل چیست؟» بدون صرف زمان در انجام آزمایش برای هر متغیر پاسخ دهد.

اساسا این تجزیه و تحلیل می‌تواند به شما کمک کند تا متغیرهای مناسب را آزمایش کنید و حتی به شما متغیرهای جدید برای تولید نتیجه مثبت بیشتر پیشنهاد می‌دهد.

۳.تجزیه و تحلیل تشخیصی داده‌ها

در  حالیکه تجزیه و تحلیل داده‌های گذشته مانند تجزیه و تحلیل داده‌های آینده جذاب نیست اما یکی از اهداف مهم در هدایت کسب‌وکار است. تجزیه و تحلیل داده‌های تشخیصی فرآیند بررسی داده‌ها برای درک دلیل و رویداد است و اینکه چرا چنین چیزی اتفاق افتاده است. تکنیک‌هایی مانند حفاری، کشف داده‎ها، داده کاوی و همبستگی‌ها اغلب در این نوع تجزیه و تحلیل استفاده می‌شود.

به طور خاص تجزیه و تحلیل داده‌های تشخیصی به ما کمک می‌کند که بفهمیم چرا یک اتفاق روی داده است. همانند سایر دسته‌بندی‌ها این نوع تجزیه و تحلیل را نیز به دو دسته خاص تقسیم می‌کنیم که شامل دسته‌بندی کشف و هشدار و دسته‌بندی پرس و جو و حفاری است. پرس و جوها و حفاری‌ها چیزی است که شما استفاده می‌کنید تا جزئیات بیشتری از یک گزارش بدست آورید. به عنوان مثال، در نظر بگیرید که یکی از بازخوردهای فروش شما در ماه گذشته به طور قابل توجهی کاهش یافته است. یک حفاری می‌تواند روزهای کاری کمتر را نشان دهد مثلا نشان دهد که ماهانه تعطیلات دو هفته‌ای را برای توضیح شیب استفاده کرده‌اند.

کشف و هشدار نیز می‌تواند برای اطلاع از یک مسئله بالقوه از قبل مورد استفاده قرار گیرد، و از قبل درمورد مسئله‌ای که می‌تواند منجر به فروپاشی در یک معامله برای شما شود هشدار دهد.

شما همچنین می‌توانید از تجزیه و تحلیل داده‌های تشخیصی برای کشف اطلاعاتی نظیر بهترین نامزد برای موقعیت جدید شرکت استفاده کنید.

۴.تجزیه و تحلیل توصیفی داده‌ها

تجزیه و تحلیل توصیفی مانند ستون فقرات یک گزارش است. بدون آن ممکن نیست که بتوانید ابزار BI و داشبورد را داشته باشید. این نوع تجزیه و تحلیل به شما پاسخ سوالات اساسی چه تعداد؟ چه وقت؟ کجا؟ و چه چیزی؟ را می‌دهد. این نوع تجزیه و تحلیل را نیز می‌توان به دو دسته تقسیم کرد: گزارش‌های متفرقه و گزارش‌های نگهداری شده. گزارش‌های نگهداری شده یا به اصطلاح کنسرو شده از قبل طراحی شده است و حاوی اطلاعات درمورد یک موضوع خاص می‌باشد.

۵ منبع بیگ دیتا

۱.رسانه به عنوان یک منبع بیگ دیتا

رسانه محبوب‌ترین منبع بیگ دیتا می‌باشد. زیرا بینش‌های ارزشمندی را درمورد تنظیمات مصرف‌کننده و تغییر روند ایجاد می‌کند. از آنجایی که این برنامه به صورت خودکار پخش می‌شود و از  تمام موانع فیزیکی و جمعیت شناختی عبو می‌کند سریع‌ترین راه برای دریافت نظرسنجی عمیق از مخاطبان خود توسط یک کسب‌وکار است. همچنین الگوها و نتیجه‌گیری را جلب می‌کند و قدرت تصمیم‌گیری را افزایش می‌دهد.

رسانه‌ها شامل رسانه‌های اجتماعی و سیستم عامل‌های تعاملی مانند گوگل، توییتر، فیس‌بوک، اینستاگرام و یوتیوب و همچنین رسانه‌های عمومی مانند تصاویر، فیلم‌ها، موزیک‌ها و پادکست‌ها هستند. این رسانه‌ها بینش کمی و کیفی در هر جنبه‌ای از تعامل با کاربر را ایجاد می‌کنند.

۲.ابر به عنوان یک منبع بیگ دیتا

امروزه شرکت‌ها با استفاده از تغییر داده‌های خود از طریق ابر از منابع داده سنتی پیشی گرفته‌اند. ذخیره‌سازی ابر اطلاعات ساختار یافته و بدون ساختاری را در اختیار شما قرار می‌دهد و با استفاده از اطلاعات در زمان واقعی و بینش‌های درخواستی کسب‌وکار را بهبود می‌بخشد. ویژگی اصلی محاسبات ابری انعطاف‌پذیری و مقیاس‌پذیری است.

۳.وب به عنوان یک منبع بیگ دیتا

وب‌های عمومی داده‌های بزرگی را تشکیل می‌دهند که گسترده و به راحتی قابل دسترس هستند. داده‌های وب یا اینترنت به طور معمول برای افراد و شرکت‌ها به طور یکسان در دسترس هستند. علاوه بر این خدمات وب مانند ویکی پدیا، یک بینش سریع و رایگان را برای همه فراهم می‌کند. گستردگی وب برای کاربردهای متنوع آن به خصوص برای استارت آپ‌ها و شرکت‌های تازه تاسیس مفید است زیرا آن‌ها مجبور نیستند منتظر بمانند تا زیرساخت‌های خود را توسعه دهند تا بتوانند از بیگ دیتا استفاده کنند.

۴.IOT یا اینترنت اشیا به عنوان یک منبع بیگ دیتا

محتوای تولید شده توسط یک دستگاه یا داده‌های ایجاد شده توسط اینترنت اشیا منابع ارزشمندی از بیگ دیتا را تشکیل می‌دهند. این داده‌ها معمولا از سنسورهایی که به دستگاه‌های الکترونیکی وصل شده‌اند تولید می‌شوند. ظرفیت ارزیابی بستگی به توانایی سنسورها برای ارائه اطلاعات دقیق در زمان واقعی دارد. اینترنت اشیا اکنون در حال افزایش است و شامل اطلاعات بزرگی است که نه تنها از رایانه‌ها و گوشی‌های هوشمند بلکه از هر دستگاهی می‌تواند منتشر شود. این داده‌ها از طریق دستگاه‌های پزشکی، وسایل نقلیه، بازی‌های ویدیویی، دوربین‌ها، لوازم خانگی و غیره می‌تواند منتشر شود.

۵.پایگاه داده به عنوان یک منبع بیگ دیتا

امروزه شرکت‌ها ترجیح می‌دهند از ادغام پایگاه‌های سنتی و مدرن برای بدست آوردن داده‌های مربوطه بزرگ استفاده کنند. این ادغام راه را برای یک مدل داده ترکیبی هموار می‌کند و نیاز به سرمایه‌گذاری کم و هزینه‌های زیربنایی کم فناوری اطلاعات است. علاوه بر این پایگاه داده‌ها برای اهداف چندگانه کسب‌وکار نیز مورد استفاده قرار می‌گیرد. این پایگاه داده می‌تواند برای استخراج بینش‌هایی استفاده شود که کسب‌وکار را به سمت سوددهی هدایت کند. محبوب‌ترین پایگاه‌های داده شامل انواع منابع داده مانند MS Access, DB2. Oracle, SQL. و Amazon simple است. فرایند استخراج و تجزیه و تحلیل داده‌ها در میان منابع گسترده داده‌های بزرگ یک فرایند پیچیده است و می‌تواند خسته‌کننده و وقت‌گیر باشد. این موارد را می‌توان حل کرد اگر سازمان‌ها تمام ملاحظات لازم را انجام دهند، منابع داده مربوط را در نظر بگیرند و آن‌ها را به گونه‌ای تنظیم کنند که با اهداف سازمان آن‌ها سازگار باشد.

مثال‌هایی برای بیگ دیتا

۱.بیگ دیتا کار فست‌فود‌ها را سریع‌تر می‌کند

اولین مثال برای بیگ دیتا ما فست‌فود است. اگر به فست‌فودهای مک‌دونالد و برگرکینگ بروید متوجه خواهید شد که یک صف طولانی در مقابل شما قرار دارد. انتظار مطمئنن برای شما سخت است و با خود فکر می‌کنید که باید مدت طولانی را در صف منتظر بمانید. در همین لحظه متوجه می‌شوید که این صف بسیار سریع‌تر از انتظار شما حرکت می‌کند و سریع نوبت به شما می‌رسد.

در پشت صحنه چه می‌گذرد؟

چیزی که ممکن است در پشت صحنه وجود داشته باشد و شما متوجه آن نشده باشید این است که بیگ دیتا به شما کمک کرده‌اند تا کمی زودتر سفارش خود را دریافت کنید. برخی از رستوران‌ها شماره مشتریان را در روی LCD روی صفحه قرار می‌دهند. در  اینجا اینگونه کار می‌کند که اگر صف واقعا پشتیبان‌گیری شده باشد ویژگی‌ها تغییر خواهد کرد تا مواردی را که می‌توانند به سرعت آماده کنند تغییر دهند تا روند حرکت صف سریع‌تر شود. اگر صف نسبتا کوتاه است در این صورت به ویژگی‌های حاشیه‌ای در منو بیشتر می‌پردازند که برای آماده‌سازی کمی بیشتر زمان می‌برد و این باعث می‌شود غذا سریع‌تر و سریع‌تر آماده شود.

۲.چک کردن گوشی‌های هوشمند

امروزه بسیاری از ما انسان‌ها به معنای واقعی به گوشی‌های خود چسبیده‌ایم. در حالیکه زمانی گوشی تلفن همراه تنها برای دریافت تماس‌ها و پیام‌های متنی اصلی طراحی شده بود اما امروز اساسا گوشی‌های همراه تبدیل به رایانه‌های مینیاتوری شده‌اند که روند پردازش جریان بیگ دیتا و شکستن موانع جغرافیایی را طی می‌کنند.

زمانی که شما به هتل می‌روید اغلب هیجان زده هستید که اتاق خود را چک کنید و از امکانات آن لذت ببرید و به آن سرک بکشید. اما برای استفاده از خدمات گاهی ممکن است مدت زمان زیادی را صرف صف‌های طولانی غذا شود. همچنین شما همیشه کابوس گم کردن کلید اتاق خود را دارید که می‌تواند ناخوشایند و پرهزینه باشد.

شما می‌توانید در هتل‌های هیلتون از گوشی‌های هوشمند خود به عنوان کلید خود استفاده کنید و همچنین از خدمات پیشخدمت و سایر خدمات از طریق یک برنامه تلفن همراه استفاده و سفارش خود را بدهید.

در پشت صحنه چه می‌گذرد؟

در سال 2017 برند  این هتل توانست خود را به 10 شاخه برجسته در انگلستان متصل کند و دلیل موفقیتش این نوآوری در سطح بین‌المللی بوده است. علاوه بر این تجربه مهمان نوازی هتل را نیز مستقل‌تر می‌کند و بینش‌ها و نظراتی که از طریق این برنامه جمع‌آوری شده است توانسته کیفیت ناهارخوری و نوشیدنی‌های هتل را نیز بالاتر ببرد.

این نمونه بزرگ اطلاعاتی در هتل هیلتون نشان می‌دهد که با درک قدرت اطلاعات و همچنین اتصال به دنیای دیجیتال امروز، می‌توان تجربه مشتری را تغییر داد. ما انتظار داریم که با این پیشرفت، هتل‌ها، بارها و رستوران‌های بیشتری در آینده از این فناوری استفاده کنند.