هوش تجاری (BI)
در فضای اطلاعاتی و رقابتی امروز، قدرت از آن سازمانی است که اطلاعات صحیح و به‌هنگام در اختیار دارد. آگاهی از تقاضای بازار، نیازمندی های مشتری، شرایط درونی پیرامون سازمان و تعیین منطقه کسب و کار از ملزومات مورد نیاز یک مدیر برای تصمیم‌گیری است و تنها هوش تجاری (BI) این امکان را برای وی فراهم می کند تا با درک صحیح از تغییرات مثبت یا منفی محیط، بهترین راه حل را اتخاذ کند. هوش تجاری این کار را از طریق سوق دادن سازمان‌ها به سوی توسعه شاخص‌های عملکردی در حوزه کسب و کار خود میسر می‌سازد. به‌طور خلاصه، مشکلاتی که سازمان‌های داده‌محور در این خصوص با آن مواجه‌اند در ادامه آورده شده است:
عدم دسترسی به اطلاعات بهنگام برای کنترل فرآیندها و عملیات
عدم امکان کنترل صحت داده‌های دریافتی از مجموعه‌ها و واحد‌های تابعه
عدم وجود اطلاعات یکپارچه و دقیق متأثر از عملکرد کسب‌وکار
سامانه ParsBI: معماری و لایه‌ها
سامانه BI پیشنهادی شرکت امن‌افزار گستر شریف با نام تجاری ParsBI خدمتی بومی به‌منظور مدیریت شامل جمع‌آوری، انبارش، تحلیل و بصری‌سازی کلان‌داده‌های یک کسب‌وکار با میزان تراکنش بالا به‌صورت توزیع‌شده و مقیاس‌پذیر به‌منظور ارائه گزارش‌های صحیح، کارآمد و تصمیم‌ساز در قالب داشبوردهای گرافیکی بهینه توسعه داده شده است. معماری عملکردی این سامانه شامل سه لایه اصلی
سامانه ParsBI: معماری و لایه‌ها
با توجه به وجود تعداد زیادی از منابع اطلاعاتی نظیر انواع پایگاه‌های داده، فایل‌های خام اطلاعاتی و نیز تراکنش‌های خدمات برخط و برون‌خط کسب‌وکار به‌عنوان مهم‌ترین مولد‌های داده مربوط به تراکنش‌های کسب‌وکار در ابعاد مختلف، لازم است تا پس از شناسایی منابع داده‌ای اصلی کسب‌وکار، زیر ساخت موردنیاز برای دریافت داده‌های خام تهیه و فراهم گردد.
لایه پردازش و مدل‌سازی داده
در سامانه ParsBI عملیات ETL و پردازش داده‌های خام به‌منظور ایجاد فراداده‌ها برای پاسخگویی به KPIها صورت می‌گیرد. برای بیشتر انواع منابع داده‌ای، زمانی که داده‌ها از منابع مختلف وارد سازمان می‌شوند پیش از آن که قابل نمایش و استفاده توسط کاربر نهایی باشند بایستی عملیات پاکسازی، قالب‌بندی و پیش‌پردازش بر روی آن‌ها صورت گیرد. از پردازش داده‌های خام و پاکسازی شده در قالب عملیات استخراج، تبدیل و بارگذاری (ETL) که قلب تپنده یک سیستم BI می‌باشد، مدل داده‌ای و انباره داده مورد نیاز برای استفاده‌های بعدی شکل می‌گیرد.
لایه دسترسی و بصری‌سازی نتایج
در مقایسه با پردازش داده‌ها، دسترسی به دانش تولیدی توسط کاربران نهایی سامانه اهمیت بسیار زیادی دارد. نحوه دسترسی به داده‌ها بایستی کاملا ساده و قابل فهم باشد؛ چرا که اطلاعات نهایی به دست آمده توسط تعداد زیادی از کاربران به صورت مکرر مورد دسترسی قرار می‌گیرند و همچنین بایستی امکان دسترسی و خواندن تنها بخشی از داده‌ها را به جای کل داده‌های تولید شده فراهم باشد. سامانه ParsBI از انواع چارت‌ها و نمودارهای بصری‌سازی تحلیل داده (خطی یا قالبی، دایره‌ای، پراکندگی، نقشه، سه بعدی، جدول، درختی و …) برای این ایجاد داشبوردهای مدیریتی کارا و مؤثر برخوردار است.
پردازش کلان‌داده (Big Data) در ParsBI
در رویکردهای مدرن تحلیل داده (و البته راه‌کارهای مبتنی بر هوش تجاری) با توجه به حجم زیاد داده‌های تولیدی توسط سامانه‌های عملیاتی مختلف کسب‌وکار، مفهوم ETL جای خود را به مفهوم ELT داده است. هر دو رویکرد ETL و ELT یک نیازمندی را برطرف می‌نمایند و آن جمع‌آوری، پردازش و تحلیل میلیون‌ها داده و رویداد تولیدی توسط تراکنش‌های مختلف کسب‌وکار می‌باشد. برای این کار نیاز است تا داده‌های پاکسازی و مدل‌سازی شده و پردازش شده تا اطلاعات معنی‌داری از آن‌ها استخراج گردد. نکته مهم در این دو رویکرد در چگونگی انجام این گام‌های اصلی E، T و L است که سبب شکل‌گیری رویکردهای مدرن تحلیل داده شده است. در واقع در ETL داده‌های خام فارغ از هر نوع قالبی در دریاچه داده ذخیره شده و تنها در مواقع نیاز، در زمان اجرا بر اساس پرس‌وجوهای صورت گرفته، نتیجه حاصل از آن‌ها تولید و تحویل لایه کاربرد می‌گردد. سامانه ParsBI بر اساس پشته فن‌آوری Big Data قادر به ارائه راه‌کارهای BI و تحلیل داده نیز می‌باشد که برای این منظور برخی از مهم‌ترین فن‌آوری‌‌های مورد استفاده عبارتند از:
- Hadoop Distributed File System
- Elasticsearch
- Apache Kafka
- Apache HBASE
- Apache Spark
- Apache Flume
- Parquet Data Format
متدولوژی ParsBI و فرآیندهای آن
متدولوژی ParsBI برای پیاده‌سازی یک راه‌کار هوش تجاری بر سه اصل اولیه استوار است:
- تمرکز بر افزودن ارزش کسب و کار در کل سازمان است.
- داده ها در قالب مدل ابعادی و از طریق گزارشات و پرس‌وجوها به صاحبان کسب و کار ارائه می‌شوند.
- راه‌حل در نظر گرفته شده به صورت تکرارشونده در قالب چرخه‌های توسعه‌ای قابل مدیریت توسعه می‌یابد.
- متدولوژی ParsBI شامل دو فرآیند اصلی زیر است:
فرآیند شناسایی و مدیریت شاخص‌های کلیدی عملکرد (KPI):
در سازمان‌های مختلف معمولاً تغییر خط‌مشی‌های کلی کسب‌وکار و اسناد چشم‌انداز بالادستی از یک طرف و از سوی دیگر پویایی سازمان‌ها در حوزه منابع انسانی به‌ویژه سطوح بالای مدیریتی، باعث ایجاد تغییرات در عملکرد سازمان می‌شود. در چنین شرایطی KPIها نقش تعیین‌کننده‌ای در جهت رصد و پایش وضعیت کسب‌وکار ایفا می‌نمایند. شرکت امن‌افزار گستر شریف در طول اجرای پروژه ParsBI در یک سازمان، در نخستین گام به شناخت کسب‌وکار و تبیین KPIها پرداخته که برای این منظور از یک چرخه استاندارد برای شناسایی و مدیریت KPIهای کسب‌وکار استفاده می‌نماید.
فرآیند توسعه:
این فرآیند بر اساس رویکرد Kimball است که شامل سه مسیر موازی تکنولوژی، داده و هوش تجاری طراحی، اجرا و پیاده‌سازی می‌باشد. در یک مسیر تکنولوژی‌ها، منابع داده‌ای و ابرداده‌های مرتبط فراوانی با یکدیگر تجمیع می‌شوند. در مسیر داده طراحی مدل ابعادی هدف برای برطرف کردن نیازمندی های کسب و کار انجام می‌شود. در مسیر هوش تجاری نیز به‌صورت همزمان به شناسایی و ساخت گستره وسیعی از برنامه های BI شامل گزارشات استاندارد شده، پرس‌وجوهای دارای پارامتر، داشبوردها، کارت‌های امتیاز، مدل‌های تحلیلی و برنامه‌های داده‌کاوی پرداخته می‌شود.
شناسایی و جمع‌آوری داده
• قابلیت دسترسی به منابع داده بیرون سازمان و دریافت آن‌ها
• پشتیبانی از انواع منابع ایستا و یا جریانی داده
• پشتیبانی از ورود اطلاعات به‌صورت دستی توسط کاربران و ورود آن به سامانه
• یکپارچگی و جامعیت داده در سطح کل منابع داده
• پشتیبانی از انواع روش‌های دریافت داده نظیر دستی/API/وب‌سرویس
• تضمین ارسال صحیح داده و عدم فقدان آن‌ها
• تضمین کیفیت در فرآیند جمع‌آوری داده
• قابلیت پایش و ردگیری فرآیند انتقال داده به کمک ابزارهای مانیتورینگ
• تحمل‌پذیری در برابر خطا و مقیاس‌پذیری بسیار بالا
• پشتیبانی از انواع قالب‌های فایل استاندارد به‌عنوان ورودی نظیر txt، xml، csv و xlsx
• پشتیبانی از انواع پایگاه‌های داده‌ای رابطه‌ای (SQL) نظیر Access، Microsoft SQL Server، Oracle، MySQL، PostgreSQL و غیر رابطه‌ای (NoSQL) نظیر MongoDB، HBase، Cassandra و Neo4J
• کارایی بالا و تأخیر بسیار کم
• مستندات و راهنمای کاربری قوی
• تنظیم و استقرار راحت
• هزینه‌های پایین استقرار و نگهداری
تحلیل و پردازش داده
• کارایی و سرعت پردازشی بسیار بالا
• توانایی پردازش اطلاعات در مقیاس کلان داده‌ها
• بازده بالا در استفاده از حافظه‌ی اصلی
• انعطاف بالا و سادگی بیشتر در طراحی و توسعه برنامه‌ها
• تعریف شاخص‌های عملکرد کلیدی (KPIs) و تحلیل نیازمندی‌های کسب‌وکار بر اساس آن‌ها و ارائه گزارش
• قابلیت تعریف شناسنامه برای هر KPI شامل جزئیات مختلف آن
• پشتیبانی از تحلیلهای داده پیشرفته مبتنی بر الگوریتم‌های هوش مصنوعی، یادگیری ماشین، داده‌کاوی و پردازش گراف
• امکان انجام تحلیلهای خوشه‌بندی، طبقه‌بندی و پیش‌بینی بر روی داده‌ها
• پشتیبانی از پردازش بلادرنگ بر روی داده‌های جریانی دریافتی
• عدم وابستگی سامانه به یک سخت‌افزار و یا سیستم‌عامل مشخص
تحلیل و پردازش داده
• پایش سلامت تجهیزات سخت‌افزاری و اندازه‌گیری KPI منابع سخت‌افزاری
• اتصال به سامانه CRM جهت تولید اتوماتیک Ticket در صورت نیاز به پشتیبانی
• امکان دسترس‌پذیری بالا (High Availability)
• کشف و جلوگیری از انتشار خطاهای برنامه بر اساس به‌روزترین آسیب‌پذیری‌های گزارش شده
• برخورداری از مكانيزم‌های مناسب و دقیق برای بازگرداندن سامانه به زمان قبل از خطا و بازنشانی کلیه اطلاعات و داده‌ها
• امکان كنترل سطوح دسترسی به گزارشات (قابلیت یا کارکرد)
• امکان كنترل سطوح دسترسی در فعالیت‌های كاربر در سامانه (ساخت گزارشات، ديدن گزارشات و غیره)
• امکان ايجاد اعتبارسنجی كاربر مبتنی بر سامانه‌های مختلف اعتبارسنجی نظیر Database، LDAP، Active Directory و جلوگیری از نشت اطلاعات و داده‌های حساس
پردازش و مدل‌سازی داده
• تشکیل دریاچه داده‌ها و تجمیع داده‌ها بر اساس عملیات ETL
• واکشی و انتقال داده‌های بانک‌های اطلاعاتی مبدأ در بازه‌های زمانی مختلف نظیر، دقیقه، ساعت، روز
• قابلیت DRILL DOWN تا پایین‌ترین سطح و ROLL UP
• طراحی فیزیکی، منطقی و مفهومی دریاچه داده‌ها به‌صورت Subject-oriented
• طراحی موضوع محور جداول فراداده‌ها در انباره داده مبتنی بر نیازهای کسب‌وکار
• تحمل‌پذیری در برابر خطا و عدم فقدان داده‌ها
• دسترس‌پذیری و قابلیت اطمینان بسیار بالا به میزان بالاتر از 95 درصد
• قابلیت تکثیر و پشتیبان‌گیری از اطلاعات
• توسعه‌پذیری و مقیاس‌پذیری بالا
• پشتیبانی از تمهیدات امنیتی نظیر رمزگذاری داده‌های حساس در انباره داده
• در نظر گرفتن رویه‌های Performance & Tuning در طراحی انباره داده
بصری‌سازی و کاربری سامانه
• امکان تولید و ارائه گزارشات تحلیلی و هوشمند مبتنی بر وب
• سازگاری با آخرین نسخه‌های مرورگرهای استاندارد نظیر Firefox، IE و Chrome
• امکان ایجاد گزارشات و داشبوردهای مدیریتی توسط متخصصین BI در سطوح مدیریتی مختلف
• عدم محدودیت تعداد کاربران جهت استفاده از سامانه
• کنترل سطح دسترسی به گزارشات تولید شده مطابق با نقش‌های تعریف شده
• قابلیت خودکارسازی فرآیند تولید گزارش‌ها در زمان‌های از پیش مشخص شده
• آرشیو گزارشات
• امکان اخذ گزارش به مقاطع زمانی گذشته مطابق با استفاده از آرشیو اطلاعات پایه
• برخورداری از امکانات جست‌وجو در گزارش‌های سامانه و داده‌های خام
• استفاده از امکان Caching جهت بهبود عملکرد و زمان تولید گزارش‌ها
• امکان تولید خروجی‌های گزارشات در قالب‌های مختلف نظیر csv، rtf، doc، pdf، png و xlsx
• امكان قرار دادن نظر براي گزارش‌های داشبورد مدیریتی و امکان رؤیت آن‌ها برای سایر کاربران در سازمان‌ها و نهادهای خارجی
• امکان فراهم کردن چیدمان‌های دلخواه برای گزارش‌ها در داشبورد مدیریتی
• امکان زمان‌بندی خودکار جهت تولید و ارسال گزارش از طریق ایمیل یا پیامک
• امکان پشتیبانی از زبان فارسی در واسط کاربری
• امکان پشتیبانی از تاریخ شمسی
• قابلیت مصورسازی داده با نماهای مختلف تحلیلی، آماری و مقایسه‌ای
• ایجاد رابط کاربرپسند بر اساس یک رویه و الگوی واحد در کلیه واسط‌های کاربری
• قابل استقرار بر روی سکوهای Windows و Linux
• قابلیت‌های پیشرفته و قدرتمند گزارش‌سازی در قالب‌های گرافیکی و نموداری
• امکان ارايه داشبوردها و تحلیل‌ها در مرورگرها در بستر دستگاه‌های هوشمند نظیر موبايل و تبلت
• امکان یکپارچه‌سازی و اتصال سامانه به سامانه‌های بیرونی از طريق وب سرويس
• پردازش تحلیلی برخط OLAP