اسپلانک Knowledge Objects: چارت زمانی، مدلهای داده و هشدارها
در مقاله قبلی وبلاگ ساینت در مورد معماری اسپلانک، مولفههای مختلف و نحوه کار اسپلانک صحبت کردیم. در این مقاله، ما به ارتباط اسپلانک knowledge objects و نقشی که آنها در ایجاد کارایی عملیاتی برای کسب و کار شما دارند، می پردازیم. در این مقاله ۳ مورد knowledge objects را توضیح می دهیم: Splunk Timechart، مدل های داده و هشدارها.
برای دریافت ایده در مورد نحوه کار اسپلانک knowledge objects به تصویر زیر نگاه کنید.
داده ها ابتدا در indexer ذخیره می شوند و سپس می توانید پرس و جوهای جستجو را بنویسید و عملیات مختلفی را روی دادهها انجام دهید. شما می توانید اسپلانک knowledge objects ها را تنظیم کنید تا عملیات هوشمندتر شود و اطلاعات را به سیستم خود بیاورید. این knowledge objects ها رویدادهای شما را رصد می کنند و در صورت بروز برخی شرایط اعلان می دهند. این نتایج را می توان با ایجاد گزارشها و نمودارهای زمانی جمع بندی و تجسم کرد. به طور خلاصه، knowledge objects در قلب غنی سازی دادههای شما و ایجاد هوش عملیاتی به کار می روند.
اسپلانک knowledge objects مولفه ای تعریف شده توسط کاربر هستند که برای استخراج دانش از داده های موجود یا زمان اجرا به منظور غنی سازی داده ها استفاده می شوند.
انواع اسپلانک knowledge objects
بنابراین، بیایید با اولین اسپلانک knowledge objects یعنی Splunk Timechart شروع کنیم.
Splunk Timechart
بگذارید همه چیز راجع به Splunk Timechart و مکان استفاده از آنها را توضیح دهیم. به عنوان مثال: فرض کنید شما مقدار زیادی داده دارید و باید تعداد فروش و درآمد حاصل از آن را به صورت ماهانه برای یک زنجیره پوشاک بین المللی اندازه بگیرید. از Splunk Timechart می توان برای تجزیه و تحلیل استفاده کرد که آیا معیارهای عملکرد (فروش و درآمد در این مورد) با گذشت زمان روند افزایشی یا کاهشی داشته است.
Splunk Timechart به تجسم هر داده با توجه به زمان اشاره دارد.
در Timechart، دادهها به صورت نمودارهای خطی، منطقه ای یا ستونی نمایش داده می شوند که در برابر محور x رسم شده اند که همیشه یک محور زمانی است، در حالی که محور y فیلد متغیر است.
برای مثال فوق، اگر مجبور باشیم ماهنامه Timechart را برای هر دو شماره فروش و درآمد یک زنجیره پوشاک ایجاد کنیم ، می توانیم فروش و درآمد را بر روی محور y و زمان را بر روی محور x ترسیم کنیم. تجسم Splunk Timechart به صورت زیر است:
Splunk Timechart اغلب با دستورات Stats و Chart مقایسه می شود. ساختار اساسی بین سه دستور کاملاً متفاوت است، می توانید به جدولی مراجعه کنید که تفاوت بین آنها را توضیح می دهد.
Stats | Chart | Timechart |
Stats یک دستور گزارش است که برای ارائه داده ها در قالب جدول استفاده می شود. | نمودار داده ها را به صورت نمودار میله ای، خطی یا منطقه ای نمایش می دهد. همچنین قابلیت تولید نمودار پای را فراهم می کند. | Timechart به شما امکان می دهد نمودارهای میله ای و خطی را مشاهده کنید. با این حال، نمودارهای پای امکان پذیر نیست. |
در دستور Stats می توانید از چندین زمینه برای ساختن جدول استفاده کنید. | در نمودار، فقط ۲ قسمت را می توان استفاده کرد، هر قسمت به ترتیب در محور X و Y قرار دارد. | در Timechart فقط ۱ قسمت را می توان استفاده کرد، زیرا محور X به عنوان فیلد زمان ثابت شده است. |
اکنون، شما می دانید که چگونه می توان داده ها را با استفاده از Splunk Timechart تجسم کرد. در مرحله بعدی، بیایید یک knowledge object دیگر را بیاموزیم – Splunk Data Models. بگذارید به شما کمک کنم تا آن را به درستی درک کنید
مدلهای داده Splunk
تصور کنید که مقدار زیادی داده بدون ساختار برای کسب و کار شما حیاتی است و می خواهید بدون استفاده از پرس و جوهای جستجوی پیچیده راهی آسان برای دسترسی به این اطلاعات داشته باشید. این می تواند با استفاده از مدل های داده انجام شود زیرا داده های شما را به صورت طبقه بندی شده و سلسله مراتبی ارائه می دهد. مزایای اصلی مدل های داده عبارتند از:
به کاربران غیرتکنیکال کمک می کند تا از طریق رابط کاربری گرافیکی با داده ها ارتباط برقرار کنند زیرا مجبور نیستند که درخواست های جستجوی پیچیده را یاد بگیرند. Pivots نمایشی از مجموعه داده به صورت جداول، نمودارها یا هر نوع تجسم است. پس از ایجاد یک pivot، می توانید آن را به عنوان یک گزارش یا صفحه داشبورد ذخیره کنید.
مدل های داده استفاده مجدد از دانش دامنه را آسان می کند.
از آنجا که درک Splunk Machine Analytics دشوار است، مدل های داده به ارائه یک روش ساختاری برای استفاده آسان از داده های پیچیده به شما کمک می کنند.
همانطور که از نام آن پیداست، مدلهای داده مدلهای متشکل از یک یا چند مجموعه داده هستند. مدل های داده در ایجاد ساختار داده های پیچیده به شما کمک می کنند و دید گسترده تری برای درک منبع، منطق و دانش دامنه ایجاد می کنند. این می تواند جستجوهای تخصصی را بر اساس مجموعه داده ها ایجاد کند. مدل های داده یکی از اشیا مهم knowledge objects در Splunk است زیرا سایر اسپلانک knowledge objects ها را برای ارائه نمایشی معنادار از داده های شما ترکیب می کند. مدل های داده ترکیبی از knowledge objects چندگانه دانش مانند جستجوها، انواع رویدادها، فیلدها و موارد دیگر هستند (به تصویر زیر مراجعه کنید).
ممکن است تاکنون درک کرده باشید که مدل های داده چیست و چگونه مفید هستند. همچنین باید از خود بپرسید که آیا می توانید مدل داده خود را تولید کنید؟ پاسخ مثبت است، شما می توانید یک مدل داده جدید طراحی کنید و همچنین مدل های موجود را ویرایش کنید. این کار را می توان با استفاده از Data Model Editor انجام داد. با این حال ، فقط کاربرانی که نقش مدیر یا Power را به آنها اختصاص داده اند می توانند مدل داده ایجاد کنند. سایر کاربران ابتدا باید مجوزهای خود را مدیریت کنند تا مدل داده ای ایجاد کنند.
بگذارید مرا در مراحل ایجاد مدل های داده پیگیری کنم:
مرحله ۱: به Settings-> Data Models بروید.
مرحله ۲: برای ایجاد مدل داده جدید ، روی “New Data Model” کلیک کنید.
مرحله ۳: یک عنوان را در مدل داده خود مشخص کنید. می توانید از هر کاراکتر در عنوان استفاده کنید، به جز ستاره. قسمت شناسه مدل داده به طور خودکار پر می شود زیرا یک شناسه منحصر به فرد است. این فقط می تواند شامل حروف، اعداد و زیرخط ها باشد. فاصله بین نویسه ها مجاز نیست.
مرحله ۴: برنامه ای را که در حال حاضر روی آن کار می کنید انتخاب کنید. به طور پیش فرض، “home” خواهد بود.
مرحله ۵: یک “توضیح” به مدل داده خود اضافه کنید.
مرحله ۶: روی «ایجاد» کلیک کنید و مدل داده جدید را در Data Model Editor ویرایش کنید. در زیر یک عکس از صفحه را ضمیمه کرده ام که به شما کمک می کند روش ایجاد یک مدل داده را درک کنید:
Splunk Use Case
بررسی یک پروژه: برای حل چالش Big Data Domino’s Pizza مدلهای داده ایجاد کنید.
Domino’s Pizza فروشگاه های زنجیره ای با فروش در ۸۱ کشور یکی از بزرگترین فروشگاه های زنجیره ای پیتزا در جهان است. اول از همه آیا می دانید چگونه آنها اطلاعات را در زمان واقعی از چندین نقطه لمسی جمع آوری می کنند؟ ثانیاً، آنها چگونه داده های زمان واقعی را در سطح جهانی برای بهبود عملکرد مشتری خود بررسی می کنند؟
مدلهای داده در چنین سناریویی ایده آل هستند زیرا در سازماندهی و مدیریت دادههای عظیم به صورت ساخت یافته کمک می کنند.
برای مثال Domino’s ، یک فایل JSON برای مدل داده “Domino’s Data” برمی گرداند. این دارای شناسه مدل “Splunk Data Model Tutorial” است. اکنون ، بیایید نگاهی به چگونگی ساختار داده های مدل های داده بیندازیم:
* توجه: مثال داده های تبلیغاتی مورد استفاده ماهیتاً برای مثال است و ممکن است داده های موجود دقیق نباشند.
در این مثال، اگر داده های خام را به Splunk ارسال کنید، Data Model به شما کمک می کند تا ساختار را با نمایش آن در JSON ایجاد کنید.
همانطور که از تصویر بالا مشاهده می کنید، یک لیست نام شی وجود دارد که شامل پنج زیر مجموعه است: خطاهای مشتری، سفارشات ناموفق، سفارشات تلفنی، سفارشات وب سایت و پیشنهادهای تبلیغاتی.
زیر مجموعه اول، “خطاهای مشتری” شامل تمام داده های خطایی است که مشتریان هنگام پردازش سفارش با آن روبرو می شوند.
زیر مجموعه دوم، “سفارش ناموفق” شامل تمام داده های مربوط به سفارشات ناموفق است.
زیرمجموعه سوم، “سفارش تلفنی” شامل داده هایی است که از طریق تلفن پردازش می شوند. “سفارشات وب سایت” داده های سفارش داده شده از طریق وب سایت دومینو و معاملات “پیشنهادهای تبلیغاتی” زیر مجموعه پنجم را با کلیه کوپن ها و پیشنهادات Domino’s جمع آوری می کند.
از آنجا که مدل داده داده ها را به زیرمجموعه های مختلف تقسیم می کند ، داده های شما را برای کمک به تجزیه و تحلیل داده ها در قالب سلسله مراتبی وضوح می بخشد، در نتیجه Domino’s Big Data Challenge را حل می کند.
تا الان، شما درک کردید که چگونه می توان داده ها را با استفاده از Splunk Timechart تجسم و با استفاده از Data Models مدیریت کرد. در مرحله بعدی ، بگذارید یک knowledge object دیگر یعنی هشدار Splunk و نحوه استفاده از آن را توضیح دهیم.
هشدار Splunk
بیایید شرایطی را در نظر بگیریم که شما یک برنامه real-time دارید که باید همواره فعال باشد. در صورت خرابی یا خطایی در حین انجام عملیات، باید بلافاصله مشکل شناسایی و برطرف شود. اما از کجا متوجه خواهید شد که مشکلی پیش می آید؟ نمی توانید به صورت دستی جلوی سیستم خود بنشینید و وضعیت آن را ۲۴ × ۷ کنترل کنید. راه راحت این است که در صورت بروز اشتباه، فوراً مطلع شوید. این جایی است که Splunk Alerts می تواند به شما کمک کند.
- هشدارها برای نظارت بر رویدادهای شما و انجام اقداماتی در صورت بروز شرایط از پیش تعیین شده استفاده می شوند.
- هشدارها براساس نتایج جستجو و شرایط تعریف شده توسط کاربر فعال می شوند.
- هشدارها از جستجوهای ذخیره شده برای جستجوی رویدادها در زمان واقعی یا در یک زمان مشخص استفاده می کنند.
مجموعه ای از اقدامات هشدار دهنده وجود دارد که به شما کمک می کند اعلان های مربوط به یک رویداد خاص را دریافت کنید. اقدام هشدار به واکنشی گفته می شود که هنگام شروع هشدار رخ می دهد. برخی از اقدامات اصلی هشدار عبارتند از:
- اعلان های ایمیل: برای گیرندگان مشخص شده یک اعلان ایمیل ارسال کنید
- اجرای اسکریپت ها: اسکریپت سفارشی را فراخوانی کنید
- ارسال رویدادهای گزارش: ارسال رویداد گزارش به نقطه پایانی گیرنده Splunk
- Webhook: ارسال عمومی HTTP به یک URL مشخص.
اکنون که یک ایده اساسی در مورد اینکه هشدار Splunk چیست و چگونه کار می کند، دارید، اجازه دهید بیشتر ادامه دهیم و انواع مختلف هشدارها و زمان استفاده از آنها را لیست کنم:
در تصویر بالا می بینید که دو نوع هشدار وجود دارد: هشدار برنامه ریزی شده و هشدار Real-time. همچنین ، هشدارهای Real-time بیشتر به هشدارهای نتیجه پنجره و نورد طبقه بندی می شوند. نگران نباشید، هر یک را با جزئیات توضیح خواهیم داد. ابتدا بیایید با هشدار برنامه ریزی شده شروع کنیم:
هشدار برنامه ریزی شده: فرض کنید شما در یک شرکت خرده فروشی کار می کنید و باید در پایان روز از وضعیت فروش مطلع شوید، می توانید یک هشدار برنامه ریزی شده ایجاد کنید که کل فروش را در ساعت ۱۲ صبح هر روز به شما اطلاع دهد. این نوع هشدار را می توان هر زمان که نیاز به پاسخ فوری به یک رویداد نداشته باشد، استفاده کرد.
هشدار در زمان واقعی: هر زمان که نیاز به پاسخ فوری به یک رویداد باشد، از این نوع هشدار استفاده می شود. همانطور که قبلاً اشاره کردم، هشدارهای زمان واقعی بیشتر به هشدارهای نتیجه و هشدارهای پنجره متحرک طبقه بندی می شوند که در زیر توضیح داده شده اند:
هشدار نتیجه محور: اجازه دهید یک سناریو را در نظر بگیریم که مدیر وب سایت شبکه بخواهد هر زمان وب سایت از کار افتاد با خطای “۵۰۰” بداند. در اینجا، مدیر می تواند شرایط محرک نتیجه را انتخاب کند تا بتوان هر تلاش ناموفق را ردیابی کرد.
هر زمان که جستجو نتیجه ای را مطابقت می دهد که با شرایط جستجو مطابقت داشته باشد، می توانید از نوع هشدار نتیجه محور استفاده کنید.
هشدار پنجره غلتکی: تصور کنید که باید هشدار ایجاد کنید که اگر فرد در مدت ۱۵ دقیقه ۵ بار تلاش ورود به سیستم ناموفق داشته باشد، به شما اطلاع می دهد. این کار را می توان با استفاده از این هشدار در زمان واقعی با تحریک پنجره زمان چرخش انجام داد. این برای نظارت بر نتایج در یک بازه زمانی خاص مانند هر ۳۰ دقیقه یا ۱ ساعت هر زمان که با شرایط جستجو مطابقت دارد استفاده می شود.
اکنون که انواع مختلف هشدارها را شناختید، باید از خود بپرسید که چگونه می توان هشدار ایجاد کرد.
بگذارید بگوییم هر زمان که تعداد ارورهای سرور در یک میزبان وب به طور غیرمعمول زیاد باشد هشدار می خواهید.
برای این نوع سناریوها، می توانید مراحل زیر را برای ایجاد هشدار دنبال کنید:
مرحله ۱: Splunk Enterprise خود را باز کنید و یک شرایط جستجو بنویسید که به عنوان هشدار می خواهید.
در سناریوی فوق، می توانید پرس و جو جستجوی زیر را برای تنظیم هشدار ذخیره کنید:
sourcetype=access_combined status>=500
مرحله ۲: پس از نوشتن درخواست جستجو، هنگامی که بر روی دکمه “ذخیره به عنوان” کلیک می کنید، از شما یک سری والات مانند عنوان هشدار، توضیحات، نوع، مجوز و برخی موارد دیگر سوال می شود.
شما می توانید از برنامه cron استفاده کنید که این روند را ساده و انعطاف پذیری را برای انجام کار در هر زمان از زمان به ارمغان می آورد. با استفاده از برخی پارامترهای cron مربوط به دقیقه ، ساعت ، روز ماه ، ماه و روز هفته می توان این کار را انجام داد. ما برای سفارشی کردن یک برنامه از عبارت cron استفاده می کنیم.
مثلا:
* / ۵ **** – برای هر ۵ دقیقه
* / ۳۰ **** – برای هر ۳۰ دقیقه
۰ * / ۱۲ *** – هر ۱۲ ساعت ، هر ساعت
۰ * / ۲۰ *** – هر ۲۰ دقیقه ، دوشنبه تا جمعه.
۰ ۹ ۱-۷ * ۱- اولین دوشنبه هر ماه، ساعت ۹ صبح.
در زیر، یک عکس از صفحه را ضمیمه کرده ام که به شما کمک می کند روش ایجاد هشدار را درک کنید:
در این مقاله من سه مورد اسپلانک knowledge objects را که مربوط به اطلاع رسانی و تجسم داده ها هستند توضیح دادیم. امیدوارم از خواندن این مقاله لذت برده باشید. منتظر مقالات بعدی من در زمینه اسپلانک باشید!
مطالب زیر را حتما بخوانید
-
تحلیل لاگ (Log Analysis) چیست؟ و چگونه به امنیت شما کمک میکند
77 بازدید
-
Sysmon چیست و چگونه در جمع آوری لاگ به شما کمک میکند
1.53k بازدید
-
مدرک اسپلانک
3.06k بازدید
-
سوالات مصاحبه اسپلانک
2.51k بازدید
-
نرم افزار SIEM چیست؟ این ابزار قدرتمند چگونه به امنیت شما کمک می کند
4.47k بازدید
-
اسپلانک API چیست؟ و چگونه به کسب و کار شما کمک می کند
1.37k بازدید
دیدگاهتان را بنویسید
برای نوشتن دیدگاه باید وارد بشوید.