البرنامج التعليمي ELK Stack: ما هو Kibana، Logstash والبحث المرن؟

• E لتقف على ElasticSearch: تستخدم لتخزين السجلات
• L تعني LogStash: تستخدم للشحن وكذلك لمعالجة وتخزين السجلات
• K لتقف على كيبانا: هو أداة التصور (واجهة ويب) تتم استضافتها من خلال Nginx أو Apache

تم تطوير ElasticSearch وLogStash وKibana وإدارتها وصيانتها بواسطة شركة تدعى Elastic.

تم تصميم ELK Stack للسماح للمستخدمين بأخذ البيانات من أي مصدر وبأي تنسيق والبحث عن تلك البيانات وتحليلها وتصورها في الوقت الفعلي.

إلك ستاك Architecture

الآن في هذا البرنامج التعليمي الخاص بمجموعة ELK، سنتعلم عن بنية ELK:

فيما يلي الهندسة المعمارية البسيطة لمجموعة ELK

• السجلات: يتم تحديد سجلات الخادم التي تحتاج إلى تحليل
• Logstash: جمع السجلات وبيانات الأحداث. حتى أنه يوزع البيانات ويحولها
• البحث المرن: البيانات المحولة من Logstash is تخزين، بحث، وفهرستها.
• كيبانا: يستخدم Kibana قاعدة بيانات Elasticsearch DB للاستكشاف والتصور والمشاركة

ومع ذلك، هناك حاجة إلى مكون آخر أو جمع البيانات يسمى Beats. أدى هذا إلى إعادة تسمية Elastic إلى ELK باسم Elastic Stack.

عند التعامل مع كميات كبيرة جدًا من البيانات، قد تحتاج إلى Kafka وRabbitMQ للتخزين المؤقت والمرونة. وللأمان، يمكن استخدام nginx.

الآن في هذا البرنامج التعليمي للمكدس المرن، دعونا نتعمق في كل هذه المنتجات مفتوحة المصدر:

ما هو Elasticsearch؟

البحث المرن هو أ قاعدة بيانات NoSQL. يعتمد على محرك بحث Lucene، وهو مصمم باستخدام RESTful APIS. فهو يوفر نشرًا بسيطًا وأقصى قدر من الموثوقية وإدارة سهلة. كما يقدم أيضًا استعلامات متقدمة لإجراء تحليل التفاصيل وتخزين جميع البيانات مركزيًا. من المفيد إجراء بحث سريع للمستندات.

يتيح لك Elasticsearch أيضًا تخزين كميات كبيرة من البيانات والبحث عنها وتحليلها. ويُستخدم في الغالب كمحرك أساسي لتشغيل التطبيقات التي تكمل متطلبات البحث. وقد تم اعتماده في منصات محركات البحث للتطبيقات الحديثة على الويب والجوال. وبصرف النظر عن البحث السريع، توفر الأداة أيضًا تحليلات معقدة والعديد من الميزات المتقدمة.

مميزات البحث المرن

• تتم كتابة خادم بحث مفتوح المصدر باستخدام Java
• يستخدم لفهرسة أي نوع من البيانات غير المتجانسة
• يحتوي على واجهة ويب REST API مع مخرجات JSON
• بحث النص الكامل
• البحث في الوقت الحقيقي القريب (NRT).
• مخزن مستندات JSON مقسم ومكرر وقابل للبحث
• مخزن مستندات موزع خالٍ من المخططات ومعتمد على REST وJSON
• متعدد اللغات ودعم تحديد الموقع الجغرافي

مزايا البحث المرن

• قم بتخزين بيانات بدون مخطط وقم أيضًا بإنشاء مخطط لبياناتك
• تعامل مع سجل البيانات الخاص بك عن طريق السجل بمساعدة واجهات برمجة التطبيقات متعددة المستندات
• قم بإجراء التصفية والاستعلام عن بياناتك للحصول على رؤى
• مبني على Apache Lucene ويوفر RESTful API
• يوفر قابلية التوسع الأفقي والموثوقية والقدرة على تعدد المستأجرين لاستخدام الفهرسة في الوقت الفعلي لجعل البحث أسرع
• يساعدك على التوسع عموديا وأفقيا

المصطلحات المهمة المستخدمة في البحث المرن

الآن في هذا البرنامج التعليمي ELK، دعنا نتعرف على المصطلحات الأساسية المستخدمة في ElasticSearch:

مصطلح	الأستعمال
Cluster	المجموعة هي مجموعة من العقد التي تجمع البيانات معًا وتوفر إمكانيات الفهرسة والبحث المشتركة.
العقدة	العقدة هي مثيل Elasticsearch. يتم إنشاؤه عندما يبدأ مثيل Elasticsearch.
فهرس	الفهرس عبارة عن مجموعة من المستندات التي لها خصائص متشابهة، مثل بيانات العملاء وكتالوج المنتجات. وهو مفيد للغاية أثناء إجراء عمليات الفهرسة والبحث والتحديث والحذف. فهو يسمح لك بتحديد عدد كبير من الفهارس في مجموعة واحدة.
وثيقة	وهي الوحدة الأساسية للمعلومات التي يمكن فهرستها. يتم التعبير عنها بزوج JSON (المفتاح: القيمة). '{"المستخدم": "nullcon"}'. يرتبط كل مستند بنوع ومعرف فريد.
قشرة	يمكن تقسيم كل مؤشر إلى عدة شظايا حتى يمكن توزيع البيانات. والشظية هي الجزء الذري من المؤشر، والذي يمكن توزيعه على المجموعة إذا كنت تريد إضافة المزيد من العقد.

ما هي تفاصيل Logstash?

Logstash هي أداة خط أنابيب جمع البيانات. يقوم بجمع مدخلات البيانات ويغذيها في Elasticsearch. فهو يجمع جميع أنواع البيانات من مصادر مختلفة ويجعلها متاحة لمزيد من الاستخدام.

Logstash يمكن توحيد البيانات من مصادر متباينة وتطبيع البيانات إلى الوجهات المطلوبة. فهو يسمح لك بتنقية جميع بياناتك وإضفاء الطابع الديمقراطي عليها من أجل التحليلات وتصور حالات الاستخدام.

يتكون من ثلاثة مكونات:

• إدخال: تمرير السجلات لمعالجتها بتنسيق يمكن فهمه بواسطة الآلة
• فلتر: هي مجموعة من الشروط للقيام بفعل أو حدث معين
• الناتج: صانع القرار للحدث أو السجل المعالج

ميزات Logstash

الآن في هذا البرنامج التعليمي LogStash، دعنا نتعلم المزيد عن ميزات LogStash:

• يتم تمرير الأحداث خلال كل مرحلة باستخدام قوائم الانتظار الداخلية
• يسمح بإدخالات مختلفة لسجلاتك
• تصفية/تحليل السجلات الخاصة بك

ميزة ال Logstash

• عروض مركزية معالجة البيانات
• يقوم بتحليل مجموعة كبيرة ومتنوعة من البيانات والأحداث المنظمة وغير المنظمة
• توفر ELK LogStash مكونات إضافية للاتصال بأنواع مختلفة من مصادر الإدخال والمنصات

ما هو كيبانا؟

Kibana عبارة عن أداة لتصور البيانات تكمل مجموعة أدوات ELK. تُستخدم هذه الأداة لتصور مستندات Elasticsearch وتساعد المطورين على الحصول على نظرة سريعة عليها. توفر لوحة معلومات Kibana مخططات تفاعلية متنوعة وبيانات جغرافية مكانية ورسوم بيانية لتصور الاستعلامات المعقدة.

يمكن استخدامه للبحث عن البيانات المخزنة في دلائل Elasticsearch وعرضها والتفاعل معها. Kibana يساعدك على الأداء المتقدم تحليل البيانات وتصور بياناتك في مجموعة متنوعة من الجداول والمخططات والخرائط.

توجد في Kibana طرق مختلفة لإجراء عمليات البحث على بياناتك.

فيما يلي أنواع البحث الأكثر شيوعًا:

نوع البحث	الأستعمال
عمليات بحث نصية مجانية	يتم استخدامه للبحث عن سلسلة محددة
عمليات البحث على المستوى الميداني	يتم استخدامه للبحث عن سلسلة داخل حقل معين
تصريحات منطقية	يتم استخدامه لدمج عمليات البحث في عبارة منطقية.
عمليات بحث القرب	يتم استخدامه للبحث عن المصطلحات ضمن نطاق حرف معين.

الآن في هذا البرنامج التعليمي لـ Kibana، دعنا نتعرف على الميزات المهمة لـ Kibana:

مميزات كينبانا:

• لوحة تحكم أمامية قوية قادرة على تصور المعلومات المفهرسة من المجموعة المرنة
• يتيح البحث في الوقت الحقيقي عن المعلومات المفهرسة
• يمكنك البحث عن البيانات المخزنة في Elasticsearch وعرضها والتفاعل معها
• تنفيذ الاستعلامات على البيانات وتصور النتائج في المخططات والجداول والخرائط
• لوحة معلومات قابلة للتكوين لتقطيع وتقسيم سجلات logstash في elasticsearch
• القدرة على توفير البيانات التاريخية في شكل رسوم بيانية ومخططات وما إلى ذلك.
• لوحات المعلومات في الوقت الحقيقي والتي يمكن تكوينها بسهولة
• يتيح Kibana ElasticSearch البحث في الوقت الفعلي عن المعلومات المفهرسة

مميزات وعيوب كينبانا

• من السهل التصور
• متكامل تمامًا مع Elasticsearch
• أداة التصور
• يوفر تحليلات في الوقت الفعلي، ورسم بياني، وتلخيص، وإمكانيات تصحيح الأخطاء
• يوفر واجهة بديهية وسهلة الاستخدام
• يسمح بمشاركة لقطات من السجلات التي تم البحث فيها
• يسمح بحفظ لوحة المعلومات وإدارة لوحات المعلومات المتعددة

لماذا تحليل السجل؟

في البنى التحتية للبيئة السحابية، يعد الأداء والعزل أمرًا مهمًا للغاية. قد يختلف أداء الأجهزة الافتراضية في السحابة بناءً على الأحمال والبيئات المحددة وعدد المستخدمين النشطين في النظام. ولذلك، يمكن أن تصبح الموثوقية وفشل العقدة مشكلة كبيرة.

منصة إدارة السجل يمكن مراقبة جميع المشكلات المذكورة أعلاه بالإضافة إلى معالجة سجلات نظام التشغيل، وNGINX، وسجل خادم IIS لتحليل حركة المرور على الويب، وسجلات التطبيق، وسجلات AWS (Amazon خدمات ويب).

تساعد إدارة السجل مهندسي DevOps ومسؤولي النظام على اتخاذ قرارات عمل أفضل. ومن ثم، يعد تحليل السجل عبر Elastic Stack أو الأدوات المشابهة أمرًا مهمًا.

ELK مقابل Splunk

ظبي	Splunk
Elk هي أداة مفتوحة المصدر	Splunk هي أداة تجارية.
لا تقدم كومة الأيائل Solaris قابلية النقل بسبب كيبانا.	عروض سبلانك Solaris قابلية التنقل.
سرعة المعالجة محدودة للغاية.	يقدم عمليات دقيقة وسريعة.
ELK عبارة عن حزمة تقنية تم إنشاؤها باستخدام مجموعة Elastic Search-Logstash- كيبانا.	Splunk هي أداة خاصة. وهو يوفر كلاً من الحلول المحلية والسحابية.
في بحث ELK، لن يكون التحليل والتصور ممكنًا إلا بعد إعداد مجموعة ELK.	Splunk عبارة عن حزمة كاملة لإدارة البيانات تحت تصرفك.
لا تدعم أداة ELK التكامل مع الأدوات الأخرى.	Splunk هي أداة مفيدة لإعداد عمليات التكامل مع الأدوات الأخرى.

دراسات الحالة

نيتفليكس

Netflix تعتمد الشركة بشكل كبير على مجموعة أدوات ELK. تستخدم الشركة مجموعة أدوات ELK لمراقبة وتحليل سجل أمان عملية خدمة العملاء. وتسمح لها بفهرسة وتخزين والبحث عن المستندات من أكثر من خمسة عشر مجموعة تضم ما يقرب من 800 عقدة.

لينكد إن

يستخدم موقع التسويق عبر وسائل التواصل الاجتماعي الشهير LinkedIn مجموعة ELK لمراقبة الأداء والأمان. قام فريق تكنولوجيا المعلومات بدمج ELK مع Kafka لدعم حمولتهم في الوقت الفعلي. تتضمن عملية ELK الخاصة بهم أكثر من 100 مجموعة عبر ستة مراكز بيانات مختلفة.

الشرارة

Tripwire هو نظام عالمي لإدارة أحداث المعلومات الأمنية. تستخدم الشركة ELK لدعم تحليل سجل حزم المعلومات.


متوسط

Medium هي منصة مشهورة لنشر المدونات. يستخدمون مكدس ELK لتصحيح مشكلات الإنتاج الخاصة بهم. وتستخدم الشركة أيضًا ELK للكشف DynamoDB الأواني الساخنة. علاوة على ذلك، باستخدام هذه المجموعة، يمكن للشركة دعم 25 مليون قارئ فريد بالإضافة إلى آلاف المنشورات المنشورة كل أسبوع.

مزايا وعيوب مكدس ELK

المزايا

• تعمل ELK بشكل أفضل عندما تتقارب السجلات من التطبيقات المختلفة للمؤسسة في مثيل ELK واحد

• فهو يوفر رؤى مذهلة لهذه الحالة الفردية، كما يلغي الحاجة إلى تسجيل الدخول إلى مئات مصادر بيانات السجل المختلفة
• التثبيت السريع داخل المؤسسة
• سهولة نشر الموازين رأسياً وأفقياً
• تقدم Elastic مجموعة من عملاء اللغة بما في ذلك Ruby. Python. بي إتش بي، بيرل، دوت نت، Javaو Javaالنص، وأكثر
• توافر مكتبات لمختلف لغات البرمجة والبرمجة النصية

عيوب

• قد يصبح التعامل مع المكونات المختلفة في المكدس أمرًا صعبًا عند الانتقال إلى إعداد معقد
• لا يوجد شيء مثل التجربة والخطأ. وبالتالي، كلما فعلت أكثر، تعلمت أكثر على طول الطريق

ملخص

• يمكن أن يكون التسجيل المركزي مفيدًا عند محاولة تحديد المشكلات المتعلقة بالخوادم أو التطبيقات
• يعد مكدس خادم ELK مفيدًا لحل المشكلات المتعلقة بنظام التسجيل المركزي
• ELK Stack عبارة عن مجموعة من ثلاث أدوات مفتوحة المصدر Elasticsearch، Logstash Kibana
• Elasticsearch هي قاعدة بيانات NoSQL
• Logstash هي أداة خط أنابيب جمع البيانات
• Kibana عبارة عن تصور للبيانات يكمل مكدس ELK
• في البنى التحتية للبيئة السحابية، يعد الأداء والعزل أمرًا مهمًا للغاية
• في ELK، تكون سرعة معالجة المكدس محدودة للغاية Splunk يقدم عمليات دقيقة وسريعة
• Netflixيستخدم كل من LinkedIn وTripware وMedium مكدس ELK لأعمالهم
• يعمل ELK Syslog بشكل أفضل عندما تتقارب السجلات من التطبيقات المختلفة للمؤسسة في مثيل ELK واحد
• قد يصبح التعامل مع المكونات المختلفة في المكدس أمرًا صعبًا عند الانتقال إلى إعداد معقد

قم بإحالة أسئلة وأجوبة مقابلة ElasticSearch للمرشحين الجدد وذوي الخبرة.