ما هو Data Mart في مستودع البيانات؟ أنواع وأمثلة
ديفيد كارتر
ما هي داتا مارت؟
A مارت البيانات يركز على مجال وظيفي واحد للمؤسسة ويحتوي على مجموعة فرعية من البيانات المخزنة في مستودع البيانات. يعد Data Mart إصدارًا مكثفًا من Data Warehouse وهو مصمم للاستخدام بواسطة قسم أو وحدة أو مجموعة معينة من المستخدمين في المؤسسة. على سبيل المثال، التسويق أو المبيعات أو الموارد البشرية أو التمويل. وغالبًا ما يتم التحكم فيه من قبل قسم واحد في المنظمة.
تقوم Data Mart عادةً بسحب البيانات من عدد قليل من المصادر مقارنةً بمستودع البيانات. أسواق البيانات صغيرة الحجم وأكثر مرونة مقارنة بمستودع البيانات.
لماذا نحتاج داتا مارت؟
- يساعد Data Mart على تحسين وقت استجابة المستخدم بسبب انخفاض حجم البيانات
- يوفر سهولة الوصول إلى البيانات المطلوبة بشكل متكرر.
- يعتبر Data Mart أسهل في التنفيذ بالمقارنة مع Datawarehouse الخاص بالشركة. وفي الوقت نفسه، فإن تكلفة تنفيذ Data Mart هي بالتأكيد أقل مقارنة بتنفيذ مستودع بيانات كامل.
- بالمقارنة مع مستودع البيانات، فإن datamart يتسم بالمرونة. في حالة تغيير النموذج، يمكن إنشاء datamart بشكل أسرع نظرًا لصغر حجمه.
- يتم تعريف Datamart بواسطة خبير واحد في الموضوع. على العكس من ذلك، يتم تعريف مستودع البيانات من قبل الشركات الصغيرة والمتوسطة متعددة التخصصات من مجموعة متنوعة من المجالات. ومن ثم، فإن Data mart أكثر انفتاحًا على التغيير مقارنةً بـ Datawarehouse.
- يتم تقسيم البيانات وتسمح بامتيازات التحكم في الوصول الدقيقة للغاية.
- يمكن تجزئة البيانات وتخزينها على منصات الأجهزة/البرمجيات المختلفة.
أنواع سوق البيانات
هناك ثلاثة أنواع رئيسية من سوق البيانات:
- تابع:يتم إنشاء مخازن البيانات التابعة عن طريق سحب البيانات مباشرة من المصادر التشغيلية أو الخارجية أو كليهما.
- مستقل: يتم إنشاء سوق بيانات مستقل دون استخدام مستودع بيانات مركزي.
- مهجنة:يمكن لهذا النوع من مستودعات البيانات أخذ البيانات من مستودعات البيانات أو الأنظمة التشغيلية.
سوق البيانات التابع
يسمح سوق البيانات التابع بالحصول على بيانات المؤسسة من مستودع بيانات واحد. إنه أحد أمثلة سوق البيانات الذي يوفر فائدة المركزية. إذا كنت بحاجة إلى تطوير واحد أو أكثر من أسواق البيانات الفعلية، فأنت بحاجة إلى تكوينها كأسواق بيانات تابعة.
يمكن إنشاء سوق البيانات التابع في مستودع البيانات بطريقتين مختلفتين. إما حيث يمكن للمستخدم الوصول إلى كل من سوق البيانات ومستودع البيانات، حسب الحاجة، أو حيث يقتصر الوصول على سوق البيانات فقط. النهج الثاني ليس الأمثل لأنه ينتج عنه أحيانًا ما يشار إليه باسم ساحة خردة البيانات. في ساحة البيانات المهملة، تبدأ جميع البيانات بمصدر مشترك، ولكن يتم إلغاؤها، وغالبًا ما يتم التخلص منها.
سوق البيانات المستقلة
يتم إنشاء سوق بيانات مستقل دون استخدام مستودع البيانات المركزي. يعد هذا النوع من Data Mart خيارًا مثاليًا للمجموعات الصغيرة داخل المؤسسة.
ليس لسوق البيانات المستقل علاقة بمستودع بيانات المؤسسة ولا بأي سوق بيانات آخر. في سوق البيانات المستقلة، يتم إدخال البيانات بشكل منفصل، كما يتم إجراء تحليلاتها بشكل مستقل.
يعد تنفيذ أسواق البيانات المستقلة متناقضًا مع الدافع لبناء مستودع البيانات. أولاً، أنت بحاجة إلى مخزن مركزي ومتسق لبيانات المؤسسة التي يمكن تحليلها من قبل العديد من المستخدمين ذوي الاهتمامات المختلفة الذين يريدون معلومات متنوعة على نطاق واسع.
سوق البيانات الهجينة
يجمع سوق البيانات المختلط المدخلات من المصادر بعيدًا عن مستودع البيانات. قد يكون هذا مفيدًا عندما تريد التكامل المخصص، مثل بعد إضافة مجموعة أو منتج جديد إلى المؤسسة.
إنه أفضل مثال على سوق البيانات المناسب لبيئات قواعد البيانات المتعددة والتحول السريع في التنفيذ لأي مؤسسة. كما يتطلب أيضًا أقل جهد لتنقية البيانات. يدعم Hybrid Data mart أيضًا هياكل التخزين الكبيرة، وهو مناسب بشكل أفضل للتطبيقات المرنة التي تركز على البيانات الأصغر.
خطوات تنفيذ Datamart
إن تنفيذ مستودع البيانات هو إجراء مجزٍ ولكنه معقد. وفيما يلي الخطوات التفصيلية لتنفيذ مستودع البيانات:
تصميم
التصميم هو المرحلة الأولى من تنفيذ Data Mart. ويغطي جميع المهام بين بدء طلب سوق البيانات وجمع المعلومات حول المتطلبات. وأخيرًا، نقوم بإنشاء تصميم Data Mart المنطقي والمادي.
تتضمن خطوة التصميم المهام التالية:
- جمع المتطلبات التجارية والفنية وتحديد مصادر البيانات.
- اختيار المجموعة الفرعية المناسبة من البيانات.
- تصميم الهيكل المنطقي والمادي لسوق البيانات.
يمكن تقسيم البيانات على أساس المعايير التالية:
- التاريخ
- وحدة الأعمال أو الوظيفية
- جغرافية
- أي مزيج مما سبق
يمكن تقسيم البيانات على مستوى التطبيق أو نظام إدارة قواعد البيانات (DBMS). على الرغم من أنه يوصى بالتقسيم على مستوى التطبيق لأنه يسمح بنماذج بيانات مختلفة كل عام مع التغيير في بيئة الأعمال.
ما هي المنتجات والتقنيات التي تحتاجها؟
قلم وورقة بسيطة ستكون كافية. من خلال الأدوات التي تساعدك على إنشاء UML أو مخطط ER من شأنه أيضًا إلحاق البيانات التعريفية بتصميماتك المنطقية والمادية.
بناء
وهذه هي المرحلة الثانية من التنفيذ. أنها تنطوي على إنشاء قاعدة البيانات المادية والهياكل المنطقية.
تتضمن هذه الخطوة المهام التالية:
- تنفيذ قاعدة البيانات المادية المصممة في المرحلة السابقة. على سبيل المثال، يتم إنشاء كائنات مخطط قاعدة البيانات مثل الجدول والفهارس وطرق العرض وما إلى ذلك.
ما هي المنتجات والتقنيات التي تحتاجها؟
أنت في حاجة الى نظام إدارة قواعد البيانات المرتبطة لبناء سوق البيانات. يحتوي RDBMS على العديد من الميزات المطلوبة لنجاح Data Mart.
- ادارة التخزين: يقوم نظام RDBMS بتخزين البيانات وإدارتها لإنشاء البيانات وإضافتها وحذفها.
- الوصول السريع للبيانات: باستخدام استعلام SQL، يمكنك الوصول بسهولة إلى البيانات بناءً على شروط/عوامل تصفية معينة.
- حماية البيانات: يوفر نظام RDBMS أيضًا طريقة للتعافي من فشل النظام مثل انقطاع التيار الكهربائي. كما يسمح أيضًا باستعادة البيانات من هذه النسخ الاحتياطية في حالة فشل القرص.
- دعم متعدد المستخدمين: يوفر نظام إدارة البيانات الوصول المتزامن، والقدرة على الوصول إلى البيانات لعدة مستخدمين وتعديلها دون التدخل أو الكتابة فوق التغييرات التي أجراها مستخدم آخر.
- الأمن: يوفر نظام RDMS أيضًا طريقة لتنظيم وصول المستخدمين إلى الكائنات وأنواع معينة من العمليات.
السكان
في المرحلة الثالثة، يتم تعبئة البيانات في سوق البيانات.
تتضمن خطوة التعبئة المهام التالية:
- بيانات المصدر لرسم خرائط البيانات المستهدفة
- استخراج البيانات المصدر
- عمليات التنظيف والتحويل على البيانات
- تحميل البيانات في سوق البيانات
- إنشاء وتخزين البيانات الوصفية
ما هي المنتجات والتقنيات التي تحتاجها؟
يمكنك إنجاز هذه المهام السكانية باستخدام أداة ETL (استخراج تحميل التحويل).. تتيح لك هذه الأداة الاطلاع على مصادر البيانات، وإجراء تعيين من المصدر إلى الهدف، واستخراج البيانات، وتحويلها، وتنظيفها، وتحميلها مرة أخرى إلى سوق البيانات.
في هذه العملية، تقوم الأداة أيضًا بإنشاء بعض البيانات الوصفية المتعلقة بأشياء مثل مصدر البيانات، ومدى حداثتها، ونوع التغييرات التي تم إجراؤها على البيانات، ومستوى التلخيص الذي تم إجراؤه.
الوصول
يعد الوصول خطوة رابعة تتضمن استخدام البيانات: الاستعلام عن البيانات وإنشاء التقارير والمخططات ونشرها. يرسل المستخدم النهائي الاستعلامات إلى قاعدة البيانات ويعرض نتائج الاستعلامات
تحتاج خطوة الوصول إلى تنفيذ المهام التالية:
- قم بإعداد طبقة تعريفية تترجم هياكل قاعدة البيانات وأسماء الكائنات إلى مصطلحات تجارية. وهذا يساعد المستخدمين غير التقنيين على الوصول إلى سوق البيانات بسهولة.
- إعداد وصيانة هياكل قاعدة البيانات.
- قم بإعداد واجهة برمجة التطبيقات (API) والواجهات إذا لزم الأمر
ما هي المنتجات والتقنيات التي تحتاجها؟
يمكنك الوصول إلى سوق البيانات باستخدام سطر الأوامر أو واجهة المستخدم الرسومية. تُفضل واجهة المستخدم الرسومية لأنها يمكنها إنشاء رسوم بيانية بسهولة كما أنها سهلة الاستخدام مقارنة بسطر الأوامر.
إدارة
هذه هي الخطوة الأخيرة في عملية تنفيذ Data Mart. تغطي هذه الخطوة مهام الإدارة مثل-
- إدارة وصول المستخدم المستمرة.
- تحسينات النظام وضبطه لتحقيق الأداء المحسن.
- إضافة وإدارة البيانات الجديدة في سوق البيانات.
- تخطيط سيناريوهات الاسترداد والتأكد من توفر النظام في حالة فشل النظام.
ما هي المنتجات والتقنيات التي تحتاجها؟
يمكنك استخدام واجهة المستخدم الرسومية أو سطر الأوامر لإدارة سوق البيانات.
أفضل الممارسات لتنفيذ Data Marts
فيما يلي أفضل الممارسات التي يتعين عليك اتباعها أثناء عملية تنفيذ Data Mart:
- يجب أن يكون مصدر Data Mart منظمًا على مستوى الأقسام
- ينبغي قياس دورة تنفيذ Data Mart في فترات زمنية قصيرة، أي بالأسابيع بدلاً من الأشهر أو السنوات.
- من المهم إشراك جميع أصحاب المصلحة في مرحلة التخطيط والتصميم حيث أن تنفيذ مستودع البيانات قد يكون معقدًا.
- ينبغي إدراج تكاليف أجهزة/برامج Data Mart والشبكات والتنفيذ في الميزانية بدقة في خطتك
- على الرغم من أنه إذا تم إنشاء سوق البيانات على نفس الجهاز، فقد يحتاجون إلى بعض البرامج المختلفة للتعامل مع استعلامات المستخدم. وينبغي تقييم متطلبات قوة المعالجة الإضافية وتخزين القرص من أجل الاستجابة السريعة للمستخدم
- قد يكون سوق البيانات في موقع مختلف عن مستودع البيانات. ولهذا السبب من المهم التأكد من أن لديهم سعة شبكية كافية للتعامل مع أحجام البيانات اللازمة لنقل البيانات إلى سوق البيانات.
- يجب أن تتضمن تكلفة التنفيذ الوقت المستغرق في عملية تحميل Datamart. يزداد وقت التحميل مع زيادة تعقيد التحويلات.
مزايا وعيوب سوق البيانات
المزايا
- تحتوي أسواق البيانات على مجموعة فرعية من البيانات على مستوى المؤسسة. تعتبر هذه البيانات ذات قيمة لمجموعة معينة من الأشخاص في المؤسسة.
- إنها بدائل فعالة من حيث التكلفة لـ أ مستودع البيانات، والتي يمكن أن تتطلب تكاليف عالية في بنائها.
- يتيح Data Mart وصولاً أسرع للبيانات.
- يعد Data Mart سهل الاستخدام لأنه مصمم خصيصًا لتلبية احتياجات مستخدميه. وبالتالي يمكن لسوق البيانات تسريع العمليات التجارية.
- تحتاج Data Marts إلى وقت تنفيذ أقل مقارنة بأنظمة Data Warehouse. يعد تنفيذ Data Mart أسرع حيث أنك تحتاج فقط إلى تركيز المجموعة الفرعية الوحيدة من البيانات.
- أنه يحتوي على بيانات تاريخية تمكن المحلل من تحديد اتجاهات البيانات.
عيوب
- في كثير من الأحيان تقوم المؤسسات بإنشاء عدد كبير جدًا من أسواق البيانات المتباينة وغير ذات الصلة دون فائدة كبيرة. يمكن أن تصبح عقبة كبيرة للحفاظ عليها.
- لا يمكن لـ Data Mart توفير خدمات على مستوى الشركة تحليل البيانات لأن مجموعة البيانات الخاصة بهم محدودة.
ملخص
- تعريف سوق البيانات: يتم تعريف سوق البيانات على أنه مجموعة فرعية من مستودع البيانات الذي يركز على منطقة وظيفية واحدة للمؤسسة.
- يساعد Data Mart على تحسين وقت استجابة المستخدم بسبب انخفاض حجم البيانات.
- ثلاثة أنواع من سوق البيانات هي 1) تابع 2) مستقل 3) هجين
- خطوات التنفيذ المهمة لـ Data Mart هي 1) التصميم 2) الإنشاء 3 النشر 4) الوصول و 5) الإدارة
- ينبغي قياس دورة تنفيذ Data Mart في فترات زمنية قصيرة، أي بالأسابيع بدلاً من الأشهر أو السنوات.
- يعد Data Mart بدائل فعالة من حيث التكلفة لمستودع البيانات، والذي يمكن أن يتطلب إنشاءه تكاليف عالية.
- لا تستطيع Data Mart توفير تحليل البيانات على مستوى الشركة نظرًا لأن مجموعة البيانات محدودة.
