پایان نامه مطالعه روش‌های مختلف معماری Data Warehouse به همراه ایجاد یك نمونه آزمایشی با بكارگیری بانك اطلاعاتی Oracle در 190 صفحه ورد قابل ویرایش 

فهرست مطالب

عنوان                                                                                                        صفحه

مقدمه

چکیده

فصل اول : سیر تحول سیستمهای پشتیبان تصمیم

1-1 مقدمه : سیر تحول................................................................................................................1

 ....................................................................................................................2DASD1-2 ظهور

1-3 تکنولوژی زبانهای نسل چهارم و کامپیوتر های شخصی .....................................................3

1-4 سیستم استخراج ..................................................................................................................3

1-5 یک تغییر در بحث ..............................................................................................................14

1-6 سیستمهای عملیاتی در مقابل سیستمهای پشتیبان تصمیم ...................................................20

1-7 انبار داده تعریف شده .........................................................................................................22

فصل دوم : معماری انبار داده

2-1 مقدمه .................................................................................................................................25

2-2 خصوصیات تعریف انبارداده ..............................................................................................25

2-3 مروری بر لایه های مختلف انبارداده .................................................................................31

2-4 معماری در سه ناحیه اصلی ...............................................................................................46

2-5 معماری انبار داده و پیاده سازی گزینه منتخب ...................................................................58

2-6 از نیازمندیها تا طراحی داده ................................................................................................63

...................................................................................................81 SNOWFLAK 2-7 شمای

فهرست مطالب

عنوان                                                                                                        صفحه

فصل سوم : معرفی تکنولوژیهای موجود برای طراحی و ساخت انبارداده

3-1 مقدمه .................................................................................................................................85

3-2 مروری بر استخراج در انبارداده .........................................................................................85

3-3 مروری بر عمل انتقال در انبارهای داده .............................................................................89

3-4 مروری بر بارگذاری و تغییر شکل داده در انبار داده .........................................................91

  ..................................................................97(Replication) 3-5 مروری بر کپی سازی داده         

فصل چهارم : پیاده سازی یک انبارداده آزمایشی

4-1 مقدمه ..............................................................................................................................108

4-2 مدل بانک اطلاعاتی حقوق و دستمزد .............................................................................109

4-3 پیاده سازی پیکربندی محیط طراحی شده .......................................................................116

4-4 تجمیع اطلاعات دریک شما ............................................................................................147

فصل پنجم : نتیجه گیری و پیشنهاد

5-1 مقدمه ..............................................................................................................................166

  .................................................166Oracle 9i Warehouse Builder5-2 مرورری بر ابزار

 .........................................................168Oracle Warehouse Builder5-3 راهکار مجتمع

5-4 تعریف اشیاء ....................................................................................................................169

5-5 نگاشتها ............................................................................................................................177

فهرست شکل ها

عنوان                                                                                                        صفحه

شكل 1-.1......................................................................................................................................2

شكل 1-2.......................................................................................................................................4

شكل 1-3.......................................................................................................................................6

شکل 1-4.......................................................................................................................................7

شکل 1-5.......................................................................................................................................9

شکل 1-6.....................................................................................................................................11

شکل 1-7.....................................................................................................................................13

شکل 1-8.....................................................................................................................................15

شکل 1-9.....................................................................................................................................17

شکل 1-10..................................................................................................................................19

شکل 2-1....................................................................................................................................27

شکل 2-2....................................................................................................................................28

شکل 2-3....................................................................................................................................32

شکل 2-4....................................................................................................................................33

شکل 2-5....................................................................................................................................41

شکل 2-6....................................................................................................................................43

شکل 2-7....................................................................................................................................46

شکل 2-8....................................................................................................................................49

شکل 2-9....................................................................................................................................54

شکل 2-10..................................................................................................................................56

شکل 2-11.................................................................................................................................60

شکل 2-12.................................................................................................................................61

شکل 2-13.................................................................................................................................64

شکل 2-14.................................................................................................................................66

شکل 2-15.................................................................................................................................68

شکل 2-16.................................................................................................................................70

شکل 2-17.................................................................................................................................71

شکل 2-18 ................................................................................................................................74

شکل 2-19.................................................................................................................................81

شکل 2-20.................................................................................................................................83

شکل 3-1....................................................................................................................................94

شکل 3-2...................................................................................................................................102

شکل 3-3..................................................................................................................................104

شکل 3-4..................................................................................................................................107

شکل 4-1..................................................................................................................................109

شکل 4-2..................................................................................................................................109

شکل 4-3..................................................................................................................................112

شکل 4-4..................................................................................................................................114

شکل 4-5..................................................................................................................................115

شکل 4-6..................................................................................................................................117

شکل 4-7..................................................................................................................................117

شکل 4-8..................................................................................................................................118

شکل 4-9..................................................................................................................................118

شکل 4-10...............................................................................................................................119

شکل 4-11...............................................................................................................................120

شکل 4-12...............................................................................................................................120

شکل 4-13...............................................................................................................................121

شکل 4-14...............................................................................................................................122

شکل 4-15...............................................................................................................................122

شکل 4-16...............................................................................................................................123

شکل 4-17...............................................................................................................................123

شکل 4-18...............................................................................................................................124

شکل 4-19...............................................................................................................................125

شکل 4-20...............................................................................................................................126

شکل 4-21...............................................................................................................................127

شکل 4-22...............................................................................................................................128

شکل 4-23...............................................................................................................................128

شکل 4-24...............................................................................................................................129

شکل 4-25...............................................................................................................................130

شکل 4-26...............................................................................................................................128

شکل 4-27...............................................................................................................................131

شکل 4-28...............................................................................................................................131

شکل 4-29...............................................................................................................................132

شکل 4-30...............................................................................................................................132

شکل 4-31...............................................................................................................................133

شکل 4-32...............................................................................................................................134

شکل 4-33...............................................................................................................................135

شکل 4-34...............................................................................................................................136

شکل 4-35...............................................................................................................................137

شکل 4-36...............................................................................................................................138

شکل 4-37...............................................................................................................................139

شکل 4-38...............................................................................................................................140

شکل 4-39...............................................................................................................................140

شکل 4-40...............................................................................................................................141

شکل 4-41...............................................................................................................................142

شکل 4-42...............................................................................................................................143

شکل 4-43...............................................................................................................................144

شکل 4-44...............................................................................................................................145

شکل 4-45...............................................................................................................................146

شکل 4-46...............................................................................................................................147

شکل 4-47...............................................................................................................................148

شکل 4-48...............................................................................................................................148

شکل 4-49...............................................................................................................................149

شکل 4-50...............................................................................................................................150

شکل 4-51...............................................................................................................................151

شکل 4-52...............................................................................................................................152

شکل 4-53...............................................................................................................................153

شکل 4-54...............................................................................................................................154

شکل 4-55...............................................................................................................................155

شکل 4-56...............................................................................................................................156

شکل 4-57...............................................................................................................................156

شکل 4-58...............................................................................................................................157

شکل 4-59...............................................................................................................................158

شکل 4-60...............................................................................................................................159

شکل 4-61...............................................................................................................................159

شکل 4-62...............................................................................................................................160

شکل 4-63...............................................................................................................................161

شکل 4-64...............................................................................................................................161

شکل 4-65...............................................................................................................................162

شکل 4-66...............................................................................................................................162

شکل 4-67...............................................................................................................................163

شکل 4-68...............................................................................................................................163

شکل 4-69...............................................................................................................................164

شکل 4-70...............................................................................................................................165

شکل 4-71...............................................................................................................................165

شکل 5-1.................................................................................................................................170

شکل 5-2.................................................................................................................................171

شکل 5-3.................................................................................................................................173

شکل 5-4.................................................................................................................................173

شکل 5-5.................................................................................................................................174

شکل 5-6.................................................................................................................................175

شکل 5-7.................................................................................................................................175

شکل 5-8.................................................................................................................................176

شکل 5-9.................................................................................................................................177

شکل 5-10..............................................................................................................................177

شکل 5-11..............................................................................................................................178

فهرست جدول ها

عنوان                                                                                                        صفحه

جدول 4-1..................................................................................................................................110

جدول 4-2..................................................................................................................................112

جدول 5-1..................................................................................................................................172

جدول 5-2..................................................................................................................................178

1-1        مقدمه: سیر تحول

منشاء اصلی پردازش DSS به روزهای خیلی دور در تاریخ سیستمهای كامپیوتری و اطلاعاتی بر می‌گردد. جالب است بدانیم كه سیستمهای پشتیبان تصمیم دارای قدمت طولانی وپیچیده در تكنولوژی اطلاعاتی است.و سیر تحول آن تا به امروز ادامه داشته است .]3[

شكل 1-1 سیر تحول پردازش اطلاعات از 1960 تا 1980 را نشان می‌دهد.

درحدود دهه1960 جهان کامپیوتر موفق به‌ایجاد نرم افزارهایی شد كه با استفاده از فایلهای Master اجرا می‌شدند.این نرم افزارها در قالب برنامه ها و گزارشاتی بودند‌‌‌‌‌‌‌‌‌‌‌، که معمولاٌ به زبان COBOL نوشته می‌شد. پانچ كارتها یک ابزار ذخیر سازی عمومی به حساب می‌آمدند. فایلهای Master توسط نوارهای مغناطیسیی نگهداری می‌شدند كه برای ذخیره سازی ارزان قیمت حجم زیادی از داده مناسب بودند، اما بخاطر‌اینکه دسترسی به اطلاعات می‌بایست به صورت متوالی باشد‌این روش زیاد مفید نبود. در یك گذار در فایل نوار مغناطیسی كه از100% ركوردها عبور می‌شود، عموما فقط 5 درصد ازاین ركوردها یا حتی كمتر مورد نظر بودند. بعلاوه بسته به داده درون فایل و پردازشی که باید روی آن انجام می‌شد، دسترسی به فایل نوار ورودی بیشتر از 20 تا 30 دقیقه به طول می‌انجامید.]3[

در اواسط دهه 1960، به طور گسترده‌ای رشد استفاده از فایلهای Master و نوار مغناطیسی افزایش یافتند و در پی آن مقادیر هنگفتی داده افزونه نیز به وجود آمد. ازدیاد فایل Master و داده افزونه منجر به بروز چندین مشكل شد:]3[

-        نیاز به داده همزمان به محض عمل به روز رسانی

-          پیچیدگی نگهداری برنامه ها

-          پیچیدگی‌ایجاد برنامه‌های جدید

-          نیاز به سخت افزار گران برای پشتیبانی كلیه فایلهای Master

جالب است كه اگر فقط ابزار ذخیره سازی داده، نوار مغناطیسی باشد، جهان پردازش اطلاعات شاهد هیچ پیشرفتی نبود، . اگر هرگز چیزی برای ذخیره داده حجیم به وجود نمی آمد، سیستمهای سریع و خیلی بزرگ درجهان ظاهر نمی‌‌شد، ونیز هرگز سیستمهای ATM و شبیه آن به وجود نمی‌‌آمد. حقیقتا، اگر قابلیت ذخیره سازی و مدیریت داده در انواع جدید ابزارهای ذخیره سازی وجود نداشت، هرگز بستر لازم برای همکاری تكنسینها و تجار با هم به وجود نمی آمد.]3[

1-2 ظهور DASD

در 1970 تقریبا هر روز یک تكنولوژی جدید برای ذخیره سازی و دسترسی داده به وجود می‌آمد.در دهه 1970 زمان تحول وسیله ذخیره سازی دستیابی مستقیم (DASD )بود. دیسك ذخیره سازی اصولا با نوار مغناطیسی از نظر قابلیت دسترسی مستقیم تفاوت داشت. ونیازی نبود كه ركوردها 1,2,…,n تا n+1 ركورد مرور شود.]3[

آدرس ركورد n+1 ام شناخته شده بود، موضوع ساده‌ای بود كه بفهمیم ركورد n+1 ام دقیقا در كجای دیسک قرار دارد. از‌این گذشته، زمان مورد نیاز برای دسترسی به ركورد n+1 ام، كمتر از زمان مورد نیاز برای مرور یك نوار بود. در حقیقت زمان مورد نیاز برای قرار دادن یك ركورد در DASD فقط به اندازه چند میلی ثانیه بود.]3[

به همراه DASD نوع جدیدی از نرم افزارها تولید شد که به عنوان یك سیستم مدیریت

بانك اطلاعاتی مطرح گردید. هدف از ساخت DBMS بدین منظور بود كه برای برنامه نویسان ذخیره سازی و دستیابی داده در محیطDASD آسان گردد.به علاوه‌این ابزار، عملیات مختلفی را برای ذخیره سازی داده در DASD، از جمله فهرست گذاری داده و غیره راانجام می‌داد. از طریق DASD وDBMSیك راه حل تكنیكی برای حل مشكلات فایلهای Master پدید آمد.وهمچنین موضوع بانك اطلاعاتی مطرح شد.با وجود آشفتگی كه فایلهای Master‌ایجاد کرده بودند و داده افزونه جمع آوری شده از آنها بسیارزیاد بود، بدین سبب عجیب نبود كه در دهه 1970 بانك اطلاعاتی تعریف شده به عنوان یك منبع مجزای داده برای كلیه پردازشها مورد استفاده قرار گیرد.]3[

دراواسط دهه 1970 پردازش تراكنش بر خط (OLTP) دسترسی سریعتر به داده را امكان پذیر ساخت. باباز شدن كلیه چشم اندازهای جدید برای تجارت و پردازش، اکنون كامپیوتر می‌تواند برای انجام اعمالی كه قبلا غیر ممكن به نظر می‌رسید، مثل سیستمهای رزور درایو، سیستمهای پاسخگوی بانك، سیستمهای كنترل ساخت و مانند آن مورد استفاده قرار گیرد.اگر دنیا در مرحله استفاده از فایل نوار مغناطیسی باقی می‌ماند، ساخت بیشتر سیستمهایی كه امروزه تولید می‌شود امكان پذیر نبود.]3[

1-3        تكنولوژی زبانهای نسل چهارم وکامپیوترهای شخصی

در دهه 1980 اکثر تكنولوژیهای جدید، مثل کامپیوترهای شخصی و زبانهای نسل چهارم، شروع به فعالیت نمودند.كاربر نهایی نقش جدی را به عهده گرفت- كنترل مستقیم داده و سیستم – که نقش قبلی رزرو شده برای پردازنده داده بود. از طریق کامپیوترهای شخصی و زبانهای نسل چهارم موقعیتی پیش آمد كه کاربر بیشتر می‌توانست با داده درپردازش تراكنشهای بر خط ارتباط برقرار کند. MIS (سیستمهای اطلاعات مدیریتی)، همانطور که قبلا به کار می‌رفت، می‌توانست پیاده سازی شود. امروزه همانطور كه سیستمهای پشتیبان تصمیم شناخته شدند، سیستمهای اطلاعات مدیریتی نیز برای تصمیمهای مدیریتی استفاده شدند.در گذشته داده و تكنولوژی با هم استفاده می‌شد تا تصمیمات عملیاتی جزئی اتخاذ شود.اما هیچ بانك اطلاعاتی نمی‌‌تواند هم پردازش تراكنش عملیاتی و هم پردازش تحلیلی را در یك زمان انجام دهد.شكل 1-1 نمونه‌ای از بانك اطلاعاتی را نشان می‌دهد.]3[

-2-1-1 محیط طراحی

این بخش شامل مخزن فراداده است که در یک بانک اطلاعاتی اوراکل و مجموعه ای از ابزارهای طراحی و گزارشگیری نوشته شده با Java یا HTML ذخیره شده است.از طریق این ابزارها فراداده می تواند مشاهده و اصلاح شود . [6]

Warehouse Builder طراحی شماهای بانک اطلاعاتی رابطه ای ،شماهای چند بعدی، پردازشهای ETL و ابزار کاربر نهایی را از طریق محیطهای client پشتیبانی می کند. [6]

سیستمهای منبع نقش مهمی را در پردازش ETL بازی می کنند.به جای ایجاد فراداده به صورت دستی، Warehouse Builder دارای اجزایی است که اطلاعات لازم را به داخل مخزن منتقل می کند.

یکی از قابلیتهای معماری این است که مدیریت چرخه کاری را طوری پشتیبانی می کند که فراداده برمبنای تغییران درسیستم منبع قابل بروز رسانی باشد. [6]

سپس Warehouse Builder این تغییرات را به پردازشهای ETL و سیستمهای مقصد منتشر می کند. [6]

به هدف ایجاد و ارزیابی فراداده ، یک محیط گزارشگیری از فراداده به صورت web وجود دارد . محیط گزارشگیری امکان مرور و بررسی اجزاء سیستم بدون استفاده از ابزارهای طراحی  به کاربران و سازندگان می دهد.یکی از اجزاء خیلی مهم این محیط گزارشگیری قابلیتهای تحلیل فشرده می باشد که تغییرات فشرده سیستم را قبل از ساخته شدن مشخص می کند.گزارشگیری تحلیل فشرده کنترل بهتر تغییرات و برنامه ریزی بهتر برای پیاده سازی این تغییرات را پشتیبانی می کند.قابلیت معکوس این مورد یعنی مرور اینکه داده از کدام منبع آمده است گزارشگیری Lineage داده گفته می شود که درWarehouse Builder ایجاد شده است. [6]

5-2-1-2 محیط runtime

آنچه که کاربر در سطح منطقی طراحی کرده است باید به محیط بانک اطلاعاتی فیزیکی منتقل شود. قبل از انجام این کار ، اطلاعات محیط بانک اطلاعاتی به طراحی منطقی افزوده شده تا محیط مقصد برای ساختن پیکربندی شود.بعد ازآنکه پیکربندی تکمیل شد،کد می تواند تولید شود. [6]

Warehouse Builder زبان خاص استخراج برای پردازش ETL و مراحل SQL DDL برای اشیاء بانک اطلاعاتی را تولید می کند.کد تولید شده خواه به صورت سیستم فایل یا درون بانک اطلاعاتی ایجاد می شود. [6]

انجام توابع ETL به معنی اجرای کد تولید شده در بانک اطلاعاتی است.این امر می تواند با استفاده از مدیر ساخت Warehouse builder یا از طریق ابزار خارجی مثل  Enterprise manager انجام شود.در نهایت پردازش ETL داده منبع را به درون بانک اطلاعاتی مقصد منتقل می کند.این داده می تواند ناحیه  staging ،یک ذخیره داده عملیاتی،یک انبارداده یا هر شمای دیگر باشد. بخشهای کد خارجی از بانک اطلاعاتی Oracle در محیط مربوط به خود اجرا می شوند. [6]

به منظور گزارشگیری از بارگذاری داده، کد تولید شده توسط OWB باید شامل روالها ی بازبینی باشد. این روالها اطلاعات بارگذاری را به درون جداول runtime نرم افزار OWB ثبت می کنند. اطلاعات به دست آمده در حال اجرای کد می تواند شامل تعداد سطور انتخاب شده ، اضافه شده و به روز رسانی شده است. اگر مشکلی حین تبدیل یا بارگذاری داده رخ دهد ، گزارش روال بازبینی مشکل جداول را مشخص می کند. به منظور دسترسی آسانتر و گزارشگیری ساده از این اطلاعات runtime ، OWB  محیط مرورگر بازبینی زمان اجرا را فراهم ساخته است. [6]

5-3 راهکار مجتمع Oracle Warehouse Builder

ایجاد یک نرم افزار هوشمند تجاری یک پردازش پیچیده می باشد. مراجل و فازهای مختلفی درگیر می باشد، که ممکن است ظرفیت تهداد زیادی از سیستمها ، منابع، و نواحی عملکردی را بگیرد. OWB این گونه پیچیدگیها را به منظور حصول به یک نرم افزار مجزا با در نظر گرفتن موارد مقیاس پذیری ، قابلیت اطمینان و انعطاف پذیری آن کاهش می دهد. عمده قابلیتهای OWB شامل موارد زیر می باشد:

-                     تعریف import داده منبع

-                     طراحی و ایجاد شمای بانک اطلاعاتی هدف

-                     تعریف انتفال و تبدیل داده بین سیستم مبدا و مقصد

-                     تعیین وابستگیهای بین پردازشهای ETL

-                     مدیریت و به روز رسانی تعاریف داده

-                     گسترش، به روز رسانی، و مدیریت شماهای هدف

-                     طراحی و ایجاد محیط بازیابی موردی

-                     طراحی و ایجاد یک محیط OLAP

5-4 تعریف اشیاء

پس از جمع آوری نیازمندیهای انباره داده یا data mart ، آماده طراحی سیستم مورد نظر در warehouse builder هستیم.اکثر مدلسازیها در ماجول انباره داده قرارمی گیرد . در این بخش قصد داریم نحوه ایجاد ماجول انباره داده و اشیاء آن را ارائه کنیم. [6]

5-4-1  ایجاد ماجول انباره

با استفاده از درختواره مرورگر OWB   از گره database یک ماجول ایجاد می نماییم. در صفحه مربوط به اطلاعات اتصالات ، گزینه های لازم جهت database link به منظور ورود فراداده به ماجول انباره وجود دارد. [6]

در بخش بعد می بایست یک Location  در درختواره ایجاد کرد.Location  ها ، ابزارها و شماهای بانک اطلاعاتی را ارائه می کنند که شامل انواع ماجولها برای بانکهای اطلاعاتی Oracle یا غیر  Oracle، SAP ، یا سیستم فایها می باشد کگه درون این درختواره تحت این ماجولها سازماندهی شده است. زمانیکه یکLocation  ایجاد می کنید، یک تعریف منطقی شامل نوع Location و نسخه آن ثبت می شود ونیز  اطلاعات اتصالات فیزیکی برای ثبت در Runtime Repository موردنیاز است. [6]

به منظور ایجاد اتصال بین Location های ماجول بانک اطلاعاتی با Location های سایر ماجولها می توان یک Connector تعریف کرد. Connectorها یک مسیر برای انتقال داده ازیک location به location دیگر ارائه می کنند.باایجاد یک Connector ، تعریف منطقی ایجاد می شود که در repository نرم افزار OWB ذخیره می شود. وقتی اشیاء با یک Connector تعریف شده ، در یک location قرار می گیرند ، یک database link  یا دایرکتوری از اشیاء درصورت نیاز می تواند به آن مراجعه کند. [6]

5-4-2 اشیاء داده

پس از ایجاد ماجول انباره داده می توان کلیه اشیاء داده که توسط OWB پشتیبانی می شود را مشاهده کرد. [6]

البته OWB اشیاء داده ای ارتباطی و ابعادی را پشتیبانی می کند. اشیاء داده ارتباطی مثل بانکهای اطلاعاتی ارتباطی با تکیه بر جداول و اشیاء مشتق شده از جداول برای ذخیره سازی ارتباط کلیه داده ها می باشد. [6]