پایان نامه کاربرد داده کاوی در تجارت الکترونیک

چکیده:

این پایان نامه شامل دو بخش می باشدبخش اول در مورد داده کاوی و تکنیکها و متدلوژی های ان و بخش دوم در مورد تجارت الکترونیک می باشد.

بخش اول شامل مطالبی در مورد عناصر داده کاوی و سپس کاربردهای داده کاوی در موارد مختلف و تفاوت داده کاوی با پایگاه داده و متدلوژی ها و مراحل داده کاوی وهمچنین وظایف داده کاوی توضیحاتی داده شده است.

بخش دوم در مورد تجارت الکترونیکی  که در ان مقدمه ای از تجارت اتکترونیک و شکل دهی موقعیت بازار را بیان نموده است.

مقدمه

از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT)  هر دو سال یکبار حجم داده ها، دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه  داده ها چنان گسترش یافته‌اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند.امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.[3]

حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن حانبارهای عظیمی از داده ها شده است.

این واقعیت، ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است، چنان که در عصر حاضر گفته می شود اطلاعات طلاست.

هم اکنون در هر کشور، سازمان، شرکت و غیره برای امور بازرگانی، پرسنلی، آموزشی، آماری و غیره پایگاه داده ها ایجاد یا خریداری شده است. به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران جهت، تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و سایر اهداف می تواند مفید باشد. بسیاری از این داده ها از نرم افزارهای تجاری، مثل کاربردهای مالی، ERPها، CRMها و web log ها، می آیند. نتیجه این جمع آوری داده ها این می‌شود که در سازمانها، داده ها غنی ولی دانش ضعیف، است. جمع آوری داده ها، بسیار انبوه می‌شود و بسرعت اندازه آن افزایش می یابد و استفاده عملی از داده ها را محدود می سازد.[2]

داده‌کاوی استخراج و تحلیل مقدار زیادی داده بمنظور کشف قوانین و الگوهای معنی دار در آنهاست. هدف اصلی داده کاوی، استخراج الگوهایی از داده ها، افزایش ارزش اصلی آنها و انتقال داده ها بصورت دانش است.

داده‌کاوی، بهمراه OLAP، گزارشگری تشکیلات اقتصادی(Enterprise reporting) و ETL، یک عضو کلیدی در خانواده محصول Business Intelligence(BI)، است.[2Error! Reference source not found.]

حوزه‌های مختلفی وجود دارد که در آنها حجم بسیاری از داده در پایگاه‌داده‌های متمرکز یا توزیع شده ذخیره می‌شود. برخی از آنها به قرار زیر هستند: [6Error! Reference source not found.]

کتابخانه دیجیتال: یک مجموعه سازماندهی شده از اطلاعات دیجیتال که بصورت متن در پایگاه‌داده‌های بزرگی ذخیره می شوند.

آرشیو تصویر: شامل پایگاه‌داده بزرگی از تصاویر به شکل خام یا فشرده.

اطلاعات زیستی: بدن هر انسانی از 50 تا 100 هزار نوع ژن یا پروتئین مختلف ساخته شده است. اطلاعات زیستی شامل تحلیل و تفسیر این حجم عظیم داده ذخیره شده در پایگاه‌داده بزرگی از ژنهاست.

تصاویر پزشکی: روزانه حجم وسیعی از داده‌های پزشکی به شکل تصاویر دیجیتال تولید می‌شوند، مانند EKG، MRI، ACT، SCAN و غیره. اینها در پایگاه‌داده‌های بزرگی در سیستم‌های مدیریت پزشکی ذخیره می شوند.

مراقبت‌های پزشکی: بجز اطلاعات بالا، یکسری اطلاعات پزشکی دیگری نیز روزانه ذخیره می‌شود مانند سوابق پزشکی بیماران، اطلاعات بیمه درمانی، اطلاعات بیماران خاص و غیره.

اطلاعات مالی و سرمایه‌گذاری: این اطلاعات دامنه بزرگی از داده‌ها هستند که برای داده‌کاوی بسیار مطلوب می‌باشند. از این قبیل داده‌ها می‌توان از داده‌های مربوط به سهام، امور بانکی، اطلاعات وام‌ها، کارت‌های اعتباری، اطلاعات کارت‌های ATM، و کشف کلاه‌برداری‌ها می باشد.

ساخت و تولید: حجم زیادی از این داده‌ها روزانه به اشکال مختلفی در کارخانه‌ها تولید می‌شود. ذخیره و دسترسی کارا به این داده‌ها و تحلیل آنها برای صنعت تولید بسیار بااهمیت است.

کسب و کار و بازاریابی: داده‌ لازم است برای پیش‌بینی فروش، طراحی کسب و کار، رفتار بازرایابی، و غیره.

شبکه راه‌دور: انواع مختلفی از داده‌ها در این صنعت تولید و ذخیره می شوند. آنها برای تحلیل الگوهای مکالمات، دنبال کردن تماس‌ها، مدیریت شبکه، کنترل تراکم، کنترل خطا و غیره، استفاده می‌شوند.

حوزه علوم: این حوزه شامل مشاهدات نجومی، داده زیستی، داده ژنومیک، و غیره است.

WWW: یک حجم وسیع از انواع مختلف داده که در هر جایی از اینترنت پخش شده‌اند.

در بیشتر این حوزه‌ها، تحلیل داده‌ها یک روال دستی بود. یک تحلیلگر کسی بود که با داده‌ها بسیار آشنا بود و با کمک روش‌های آماری، خلاصه‌هایی تهیه و گزارشاتی را تولید می‌کرد. در یک حالت پیشرفته‌تر، از یک پردازنده پیچیده پرسش استفاده می‌شد. اما این روش‌ها با افزایش حجم داده‌ها کاملا بلااستفاده شدند.

واژه های «داده‌کاوی» و «کشف دانش در پایگاه داده»[1] اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل1 نشان داده شده است.

کشف دانش در پایگاه داده فرایند شناسایی درست، ساده، مفید، و نهایتا الگوها و مدلهای قابل فهم در داده ها می‌باشد. داده‌کاوی، مرحله‌ای از فرایند کشف دانش می‌باشد و شامل الگوریتمهای مخصوص داده‌کاوی است، بطوریکه، تحت محدودیتهای مؤثر محاسباتی قابل قبول، الگوها و یا مدلها را در داده کشف می کند[3Error! Reference source not found.]. به بیان ساده‌تر، داده‌کاوی به فرایند استخراج دانش ناشناخته، درست، و بالقوه مفید از داده اطلاق می‌شود. تعریف دیگر اینست که، داده‌کاوی گونه‌ای از تکنیکها برای شناسایی اطلاعات و یا دانش تصمیم‌گیری از قطعات داده می‌باشد، به نحوی که با استخراج آنها، در حوزه‌های تصمیم‌گیری، پیش بینی، پیشگویی، و تخمین مورد استفاده قرار گیرند. داده‌ها اغلب حجیم، اما بدون ارزش می‌باشند، داده به تنهایی قابل استفاده نیست، بلکه دانش نهفته در داده ها قابل استفاده می باشد. به این دلیل اغلب به داده کاوی، تحلیل داده ای ثانویه[2] گفته می‌شود.

استخراج دانش در پایگاه‌داده[3] (KDD)، بعنوان روالی برای شناسایی الگوهای معتبر، جدید، بالقوه مفید، و سرانجام قابل فهم در داده‌ها، تعریف شده است. روال سراسری شامل تبدیل داده سطح-پایین به دانش سطح-بالاست. روال KDD در شکل 1 بطور خلاصه نشان داده شده است. این روال یک روال تعاملی و تکراری است که شامل مراحل زیر می‌باشد:[6Error! Reference source not found.]

درک دامنه کاربرد: این شامل دانش قبلی مرتبط و اهداف کاربرد است.

استخراج مجموعه داده هدف: این چیزی نست جز انتخاب یک مجموعه داده یا یک زیرمجموعه از متغیرها، با استفاده از تکنیک‌های رتبه‌بندی و انتخاب است.

پیش پردازش داده: این مرحله برای افزایش کیفیت داده بکار گرفته شده برای داده‌کاوی، لازم است. همچنین برای بهبود کارایی کاوش داده لازم است. پیش پردازش داده شامل پاکسازی داده، انتقال داده، یکپارچه سازی داده، کاهش یا فشرده‌سازی داده برای نمایش فشرده، و غیره است.

داده‌کاوی: این مرحله شمل اعمال یکی از الگوریتم‌های داده‌کاوی است.

تفسیر: شامل تفسیر الگوهای استخراج شده، و تا حد امکان، بصری سازی این الگوهاست. بصری سازی یک کمک‌کننده مهم در قابل فهم سازی الگوهاست.

استفاده از دانش استخراج شده: این مرحله شامل تلفیق این دانش با کارایی سیستم و گرفتن تصمیمات عملی براساس این دانش است.

بیشتر تکنیکهای داده‌کاوی حداقل به عنوان الگوریتمهای آکادمیک از سالها یا دهه های قبل وجود داشته اند. تنها در دهه اخیر است که داده‌کاوی تجاری نقش عمده ای را بازی کرده است.