به عبارتیطور که از اسمش پیداست، ایده الگوریتم طراحی سایت در مشهد رگرسیون خطی معمولی، جستن معادله خطی میباشد که بتواند رابطه در بین متغیرهای متعلق و غیروابسته را تعریف نماید. بهدنبال پروسه اعمال این الگوریتم را نظارت میکنیم.
گام ۱
بیایید فرض کنیم در دستهداده ما متغیر
x
�
غیر وابسته و
y
�
تابعی از متغیر
x
�
به تفصیل ذیل میباشد:
y
=
f
(
x
)
�
=
�
(
�
)
بنابراین و با استعمال از رگرسیون خطی می توانیم معادلهای مانند مثال برای یافت کردن شایسته ترین برازش تمجید کنیم:
y
=
m
x
+
c
�
=
�
�
+
�
در عبارت فوق
y
�
آرم متغیر مقصود و
x
�
به
i
�
اُمین «متغیر پیشبینی کننده» (Predictor Variable) اشاره داراست. این معادله، به عبارتی معادله خط میباشد که در آن
m
�
نشان «شیب خط» (Slope) و
c
�
«پهنا از مبدا» (Intercept) میباشد.
گام ۲
درحال حاضر برای بهدست آوردن شایسته ترین برازش، به متغیرهای
m
�
و
c
�
مقادیری تصادفی تخصیص داده و مقدار غرض یا این که به عبارتی
y
�
را برای هر مثال
x
�
در گروهداده به حساب آوردن میکنیم.
گام ۳
بعداز به حساب آوردن مقدار پیشبینی گردیده خویش از خروجی که آن را
^
y
�
^
مینامیم، دراین مرحله می خواهیم ببینیم پیشبینی ما چقدر ظریف میباشد. در رگرسیون خطی مقدار این نادرست، از روش طرز «معدل مربعات نادرست» (Mean Squared Error | MSE) بهدست میاید. در یادگیری ماشین بهاین شیوه «تابع ضرر و زیان» (Loss Function) گفته میشود:
L
=
1
n
∑
(
y
−
^
y
)
2
�
=
1
�
∑
(
�
−
�
^
)
2
نشانه $ n $ در معادله تابع ضرر و زیان ذکرگر تعداد تمام مثالهای جانور در گروهداده میباشد.
گام ۴
برای حصول شایسته ترین خروجی، بایستی مقدار تابع خسارت را کمینه کنیم. برای کمینهسازی تابع ضرر و زیان از روشی بهاسم «گرادیان نزولی» (Gradient Descent) به کار گیری میکنیم. به دنبال بیشتر با روش کارکرد گرادیان نزولی آشنا میشویم.
گرادیان نزولی
«تابع هزینه» (Cost Function) فرمولی ریاضیاتی برای به حساب آوردن اشتباه یا این که به عبارتی تفاضل در بین مقادیر پیشبینی گردیده و حقیقی وواقعی میباشد. چنانچه به معادله تابع ضرر و زیان دقت کنیم، متوجه میشویم که واحد سنجش اشتباه به صورت عبارتی درجه دو احتساب میگردد. در حالتیکه تابع ضرر را برای پارامترهای «وزنی» (Weights) یا این که به عبارتی m و c در معادله رسم کنیم، با یک منحنی «سهمی» (Parabolic) مواجه میشویم. حالا و از آنجایی که مقصود ما کمینهسازی تابع ضرر میباشد، بایستی به سمت کف این منحنی جنبش کنیم.
نمونه گرادیان نزولی
برای کشف کردن جهت و مقدار تکان ضرروزیان، می بایست از پارمترهای وزنی $ m $ و $ c $ نسبت به تابع خسارت مشتق سکو اولیه بگیریم. آن گاه فیض را در ثابتی بهاسم «نرخ یادگیری» (Learning Rate) یا این که \\alpha ضرب کرده و مقدار وزنی نو بهدست آمده را از وزن نخستین نادر کنیم.
W
=
w
i
n
i
t
−
α
d
L
d
w
آنقدر این مرحله را تکرار میکنیم تا به مقدار کمینه یا این که به اصطلاح «کمینه سراسری» (Global Minima) برسیم. برای آنکه هدفی آخری داشته باشیم، پاره ای بسیار معدود مانند ۰/۰۰۰۱ را تحت عنوان کمینه سراسری در لحاظ می گیریم. اگر کهاین حد آستانه را تعریف و تمجید نکنیم، ممکن میباشد هیچگاه به مقدار صفر مطلق نرسیم و تابع در رینگای نامتناهی گرفتار خواهد شد.
مقاله پیشنهادی: گرادیان نزولی (Gradient Descent) و طراحی آن در پایتون — راهنمای کاربردی
گام ۵
زمانی مقدار تابع ضرروزیان کمینه شد، در مرحله انتها میتوانیم مقدار خروجی $ y $ را بهازای هر مثال $ x $، با به کار گیری از معادله خط و وزنهای باصرفه گردیده بهدست آوریم.
به عبارتیطور که از اسمش پیداست، ایده الگوریتم طراحی سایت در مشهد رگرسیون خطی معمولی، جستن معادله خطی میباشد که بتواند رابطه در بین متغیرهای متعلق و غیروابسته را تعریف نماید. بهدنبال پروسه اعمال این الگوریتم را نظارت میکنیم.
گام ۱
بیایید فرض کنیم در دستهداده ما متغیر
x
�
غیر وابسته و
y
�
تابعی از متغیر
x
�
به تفصیل ذیل میباشد:
y
=
f
(
x
)
�
=
�
(
�
)
بنابراین و با استعمال از رگرسیون خطی می توانیم معادلهای مانند مثال برای یافت کردن شایسته ترین برازش تمجید کنیم:
y
=
m
x
+
c
�
=
�
�
+
�
در عبارت فوق
y
�
آرم متغیر مقصود و
x
�
به
i
�
اُمین «متغیر پیشبینی کننده» (Predictor Variable) اشاره داراست. این معادله، به عبارتی معادله خط میباشد که در آن
m
�
نشان «شیب خط» (Slope) و
c
�
«پهنا از مبدا» (Intercept) میباشد.
گام ۲
درحال حاضر برای بهدست آوردن شایسته ترین برازش، به متغیرهای
m
�
و
c
�
مقادیری تصادفی تخصیص داده و مقدار غرض یا این که به عبارتی
y
�
را برای هر مثال
x
�
در گروهداده به حساب آوردن میکنیم.
گام ۳
بعداز به حساب آوردن مقدار پیشبینی گردیده خویش از خروجی که آن را
^
y
�
^
مینامیم، دراین مرحله می خواهیم ببینیم پیشبینی ما چقدر ظریف میباشد. در رگرسیون خطی مقدار این نادرست، از روش طرز «معدل مربعات نادرست» (Mean Squared Error | MSE) بهدست میاید. در یادگیری ماشین بهاین شیوه «تابع ضرر و زیان» (Loss Function) گفته میشود:
L
=
1
n
∑
(
y
−
^
y
)
2
�
=
1
�
∑
(
�
−
�
^
)
2
نشانه $ n $ در معادله تابع ضرر و زیان ذکرگر تعداد تمام مثالهای جانور در گروهداده میباشد.
گام ۴
برای حصول شایسته ترین خروجی، بایستی مقدار تابع خسارت را کمینه کنیم. برای کمینهسازی تابع ضرر و زیان از روشی بهاسم «گرادیان نزولی» (Gradient Descent) به کار گیری میکنیم. به دنبال بیشتر با روش کارکرد گرادیان نزولی آشنا میشویم.
گرادیان نزولی
«تابع هزینه» (Cost Function) فرمولی ریاضیاتی برای به حساب آوردن اشتباه یا این که به عبارتی تفاضل در بین مقادیر پیشبینی گردیده و حقیقی وواقعی میباشد. چنانچه به معادله تابع ضرر و زیان دقت کنیم، متوجه میشویم که واحد سنجش اشتباه به صورت عبارتی درجه دو احتساب میگردد. در حالتیکه تابع ضرر را برای پارامترهای «وزنی» (Weights) یا این که به عبارتی m و c در معادله رسم کنیم، با یک منحنی «سهمی» (Parabolic) مواجه میشویم. حالا و از آنجایی که مقصود ما کمینهسازی تابع ضرر میباشد، بایستی به سمت کف این منحنی جنبش کنیم.
نمونه گرادیان نزولی
برای کشف کردن جهت و مقدار تکان ضرروزیان، می بایست از پارمترهای وزنی $ m $ و $ c $ نسبت به تابع خسارت مشتق سکو اولیه بگیریم. آن گاه فیض را در ثابتی بهاسم «نرخ یادگیری» (Learning Rate) یا این که \\alpha ضرب کرده و مقدار وزنی نو بهدست آمده را از وزن نخستین نادر کنیم.
W
=
w
i
n
i
t
−
α
d
L
d
w
آنقدر این مرحله را تکرار میکنیم تا به مقدار کمینه یا این که به اصطلاح «کمینه سراسری» (Global Minima) برسیم. برای آنکه هدفی آخری داشته باشیم، پاره ای بسیار معدود مانند ۰/۰۰۰۱ را تحت عنوان کمینه سراسری در لحاظ می گیریم. اگر کهاین حد آستانه را تعریف و تمجید نکنیم، ممکن میباشد هیچگاه به مقدار صفر مطلق نرسیم و تابع در رینگای نامتناهی گرفتار خواهد شد.
مقاله پیشنهادی: گرادیان نزولی (Gradient Descent) و طراحی آن در پایتون — راهنمای کاربردی
گام ۵
زمانی مقدار تابع ضرروزیان کمینه شد، در مرحله انتها میتوانیم مقدار خروجی $ y $ را بهازای هر مثال $ x $، با به کار گیری از معادله خط و وزنهای باصرفه گردیده بهدست آوریم.