Orange: Metric Evaluation Model - Revision history

Onnowpurbo: /* Referensi */

2020-01-29T00:27:12Z

Referensi

← Older revision		Revision as of 00:27, 29 January 2020
Line 122:		Line 122:

	* https://towardsdatascience.com/how-to-select-the-right-evaluation-metric-for-machine-learning-models-part-1-regrression-metrics-3606e25beae0		* https://towardsdatascience.com/how-to-select-the-right-evaluation-metric-for-machine-learning-models-part-1-regrression-metrics-3606e25beae0


			==Pranala Menarik==

			* [[Data Science]]
			* [[Orange]]

Onnowpurbo: /* Take-home message */

2020-01-29T00:26:45Z

Take-home message

← Older revision		Revision as of 00:26, 29 January 2020
Line 115:		Line 115:
	[[File:Metric9.png\|center\|200px\|thumb]]		[[File:Metric9.png\|center\|200px\|thumb]]

	==~~Take-home message~~==		==Kesimpulan==

	In this article, we discussed several important regression metrics. We first discussed, Mean Square Error and realized that the best constant for it is the mean targeted value. Root Mean Square Error, and R² are very similar to MSE from optimization perspective. We then discussed Mean Absolute Error and when people prefer to use MAE over MSE.





			Dalam artikel ini, kita membahas beberapa metrik regresi penting. Kita pertama kali membahas, Mean Square Error dan menyadari bahwa konstanta terbaik untuk itu adalah nilai target rata-rata. Root Mean Square Error, dan R² sangat mirip dengan MSE dari perspektif optimasi. Kami kemudian mendiskusikan Mean Absolute Error dan kapan orang lebih suka menggunakan MAE daripada MSE.

	==Referensi==		==Referensi==

	* https://towardsdatascience.com/how-to-select-the-right-evaluation-metric-for-machine-learning-models-part-1-regrression-metrics-3606e25beae0		* https://towardsdatascience.com/how-to-select-the-right-evaluation-metric-for-machine-learning-models-part-1-regrression-metrics-3606e25beae0

Onnowpurbo: /* MAE vs MSE */

2020-01-29T00:25:35Z

MAE vs MSE

← Older revision		Revision as of 00:25, 29 January 2020
Line 111:		Line 111:
	==MAE vs MSE==		==MAE vs MSE==

	~~I stated that~~ MAE ~~is more~~ robust (~~less sensitive to outliers~~) ~~than~~ MSE ~~but this doesn’t mean it is always better to use~~ MAE. ~~The following questions help you to decide~~:		Biasanya MAE lebih robust (kurang sensitif terhadap outlier) daripada MSE tetapi ini tidak berarti selalu lebih baik menggunakan MAE. Pertanyaan-pertanyaan berikut membantu kita untuk memutuskan:


	[[File:Metric9.png\|center\|200px\|thumb]]		[[File:Metric9.png\|center\|200px\|thumb]]


	==Take-home message==		==Take-home message==

Onnowpurbo: /* R Squared (R²) */

2020-01-29T00:24:39Z

R Squared (R²)

← Older revision		Revision as of 00:24, 29 January 2020
Line 87:		Line 87:
	==R Squared (R²)==		==R Squared (R²)==

	~~Now~~, ~~what if I told you that~~ MSE ~~for my models predictions is~~ 32? ~~Should I improve my~~ model ~~or is it good enough~~?~~Or what if my~~ MSE ~~was~~ 0.4?~~Actually~~, ~~it’s hard to realize if our~~ model ~~is good or not by looking at the absolute values of~~ MSE or RMSE.~~We would probably want to measure how much our~~ model ~~is better than the constant~~ baseline.		Sekarang, bagaimana jika saya memberi tahu anda bahwa MSE untuk prediksi model saya adalah 32? Haruskah saya meningkatkan model saya atau cukup baik? Atau bagaimana jika MSE saya adalah 0,4? Sebenarnya, sulit untuk menyadari apakah model kita baik atau tidak dengan melihat nilai absolut MSE atau RMSE. Kita mungkin ingin mengukur seberapa banyak model kami lebih baik daripada baseline konstan.

	~~The coefficient~~ of determination, or R² (~~sometimes read as~~ R-two), ~~is another~~ metric ~~we may use to evaluate a~~ model ~~and it is closely related to~~ MSE, ~~but has the advantage of being scale~~-~~free — it doesn’t matter if the~~ output ~~values are very large or very small~~, ~~the~~ R² ~~is always going to be between~~ -∞ and 1.		Coefficient of determination, atau R² (atau di kenal sebagai R-two), adalah metric lainyang bisa kita gunakan untyk mengevaluasi sebuah model dan ini berhubungan cukup dekat dengan MSE, tetapi memiliki keuntungan karena bebas skala - tidak masalah jika nilai output sangat besar atau sangat kecil, R² akan selalu berada di antara -∞ and 1.

	~~When~~ R² ~~is negative it means that the~~ model ~~is worse than predicting the mean~~.		Ketika R² negatif, artinya model lebih buruk daripada memprediksi rata-rata.

	[[File:Metric7.png\|center\|200px\|thumb]]		[[File:Metric7.png\|center\|200px\|thumb]]

	~~The~~ MSE ~~of the~~ model ~~is computed as above~~, ~~while the~~ MSE ~~of the~~ baseline ~~is defined as~~:		MSE dari model dihitung seperti di atas, sedangkan MSE dari baseline didefinisikan sebagai:

	[[File:Metric8.png\|center\|200px\|thumb]]		[[File:Metric8.png\|center\|200px\|thumb]]

	~~where the~~ y ~~with a~~ bar ~~is the mean of the observed~~ yᵢ.		di mana y dengan bar adalah rata-rata yᵢ yang diamati.

	~~To make it more clear~~, ~~this baseline~~ MSE ~~can be thought of as the~~ MSE ~~that the simplest possible~~ model ~~would get~~. ~~The simplest possible model would be to always predict the average of all samples~~. ~~A value close to~~ 1 ~~indicates a~~ model ~~with close to zero error~~, ~~and a value close to zero indicates a~~ model ~~very close to the~~ baseline.		Untuk membuatnya lebih jelas, MSE dasar ini dapat dianggap sebagai MSE yang model paling sederhana mungkin dapatkan. Model yang paling sederhana adalah dengan selalu memprediksi rata-rata semua sampel. Nilai mendekati 1 menunjukkan model dengan kesalahan hampir nol, dan nilai mendekati nol menunjukkan model yang sangat dekat dengan baseline.

	~~In conclusion~~, R² ~~is the ratio between how good our~~ model is vs ~~how good is the naive mean~~ model.		Kesimpulannya, R² adalah rasio antara seberapa baik model kami vs seberapa baik adalah model rata-rata naif.

	~~Common Misconception~~: ~~Alot of articles in the~~ web ~~states that the range of~~ R² ~~lies between~~ 0 ~~and~~ 1 ~~which is not actually true~~. ~~The maximum value of~~ R² is 1 ~~but~~ minimum ~~can be~~ minus ~~infinity~~.		Kesalahpahaman umum: Banyak artikel di web menyatakan bahwa kisaran R² terletak antara 0 dan 1 yang sebenarnya tidak benar. Nilai maksimum R² adalah 1 tetapi minimum bisa minus tak terhingga.

	~~For example~~, ~~consider a really crappy~~ model ~~predicting highly negative value for all the observations even though~~ y_actual ~~is positive~~. ~~In this case~~, R² ~~will be less than~~ 0. ~~This is a highly unlikely scenario but the possibility still exists~~.		Sebagai contoh, pertimbangkan model yang benar-benar jelek yang memprediksi nilai sangat negatif untuk semua pengamatan meskipun y_actual positif. Dalam hal ini, R² akan kurang dari 0. Ini adalah skenario yang sangat tidak mungkin tetapi kemungkinan masih ada.

	==MAE vs MSE==		==MAE vs MSE==

Onnowpurbo: /* Mean Absolute Error (MAE) */

2020-01-28T07:07:32Z

Mean Absolute Error (MAE)

← Older revision		Revision as of 07:07, 28 January 2020
Line 78:		Line 78:
	Sekarang, gradien tidak didefinisikan ketika prediksi sempurna, karena ketika Y_hat sama dengan Y, kita tidak dapat mengevaluasi gradien. Itu tidak didefinisikan.		Sekarang, gradien tidak didefinisikan ketika prediksi sempurna, karena ketika Y_hat sama dengan Y, kita tidak dapat mengevaluasi gradien. Itu tidak didefinisikan.

	[[File:Metric6.png\|center\|~~200px~~\|thumb]]		[[File:Metric6.png\|center\|400px\|thumb]]


	Jadi secara formal, MAE tidak dapat dibedakan, tetapi pada kenyataannya, seberapa sering prediksi mereka mengukur target dengan sempurna. Bahkan jika mereka melakukannya, kita dapat menulis kondisi IF sederhana dan returnzero ketika itu terjadi dan melalui gradien sebaliknya. Ketahuilah juga bahwa turunan kedua adalah nol di mana-mana dan tidak didefinisikan di titik nol.		Jadi secara formal, MAE tidak dapat dibedakan, tetapi pada kenyataannya, seberapa sering prediksi mereka mengukur target dengan sempurna. Bahkan jika mereka melakukannya, kita dapat menulis kondisi IF sederhana dan returnzero ketika itu terjadi dan melalui gradien sebaliknya. Ketahuilah juga bahwa turunan kedua adalah nol di mana-mana dan tidak didefinisikan di titik nol.

	~~Note that if we want to have a constant prediction the best one will be the~~ median ~~value of the~~ target ~~values~~. ~~It can be found by setting the derivative of our~~ total ~~error with respect to that constant to zero~~, ~~and find it from this equation~~.		Perhatikan bahwa jika kita ingin memiliki prediksi konstan, yang terbaik adalah nilai median dari nilai target. Ini dapat ditemukan dengan menetapkan turunan dari kesalahan total kita sehubungan dengan konstanta ke nol, dan menemukannya dari persamaan ini.

	==R Squared (R²)==		==R Squared (R²)==

Onnowpurbo: /* Mean Absolute Error (MAE) */

2020-01-28T07:06:07Z

Mean Absolute Error (MAE)

← Older revision		Revision as of 07:06, 28 January 2020
Line 74:		Line 74:
	MAE banyak digunakan dalam keuangan, di mana kesalahan $10 biasanya dua kali lebih buruk daripada kesalahan $5. Di sisi lain, metrik MSE berpikir bahwa kesalahan $10 adalah empat kali lebih buruk daripada kesalahan $5. MAE lebih mudah di justifikasi daripada RMSE.		MAE banyak digunakan dalam keuangan, di mana kesalahan $10 biasanya dua kali lebih buruk daripada kesalahan $5. Di sisi lain, metrik MSE berpikir bahwa kesalahan $10 adalah empat kali lebih buruk daripada kesalahan $5. MAE lebih mudah di justifikasi daripada RMSE.

	~~Another important thing about~~ MAE ~~is its gradients with respect to the predictions~~.~~The gradiend is a step function and it takes~~ -1 ~~when~~ Y_hat ~~is smaller than the~~ target ~~and~~ +1 ~~when it is larger.~~		Hal penting lainnya tentang MAE adalah gradiennya sehubungan dengan prediksi. Gradien adalah fungsi langkah dan dibutuhkan -1 saat Y_hat lebih kecil dari target dan +1 saat lebih besar.

	~~Now, the gradient is not defined when the prediction is perfect,because when Y_hat is equal to Y, we can not evaluate gradient. It is not defined~~.

			Sekarang, gradien tidak didefinisikan ketika prediksi sempurna, karena ketika Y_hat sama dengan Y, kita tidak dapat mengevaluasi gradien. Itu tidak didefinisikan.

	[[File:Metric6.png\|center\|200px\|thumb]]		[[File:Metric6.png\|center\|200px\|thumb]]


	~~So formally~~, MAE ~~is not differentiable~~, ~~but in fact~~, ~~how often your predictions perfectly measure the~~ target. ~~Even if they do~~, ~~we can write a simple~~ IF ~~condition and~~ returnzero ~~when it is the case and through gradient otherwise~~. ~~Also know that second derivative is zero everywhere and not defined in the point zero~~.		Jadi secara formal, MAE tidak dapat dibedakan, tetapi pada kenyataannya, seberapa sering prediksi mereka mengukur target dengan sempurna. Bahkan jika mereka melakukannya, kita dapat menulis kondisi IF sederhana dan returnzero ketika itu terjadi dan melalui gradien sebaliknya. Ketahuilah juga bahwa turunan kedua adalah nol di mana-mana dan tidak didefinisikan di titik nol.

	Note that if we want to have a constant prediction the best one will be the median value of the target values. It can be found by setting the derivative of our total error with respect to that constant to zero, and find it from this equation.		Note that if we want to have a constant prediction the best one will be the median value of the target values. It can be found by setting the derivative of our total error with respect to that constant to zero, and find it from this equation.

Onnowpurbo: /* Mean Absolute Error (MAE) */

2020-01-28T06:57:33Z

Mean Absolute Error (MAE)

← Older revision		Revision as of 06:57, 28 January 2020
Line 66:		Line 66:
	==Mean Absolute Error (MAE)==		==Mean Absolute Error (MAE)==

	In MAE ~~the error is calculated as an average of absolute differences between the~~ target ~~values and the predictions~~. ~~The~~ MAE ~~is a linear score which means that all the individual differences are weighted equally in the average~~. ~~For example~~, ~~the difference between~~ 10 ~~and~~ 0 ~~will be twice the difference between~~ 5 ~~and~~ 0. ~~However~~, ~~same is not true for~~ RMSE. ~~Mathematically~~, ~~it is calculated using this formula~~:		Dalam MAE kesalahan dihitung sebagai rata-rata perbedaan absolut antara nilai target dan prediksi. MAE adalah skor linier yang berarti bahwa semua perbedaan individu diberi bobot yang sama rata-rata. Misalnya, perbedaan antara 10 dan 0 akan menjadi dua kali perbedaan antara 5 dan 0. Namun, hal yang sama tidak berlaku untuk RMSE. Secara matematis, dihitung menggunakan rumus ini:


	[[File:Metric5.png\|center\|200px\|thumb]]		[[File:Metric5.png\|center\|200px\|thumb]]

	~~What is important about this metric is that it penalizes huge errors that not as that badly as~~ MSE ~~does~~. ~~Thus~~, ~~it’s not that sensitive to outliers as mean square error~~.		Yang penting tentang metrik ini adalah metrik ini menghukum kesalahan besar yang tidak separah MSE. Dengan demikian, itu tidak sensitif terhadap outlier sebagai kesalahan kuadrat rata-rata.

	MAE ~~is widely used in finance~~, ~~where~~ $10 ~~error is usually exactly two times worse than~~ $5 ~~error~~. ~~On the other hand~~, MSE ~~metric thinks that~~ $10 ~~error is four times worse than~~ $5 ~~error~~. MAE ~~is easier to justify than~~ RMSE.		MAE banyak digunakan dalam keuangan, di mana kesalahan $10 biasanya dua kali lebih buruk daripada kesalahan $5. Di sisi lain, metrik MSE berpikir bahwa kesalahan $10 adalah empat kali lebih buruk daripada kesalahan $5. MAE lebih mudah di justifikasi daripada RMSE.

	Another important thing about MAE is its gradients with respect to the predictions.The gradiend is a step function and it takes -1 when Y_hat is smaller than the target and +1 when it is larger.		Another important thing about MAE is its gradients with respect to the predictions.The gradiend is a step function and it takes -1 when Y_hat is smaller than the target and +1 when it is larger.

Onnowpurbo: /* Root Mean Squared Error (RMSE) */

2020-01-28T06:53:51Z

Root Mean Squared Error (RMSE)

← Older revision		Revision as of 06:53, 28 January 2020
Line 60:		Line 60:
	Gradien RMSE sehubungan dengan prediksi ke-i		Gradien RMSE sehubungan dengan prediksi ke-i

	~~It means that travelling along~~ MSE gradient ~~is equivalent to traveling along~~ RMSE gradient ~~but with a different flowing rate and the flowing rate depends on~~ MSE ~~score itself~~.		Ini berarti bahwa perjalanan sepanjang MSE gradient sama dengan perjalanan di sepanjang RMSE gradient tetapi dengan laju aliran yang berbeda dan laju aliran tergantung pada skor MSE itu sendiri.

	~~So even though~~ RMSE ~~and~~ MSE ~~are really similar in terms of models scoring~~, ~~they can be not immediately interchangeable for gradient based methods~~. ~~We will probably need to adjust some parameters like the~~ learning rate.		Jadi meskipun RMSE dan MSE benar-benar mirip dalam hal penilaian model, mereka tidak dapat segera dipertukarkan untuk metode berbasis gradien. Kita mungkin perlu menyesuaikan beberapa parameter seperti learning rate.

	==Mean Absolute Error (MAE)==		==Mean Absolute Error (MAE)==

Onnowpurbo: /* Root Mean Squared Error (RMSE) */

2020-01-28T06:24:47Z

Root Mean Squared Error (RMSE)

← Older revision		Revision as of 06:24, 28 January 2020
Line 52:		Line 52:
	Apa arti-nya bagi kita?		Apa arti-nya bagi kita?

	~~It means that~~, ~~if the~~ target ~~metric is~~ RMSE, ~~we still can compare our models using~~ MSE,~~since~~ MSE ~~will order the models in the same way as~~ RMSE. ~~Thus we can optimize~~ MSE ~~instead of~~ RMSE.		Ini berarti bahwa, jika metrik target adalah RMSE, kita masih dapat membandingkan model kita yang menggunakan MSE, karena MSE akan memberi perintah model dengan cara yang sama seperti RMSE. Dengan demikian kita dapat mengoptimalkan MSE daripada RMSE.

	~~In fact~~, MSE ~~is a little bit easier to work with~~, ~~so everybody uses~~ MSE ~~instead of~~ RMSE. ~~Also a little bit of difference between the two for gradient-based models~~.		Faktanya, MSE sedikit lebih mudah untuk dikerjakan, jadi semua orang menggunakan MSE daripada RMSE. Juga sedikit perbedaan antara keduanya untuk model berbasis gradien.

	[[File:Metric4.png\|center\|200px\|thumb]]		[[File:Metric4.png\|center\|200px\|thumb]]

	~~Gradient of~~ RMSE ~~with respect to~~ i~~-th prediction~~		Gradien RMSE sehubungan dengan prediksi ke-i

	It means that travelling along MSE gradient is equivalent to traveling along RMSE gradient but with a different flowing rate and the flowing rate depends on MSE score itself.		It means that travelling along MSE gradient is equivalent to traveling along RMSE gradient but with a different flowing rate and the flowing rate depends on MSE score itself.

Onnowpurbo: /* Root Mean Squared Error (RMSE) */

2020-01-28T06:18:47Z

Root Mean Squared Error (RMSE)

← Older revision		Revision as of 06:18, 28 January 2020
Line 46:		Line 46:
	Sekarang, sangat penting untuk memahami dalam hal apa RMSE mirip dengan MSE, jadi apa bedanya.		Sekarang, sangat penting untuk memahami dalam hal apa RMSE mirip dengan MSE, jadi apa bedanya.

	~~First~~, ~~they are similar in terms of their minimizers~~, ~~every~~ minimizer of MSE ~~is also a~~ minimizer ~~for~~ RMSE ~~and vice versa since the square root is an non-decreasing function~~. ~~For example~~, ~~if we have two sets of predictions~~, A ~~and~~ B, ~~and say~~ MSE of A ~~is greater than~~ MSE of B, ~~then we can be sure that~~ RMSE of A ~~is greater~~ RMSE of B.~~And it also works in the opposite direction~~.		Pertama, RMSE mirip dalam hal yang mereka minimum-kan, setiap minimizer MSE juga merupakan minimizer untuk RMSE dan sebaliknya karena akar kuadrat adalah fungsi yang tidak menurun. Misalnya, jika kita memiliki dua set prediksi, A dan B, dan katakanlah MSE dari A lebih besar daripada MSE dari B, maka kita dapat yakin bahwa RMSE dari A adalah RMSE yang lebih besar dari B. Dan hal itu juga berlaku untuk arah yang berlawanan.

	[[File:Metric3.png\|center\|400px\|thumb]]		[[File:Metric3.png\|center\|400px\|thumb]]

			Apa arti-nya bagi kita?
	~~What does it mean for us~~?

	It means that, if the target metric is RMSE, we still can compare our models using MSE,since MSE will order the models in the same way as RMSE. Thus we can optimize MSE instead of RMSE.		It means that, if the target metric is RMSE, we still can compare our models using MSE,since MSE will order the models in the same way as RMSE. Thus we can optimize MSE instead of RMSE.