Keras: Loss and Loss Function - Revision history

Onnowpurbo: /* Summary */

2019-08-31T03:32:57Z

Summary

← Older revision		Revision as of 03:32, 31 August 2019
Line 282:		Line 282:
	==Summary==		==Summary==

	~~In this post~~, ~~you discovered the role of~~ loss ~~and~~ loss ~~functions in~~ training deep learning neural ~~networks and how to choose the right loss function for your predictive modeling problems.~~		Dalam tulisan ini, kita menemukan peran fungsi loss dan loss itu sendiri dalam training deep learning neural network dan bagaimana memilih fungsi loss yang tepat untuk masalah pemodelan prediktif yang kita lakukan.

	~~Specifically, you learned:~~

	* Neural networks are trained using an optimization process that requires a loss function to calculate the model error.
	* Maximum Likelihood provides a framework for choosing a loss ~~function when training neural networks and machine learning models in general.~~
	* Cross-entropy and mean squared error are the two main types of loss functions to use when training neural network models.

			Terutama, kita belajar:

			* Neural network di training menggunakan proses optimasi yang membutuhkan fungsi loss untuk menghitung error pada model.
			* Maximum Likelihood memberikan framework untuk memilih fungsi loss saat men-training neural network dan model machine learning secara umum.
			* Cross-entropy dan mean squared error adalah dua tipe utama fungsi loss yang digunakan saat melakukan training model neural network.

	==Referensi==		==Referensi==

Onnowpurbo: /* Fungsi Loss dan Kinerja Model yang di laporkan */

2019-08-31T03:29:09Z

Fungsi Loss dan Kinerja Model yang di laporkan

← Older revision		Revision as of 03:29, 31 August 2019
Line 252:		Line 252:
	Namun demikian, kita mungkin atau mungkin juga tidak ingin melaporkan kinerja model menggunakan fungsi loss.		Namun demikian, kita mungkin atau mungkin juga tidak ingin melaporkan kinerja model menggunakan fungsi loss.

	~~For example~~, logarithmic loss ~~is challenging to interpret~~, ~~especially for non-~~machine learning ~~practitioner stakeholders~~. ~~The same can be said for the mean~~ squared error. ~~Instead~~, ~~it may be more important to report the accuracy and~~ root mean squared error ~~for models used for classification and regression respectively~~.		Sebagai contoh, logarithmic loss sulit untuk ditafsirkan, terutama untuk para pemangku kepentingan yang bukan praktisi machine learning. Hal yang sama dapat dikatakan untuk gmean squared error. Sebagai gantinya, mungkin lebih penting untuk melaporkan akurasi dan root mean squared error untuk masing-masing model yang digunakan untuk klasifikasi dan regresi.

	~~It may also be desirable to choose models based on these metrics instead of~~ loss. ~~This is an important consideration~~, ~~as the~~ model ~~with the~~ minimum ~~loss may not be the~~ model ~~with best metric that is important to project stakeholders~~.		Mungkin juga diinginkan untuk memilih model berdasarkan pada metrik ini daripada loss. Ini merupakan pertimbangan penting, karena model dengan loss minimum mungkin bukan model dengan metrik terbaik yang penting bagi pemangku kepentingan proyek.

	~~A good division to consider is to use the~~ loss ~~to evaluate and diagnose how well the~~ model ~~is learning~~. ~~This includes all of the considerations of the optimization process~~, ~~such as~~ overfitting, underfitting, ~~and convergence~~. ~~An alternate metric can then be chosen that has meaning to the project stakeholders to both evaluate~~ model ~~performance and perform~~ model ~~selection~~.		Pembagian yang baik untuk dipertimbangkan adalah menggunakan loss untuk mengevaluasi dan mendiagnosis sebaik apa model pembelajaran. Ini termasuk semua pertimbangan proses optimasi, seperti overfitting, underfitting, dan konvergensi. Metrik alternatif kemudian dapat dipilih yang memiliki arti bagi pemangku kepentingan proyek untuk mengevaluasi kinerja model dan melakukan pemilihan model.

	Loss: ~~Used to evaluate and diagnose~~ model ~~optimization only~~.		Loss: Digunakan untuk meng-evaluasi dan hanya mendiagnosa optimalisasi model.
	Metric: ~~Used to evaluate and choose models in the context of the project~~.		Metric: Digunakan untuk meng-evaluasi dan memilih model dalam konteks proyek yang dikembangkan.

	~~The same metric can be used for both concerns but it is more likely that the concerns of the optimization process will differ from the goals of the project and different scores will be required~~. ~~Nevertheless~~, ~~it is often the case that improving the~~ loss ~~improves or~~, ~~at worst~~, ~~has no effect on the metric of interest~~.		Metrik yang sama dapat digunakan untuk kedua masalah tersebut, tetapi kemungkinan besar masalah proses optimasi akan berbeda dari tujuan proyek dan skor yang berbeda akan diperlukan. Namun demikian, sering terjadi bahwa peningkatan loss akan meningkat atau, paling buruk, tidak berpengaruh pada metrik yang penting.

	==Further Reading==		==Further Reading==

Onnowpurbo: /* Loss Functions and Reported Model Performance */

2019-08-31T02:59:22Z

Loss Functions and Reported Model Performance

← Older revision		Revision as of 02:59, 31 August 2019
Line 246:		Line 246:
	Untuk effisiensi implementasi, sangat di sarankan untuk melihat fungsi scikit-learn log_loss() .		Untuk effisiensi implementasi, sangat di sarankan untuk melihat fungsi scikit-learn log_loss() .

	==Loss ~~Functions and Reported~~ Model ~~Performance~~==		==Fungsi Loss dan Kinerja Model yang di laporkan==

	~~Given a~~ framework of maximum likelihood, ~~we know that we want to use a~~ cross-entropy or mean squared error loss ~~function under~~ stochastic gradient descent.		Dengan framework of maximum likelihood, kita tahu bahwa kita ingin menggunakan fungsi cross-entropy atau mean squared error loss functiondi dalam stochastic gradient descent.

	~~Nevertheless~~, ~~we may or may not want to report the performance of the~~ model ~~using the~~ loss ~~function~~.		Namun demikian, kita mungkin atau mungkin juga tidak ingin melaporkan kinerja model menggunakan fungsi loss.

	For example, logarithmic loss is challenging to interpret, especially for non-machine learning practitioner stakeholders. The same can be said for the mean squared error. Instead, it may be more important to report the accuracy and root mean squared error for models used for classification and regression respectively.		For example, logarithmic loss is challenging to interpret, especially for non-machine learning practitioner stakeholders. The same can be said for the mean squared error. Instead, it may be more important to report the accuracy and root mean squared error for models used for classification and regression respectively.

Onnowpurbo: /* Cross-Entropy Loss (atau Log Loss) */

2019-08-31T02:51:44Z

Cross-Entropy Loss (atau Log Loss)

← Older revision		Revision as of 02:51, 31 August 2019
Line 227:		Line 227:
	return -mean_sum_score		return -mean_sum_score

	~~Note~~, ~~we add a very small value~~ (~~in this case~~ 1E-15) ~~to the predicted probabilities to avoid ever calculating the~~ log of 0.0. ~~This means that in practice~~, ~~the best possible loss will be a value very close to zero~~, ~~but not exactly zero~~.		Catatan, kita menambahkan nilai yang sangat kecil (dalam hal ini 1E-15) ke probabilitas yang diprediksi untuk menghindari penghitungan log 0,0. Ini berarti bahwa dalam praktiknya, kerugian terbaik adalah nilai yang mendekati nol, tetapi tidak sepenuhnya nol.

	Cross-entropy ~~can be calculated for~~ multiple-class classification. ~~The classes have been~~ one hot encoded, ~~meaning that there is a binary feature for each class value and the predictions must have predicted probabilities for each of the classes~~. ~~The cross~~-entropy ~~is then summed across each binary feature and averaged across all examples in the~~ dataset.		Cross-entropy dapat dihitung untuk multiple-class classification. Kelas-kelas telah di one hot encoded, yang berarti bahwa ada fitur biner untuk setiap nilai kelas dan prediksi harus memperkirakan probabilitas untuk masing-masing kelas. Cross-entropy kemudian dijumlahkan di setiap fitur biner dan dirata-rata di semua contoh dalam dataset.

	~~The~~ Python ~~function below provides a~~ pseudocode-like ~~working implementation of a function for calculating the~~ cross-entropy ~~for a list of actual~~ one hot encoded ~~values compared to predicted probabilities for each class~~.		Fungsi Python di bawah ini menyediakan implementasi fungsi pseudocode-like dari fungsi untuk menghitung cross-entropy untuk daftar aktual satu nilai one hot encoded dibandingkan dengan probabilitas yang diprediksi untuk setiap kelas.

	from math import log		from math import log
Line 244:		Line 244:
	return -mean_sum_score		return -mean_sum_score

	~~For an efficient implementation~~, ~~I’d encourage you to use the~~ scikit-learn log_loss() ~~function~~.		Untuk effisiensi implementasi, sangat di sarankan untuk melihat fungsi scikit-learn log_loss() .

	==Loss Functions and Reported Model Performance==		==Loss Functions and Reported Model Performance==

Onnowpurbo: /* Cross-Entropy Loss (atau Log Loss) */

2019-08-31T02:45:32Z

Cross-Entropy Loss (atau Log Loss)

← Older revision		Revision as of 02:45, 31 August 2019
Line 209:		Line 209:
	Cross-entropy loss sering disebut sebagai “cross-entropy,” “logarithmic loss,” “logistic loss,” atau “log loss” untuk pendek-nya.		Cross-entropy loss sering disebut sebagai “cross-entropy,” “logarithmic loss,” “logistic loss,” atau “log loss” untuk pendek-nya.

	~~Each predicted probability is compared to the actual class~~ output ~~value~~ (0 or 1) ~~and a score is calculated that penalizes the probability based on the distance from the expected value~~. ~~The penalty is logarithmic~~, ~~offering a small score for small differences~~ (0.1 or 0.2) ~~and enormous score for a large difference~~ (0.9 or 1.0).		Setiap probabilitas yang diprediksi dibandingkan dengan nilai output kelas sebenarnya (0 atau 1) dan skor dihitung yang kemudian memberikan penalti / menghukum probabilitas yang diberikan berdasarkan jarak dari nilai yang diharapkan. Hukumannya adalah logaritmik, menawarkan skor kecil untuk perbedaan kecil (0,1 atau 0,2) dan skor besar untuk perbedaan besar (0,9 atau 1,0).

	Cross-entropy loss ~~is minimized~~, ~~where smaller values represent a better~~ model ~~than larger values~~. A model ~~that predicts perfect probabilities has a~~ cross entropy or log loss of 0.0.		Cross-entropy loss diminimalkan, di mana nilai yang lebih kecil mewakili model yang lebih baik daripada nilai yang lebih besar. Sebuah model yang memprediksi probabilitas secara sempurna memiliki cross entropy atau log loss sebesar 0,0.

	Cross-entropy ~~for a binary or two class prediction problem is actually calculated as the average~~ cross entropy ~~across all examples~~.		Cross-entropy untuk masalah prediksi biner atau dua kelas sebenarnya dihitung sebagai rata-rata cross entropy di semua contoh yang diberikan.

	~~The~~ Python ~~function below provides a~~ pseudocode~~-like working implementation of a function for calculating the~~ cross-entropy ~~for a~~ list ~~of actual~~ 0 ~~and~~ 1 ~~values compared to predicted probabilities for the class~~ 1.		Fungsi Python di bawah ini menyediakan implementasi fungsi pseudocode seperti fungsi untuk menghitung cross-entropy untuk list nilai 0 dan 1 yang sebenarnya dibandingkan dengan probabilitas yang diprediksi untuk kelas 1.

	from math import log		from math import log

Onnowpurbo: /* Cross-Entropy Loss (or Log Loss) */

2019-08-31T02:38:37Z

Cross-Entropy Loss (or Log Loss)

← Older revision		Revision as of 02:38, 31 August 2019
Line 205:		Line 205:
	Untuk implementasi yang effisien, sangat disarankan untuk menggunakan fungsi di scikit-learn mean_squared_error().		Untuk implementasi yang effisien, sangat disarankan untuk menggunakan fungsi di scikit-learn mean_squared_error().

	===Cross-Entropy Loss (or Log Loss)===		===Cross-Entropy Loss (atau Log Loss)===

	Cross-entropy loss ~~is often simply referred to as~~ “cross-entropy,” “logarithmic loss,” “logistic loss,” or “log loss” ~~for short~~.		Cross-entropy loss sering disebut sebagai “cross-entropy,” “logarithmic loss,” “logistic loss,” atau “log loss” untuk pendek-nya.

	Each predicted probability is compared to the actual class output value (0 or 1) and a score is calculated that penalizes the probability based on the distance from the expected value. The penalty is logarithmic, offering a small score for small differences (0.1 or 0.2) and enormous score for a large difference (0.9 or 1.0).		Each predicted probability is compared to the actual class output value (0 or 1) and a score is calculated that penalizes the probability based on the distance from the expected value. The penalty is logarithmic, offering a small score for small differences (0.1 or 0.2) and enormous score for a large difference (0.9 or 1.0).

Onnowpurbo: /* Cara Meng-Implementasi Fungsi Loss */

2019-08-31T02:37:39Z

Cara Meng-Implementasi Fungsi Loss

← Older revision		Revision as of 02:37, 31 August 2019
Line 192:		Line 192:
	Mean Squared Error loss, atau singkatnya MSE, dihitung sebagai rata-rata perbedaan kuadrat antara nilai yang diprediksi dan yang sebenarnya.		Mean Squared Error loss, atau singkatnya MSE, dihitung sebagai rata-rata perbedaan kuadrat antara nilai yang diprediksi dan yang sebenarnya.

	~~The result is always positive regardless of the sign of the predicted and actual values and a perfect value is~~ 0.0. ~~The loss value is minimized~~, ~~although it can be used in a maximization optimization process by making the score negative~~.		Hasilnya selalu positif terlepas dari tanda nilai yang diprediksi dan nilai aktual dengan nilai sempurna adalah 0,0. Nilai kerugian diminimalkan, meskipun dapat digunakan dalam proses optimisasi maksimalisasi dengan membuat skor menjadi negatif.
			Fungsi Python di bawah ini menggambarkan implementasi fungsi pseudocode-like dari fungsi untuk menghitung mean squared error untuk nilai aktual dan perkiraan nilai riil.
	~~The~~ Python ~~function below provides a~~ pseudocode-like ~~working implementation of a function for calculating the~~ mean squared error ~~for a list of actual and a list of predicted real-valued quantities~~.

	# calculate mean squared error		# calculate mean squared error
Line 204:		Line 203:
	return mean_square_error		return mean_square_error

			Untuk implementasi yang effisien, sangat disarankan untuk menggunakan fungsi di scikit-learn mean_squared_error().
	~~For an efficient implementation~~, ~~I’d encourage you to use the~~ scikit-learn mean_squared_error() ~~function~~.

	===Cross-Entropy Loss (or Log Loss)===		===Cross-Entropy Loss (or Log Loss)===

Onnowpurbo: /* Binary Classification Problem */

2019-08-31T02:33:52Z

Binary Classification Problem

← Older revision		Revision as of 02:33, 31 August 2019
Line 170:		Line 170:
	Masalah di mana kita mengklasifikasikan sebuah contoh sebagai salah satu dari dua kelas.		Masalah di mana kita mengklasifikasikan sebuah contoh sebagai salah satu dari dua kelas.

	Masalah dibingkai sebagai memprediksi kemungkinan contoh yang kita miliki termasuk kelas "satu", ~~missalnya~~ kelas yang anda tetapkan nilai integer 1, sedangkan kelas lainnya diberi nilai 0.		Masalah dibingkai sebagai memprediksi kemungkinan contoh yang kita miliki termasuk kelas "satu", misalnya kelas yang anda tetapkan nilai integer 1, sedangkan kelas lainnya diberi nilai 0.

	Konfigurasi Output Layer: One node dengan sigmoid activation unit.		Konfigurasi Output Layer: One node dengan sigmoid activation unit.

Onnowpurbo: /* Mean Squared Error Loss */

2019-08-31T02:32:30Z

Mean Squared Error Loss

← Older revision		Revision as of 02:32, 31 August 2019
Line 206:		Line 206:

	For an efficient implementation, I’d encourage you to use the scikit-learn mean_squared_error() function.		For an efficient implementation, I’d encourage you to use the scikit-learn mean_squared_error() function.
	Cross-Entropy Loss (or Log Loss)
			===Cross-Entropy Loss (or Log Loss)===

	Cross-entropy loss is often simply referred to as “cross-entropy,” “logarithmic loss,” “logistic loss,” or “log loss” for short.		Cross-entropy loss is often simply referred to as “cross-entropy,” “logarithmic loss,” “logistic loss,” or “log loss” for short.

Onnowpurbo: /* How to Implement Loss Functions */

2019-08-31T02:31:41Z

How to Implement Loss Functions

← Older revision		Revision as of 02:31, 31 August 2019
Line 184:		Line 184:
	Fungsi Loss: Cross-Entropy, juga dikenal sebagai Logarithmic loss.		Fungsi Loss: Cross-Entropy, juga dikenal sebagai Logarithmic loss.

	==~~How to Implement~~ Loss ~~Functions~~==		==Cara Meng-Implementasi Fungsi Loss==

	~~In order to make the~~ loss ~~functions concrete~~, ~~this section explains how each of the main types of~~ loss ~~function works and how to calculate the score in~~ Python.		Untuk membuat fungsi loss menjadi kenyataan, bagian ini menjelaskan cara kerja masing-masing jenis fungsi loss dan cara menghitung skor dengan Python.
	~~Mean Squared Error Loss~~

	Mean Squared Error loss, or MSE ~~for short~~, ~~is calculated as the average of the squared differences between the predicted and actual values~~.		===Mean Squared Error Loss===

			Mean Squared Error loss, atau singkatnya MSE, dihitung sebagai rata-rata perbedaan kuadrat antara nilai yang diprediksi dan yang sebenarnya.

	The result is always positive regardless of the sign of the predicted and actual values and a perfect value is 0.0. The loss value is minimized, although it can be used in a maximization optimization process by making the score negative.		The result is always positive regardless of the sign of the predicted and actual values and a perfect value is 0.0. The loss value is minimized, although it can be used in a maximization optimization process by making the score negative.