Keras: Introduction to Mini-Batch Gradient Descent - Revision history

Onnowpurbo: /* Summary */

2019-09-10T04:31:31Z

Summary

← Older revision		Revision as of 04:31, 10 September 2019
Line 161:		Line 161:
	==Summary==		==Summary==

	~~In this post~~, ~~you discovered the~~ gradient descent ~~algorithm and the version that you should use in practice~~.		Dalam tulisan ini, kita menemukan algoritma gradient descent dan versi yang harus anda gunakan dalam praktek.

	~~Specifically, you learned:~~

	* What gradient descent is and how it works from a high level.
	* What batch, stochastic, and mini-batch gradient descent are and the benefits and limitations of each method.
	* That mini-batch gradient descent is the go-to method and how to configure it on your applications.



			Secara khusus, anda belajar:

			* Apa itu gradient descent dan bagaimana kerjanya dari tingkat tinggi.
			* Apakah batch, stochastic, dan mini-batch gradient descent serta manfaat dan keterbatasan masing-masing metode.
			* Itu mini-batch gradient descent adalah metode yang terbaik dan cara mengkonfigurasinya pada aplikasi anda.

	==Referensi==		==Referensi==

Onnowpurbo: /* How to Configure Mini-Batch Gradient Descent */

2019-09-10T04:28:56Z

How to Configure Mini-Batch Gradient Descent

← Older revision		Revision as of 04:28, 10 September 2019
Line 114:		Line 114:
	* Informasi error harus diakumulasikan melalui mini-batch contoh training seperti batch gradient descent.		* Informasi error harus diakumulasikan melalui mini-batch contoh training seperti batch gradient descent.

	==~~How to Configure~~ Mini-Batch Gradient Descent==		==Cara Mengkonfigurasi Mini-Batch Gradient Descent==

	Mini-batch gradient descent ~~is the recommended variant of~~ gradient descent ~~for most applications~~, ~~especially in~~ deep learning.		Mini-batch gradient descent adalah varian yang direkomendasikan dari gradient descent untuk sebagian besar aplikasi, terutama dalam deep learning.

	~~Mini~~-batch ~~sizes~~, ~~commonly called “batch sizes” for brevity~~, ~~are often tuned to an aspect of the computational architecture on which the implementation is being executed~~. ~~Such as a power of two that fits the memory requirements of the~~ GPU or CPU ~~hardware like~~ 32, 64, 128, 256, ~~and so on~~.		Ukuran mini-batch, biasa disebut "batch size" untuk singkatnya, sering disesuaikan dengan aspek arsitektur komputasi di mana implementasi sedang dieksekusi. Seperti kekuatan dua yang sesuai dengan kebutuhan memori GPU atau perangkat keras CPU seperti 32, 64, 128, 256, dan sebagainya.
			'
			Ukuran batch adalah slider pada proses pembelajaran.

	~~Batch size is a slider on the learning process.~~		* Nilai kecil memberikan proses pembelajaran yang konvergen dengan cepat pada cost of noise dalam proses training.
			* Nilai besar memberikan proses training yang konvergen lambat dengan estimasi akurat dari gradien error.
	* ~~Small values give a learning process that converges quickly at the~~ cost of noise ~~in the~~ training ~~process~~.
	* ~~Large values give a learning process that converges slowly with accurate estimates of the~~ error ~~gradient~~.

	===Tip 1: A good default for batch size might be 32.===		===Tip 1: A good default for batch size might be 32.===

Onnowpurbo: /* Apakah Mini-Batch Gradient Descent? */

2019-09-10T04:25:00Z

Apakah Mini-Batch Gradient Descent?

← Older revision		Revision as of 04:25, 10 September 2019
Line 97:		Line 97:
	===Apakah Mini-Batch Gradient Descent?===		===Apakah Mini-Batch Gradient Descent?===

	Mini-batch gradient descent ~~is a variation of the~~ gradient descent ~~algorithm that splits the~~ training ~~dataset into small batches that are used to calculate~~ model ~~error and~~ update model ~~coefficients~~.		Mini-batch gradient descent adalah variasi dari algoritma gradient descent yang membagi dataset training menjadi kelompok-kelompok kecil yang digunakan untuk menghitung error model dan update koefisien model.

	~~Implementations may choose to sum the gradient over the~~ mini-batch ~~which further reduces the variance of the gradient~~.		Saat implementasi dapat memilih untuk menjumlahkan gradien atas mini-batch yang selanjutnya mengurangi varian dari gradien.

	Mini-batch gradient descent ~~seeks to find a balance between the robustness of~~ stochastic gradient descent ~~and the efficiency of~~ batch gradient descent. ~~It is the most common implementation of~~ gradient descent ~~used in the field of~~ deep learning.		Mini-batch gradient descent berupaya menemukan keseimbangan antara kekokohan stochastic gradient descent dan efisiensi batch gradient descent. Ini adalah implementasi paling umum dari gradient descent yang digunakan dalam bidang deep learning.

	====Sisi Baik====		====Sisi Baik====

	* ~~The~~ model ~~update frequency is higher than~~ batch gradient descent ~~which allows for a more robust convergence~~, ~~avoiding local minima~~.		* Frekuensi update model lebih tinggi daripada batch gradient descent yang memungkinkan untuk konvergensi yang lebih kuat, menghindari minimum lokal.
	* ~~The batched updates provide a computationally more efficient process than~~ stochastic gradient descent.		* Update batch memberikan proses komputasi yang lebih efisien daripada stochastic gradient descent.
	* ~~The batching allows both the efficiency of not having all~~ training ~~data in memory and algorithm implementations~~.		* Batch memungkinkan efisiensi untuk tidak memiliki semua data training dalam memori dan implementasi algoritma.

	====Sisi Buruk====		====Sisi Buruk====

	* Mini-batch ~~requires the configuration of an additional “mini~~-batch ~~size” hyperparameter for the learning algorithm~~.		* Mini-batch membutuhkan konfigurasi hyperparameter "mini-batch size" tambahan untuk algoritma pembelajaran.
	* ~~Error information must be accumulated across~~ mini-~~batches of~~ training ~~examples like~~ batch gradient descent.		* Informasi error harus diakumulasikan melalui mini-batch contoh training seperti batch gradient descent.

	==How to Configure Mini-Batch Gradient Descent==		==How to Configure Mini-Batch Gradient Descent==

Onnowpurbo: /* Sisi Buruk */

2019-09-10T03:34:00Z

Sisi Buruk

← Older revision		Revision as of 03:34, 10 September 2019
Line 90:		Line 90:
	====Sisi Buruk====		====Sisi Buruk====

	* ~~The more stable~~ error ~~gradient may result in premature convergence of the~~ model ~~to a less~~ optimal ~~set of parameters~~.		* Gradien error yang lebih stabil dapat mengakibatkan konvergensi prematur model ke set parameter yang kurang optimal.
	* ~~The updates at the end of the~~ training epoch ~~require the additional complexity of accumulating prediction errors across all~~ training ~~examples~~.		* Update di akhir training epoch membutuhkan kompleksitas tambahan dari akumulasi prediksi error di semua contoh training.
	* ~~Commonly~~, batch gradient descent ~~is implemented in such a way that it requires the entire~~ training ~~dataset in memory and available to the algorithm~~.		* Umumnya, batch gradient descent diimplementasikan sedemikian rupa sehingga membutuhkan seluruh dataset training dalam memori dan tersedia untuk algoritma.
	* ~~Model updates~~, ~~and in turn~~ training ~~speed~~, ~~may become very slow for large datasets~~.		* Update model, dan pada akhirnya kecepatan training, mungkin menjadi sangat lambat untuk kumpulan data besar.

	===Apakah Mini-Batch Gradient Descent?===		===Apakah Mini-Batch Gradient Descent?===

Onnowpurbo: /* Sisi Baik */

2019-09-10T03:11:29Z

Sisi Baik

← Older revision		Revision as of 03:11, 10 September 2019
Line 84:		Line 84:
	====Sisi Baik====		====Sisi Baik====

	* ~~Fewer updates to the~~ model ~~means this variant of~~ gradient descent ~~is more computationally efficient than~~ stochastic gradient descent.		* Lebih sedikit update pada model berarti varian gradient descent ini lebih efisien secara komputasi daripada stochastic gradient descent.
	* ~~The decreased~~ update ~~frequency results in a more stable~~ error ~~gradient and may result in a more stable convergence on some problems~~.		* Frekuensi update yang berkurang menghasilkan gradien error yang lebih stabil dan dapat menghasilkan konvergensi yang lebih stabil pada beberapa masalah.
	* ~~The separation of the calculation of prediction errors and the~~ model ~~update lends the algorithm to parallel processing based implementations~~.		* Pemisahan perhitungan prediksi error dan update model memberikan algoritma untuk implementasi berbasis pemrosesan paralel.

	====Sisi Buruk====		====Sisi Buruk====

Onnowpurbo: /* Apakah Batch Gradient Descent? */

2019-09-10T03:09:13Z

Apakah Batch Gradient Descent?

← Older revision		Revision as of 03:09, 10 September 2019
Line 78:		Line 78:
	===Apakah Batch Gradient Descent?===		===Apakah Batch Gradient Descent?===

	Batch gradient descent ~~is a variation of the~~ gradient descent ~~algorithm that calculates the~~ error ~~for each example in the~~ training ~~dataset~~, ~~but only updates the~~ model ~~after all~~ training ~~examples have been evaluated~~.		Batch gradient descent adalah variasi dari algoritma gradient descent yang menghitung error untuk setiap contoh dalam dataset training, tetapi hanya mengupdate model setelah semua contoh training telah dievaluasi.

	~~One cycle through the entire~~ training ~~dataset is called a~~ training epoch. ~~Therefore~~, ~~it is often said that~~ batch gradient descent ~~performs~~ model ~~updates at the end of each~~ training ~~epoch~~.		Satu siklus yang melalui seluruh dataset training disebut training epoch. Oleh karena itu, sering dikatakan bahwa batch gradient descent melakukan update model pada akhir setiap periode training.

	====Sisi Baik====		====Sisi Baik====

Onnowpurbo: /* Sisi Buruk */

2019-09-10T03:02:29Z

Sisi Buruk

← Older revision		Revision as of 03:02, 10 September 2019
Line 72:		Line 72:
	====Sisi Buruk====		====Sisi Buruk====

	* Updating ~~the~~ model ~~so frequently is more computationally expensive than other configurations of~~ gradient descent, ~~taking significantly longer to train models on large datasets~~.		* Updating model sering dilakukan mengakibatkan lebih mahal secara komputasi daripada konfigurasi gradient descent lainnya, membutuhkan waktu lebih lama untuk melatih model pada dataset besar.
	* ~~The frequent updates can result in a~~ noisy ~~gradient signal~~, ~~which may cause the~~ model ~~parameters and in turn the~~ model ~~error to jump around~~ (~~have a higher variance over~~ training ~~epochs~~).		* Update yang sering dapat menghasilkan sinyal gradien yang noisy, yang dapat menyebabkan parameter model dan pada gilirannya kesalahan model untuk melompat-lompat (memiliki varians yang lebih tinggi selama training epoch).
	* ~~The~~ noisy ~~learning process down the~~ error gradient ~~can also make it hard for the algorithm to settle on an~~ error minimum ~~for the~~ model.		* Proses learning yang noisy pada error gradient juga dapat mempersulit algoritma untuk menyelesaikan error minimum untuk model.

	===Apakah Batch Gradient Descent?===		===Apakah Batch Gradient Descent?===

Onnowpurbo: /* Sisi Baik */

2019-09-08T04:40:38Z

Sisi Baik

← Older revision		Revision as of 04:40, 8 September 2019
Line 68:		Line 68:
	* Varian gradient descent ini mungkin paling sederhana untuk dipahami dan diterapkan, terutama untuk pemula.		* Varian gradient descent ini mungkin paling sederhana untuk dipahami dan diterapkan, terutama untuk pemula.
	* Peningkatan frekuensi update model dapat menghasilkan pembelajaran yang lebih cepat pada beberapa masalah.		* Peningkatan frekuensi update model dapat menghasilkan pembelajaran yang lebih cepat pada beberapa masalah.
	* ~~The~~ noisy ~~update process can allow the~~ model ~~to avoid local minima~~ (e.~~g. premature convergence~~).		* Proses pembaruan yang noisy akan memungkinkan model untuk menghindari minimum lokal (mis. konvergensi prematur).

	====Sisi Buruk====		====Sisi Buruk====

Onnowpurbo: /* Sisi Baik */

2019-09-08T04:39:11Z

Sisi Baik

← Older revision		Revision as of 04:39, 8 September 2019
Line 65:		Line 65:
	====Sisi Baik====		====Sisi Baik====

	* ~~The frequent updates immediately give an insight into the performance of the~~ model ~~and the rate of improvement~~.		* Update yang sering akan segera memberi gambaran tentang kinerja model dan tingkat perbaikan.
	* ~~This variant of~~ gradient descent ~~may be the simplest to understand and implement~~, ~~especially for beginners~~.		* Varian gradient descent ini mungkin paling sederhana untuk dipahami dan diterapkan, terutama untuk pemula.
	* ~~The increased~~ model ~~update frequency can result in faster learning on some problems~~.		* Peningkatan frekuensi update model dapat menghasilkan pembelajaran yang lebih cepat pada beberapa masalah.
	* The noisy update process can allow the model to avoid local minima (e.g. premature convergence).		* The noisy update process can allow the model to avoid local minima (e.g. premature convergence).

Onnowpurbo: /* Apakah Mini-Batch Gradient Descent? */

2019-09-08T04:27:07Z

Apakah Mini-Batch Gradient Descent?

← Older revision		Revision as of 04:27, 8 September 2019
Line 103:		Line 103:
	Mini-batch gradient descent seeks to find a balance between the robustness of stochastic gradient descent and the efficiency of batch gradient descent. It is the most common implementation of gradient descent used in the field of deep learning.		Mini-batch gradient descent seeks to find a balance between the robustness of stochastic gradient descent and the efficiency of batch gradient descent. It is the most common implementation of gradient descent used in the field of deep learning.

	~~Upsides~~		====Sisi Baik====

	* The model update frequency is higher than batch gradient descent which allows for a more robust convergence, avoiding local minima.		* The model update frequency is higher than batch gradient descent which allows for a more robust convergence, avoiding local minima.
Line 109:		Line 109:
	* The batching allows both the efficiency of not having all training data in memory and algorithm implementations.		* The batching allows both the efficiency of not having all training data in memory and algorithm implementations.

	~~Downsides~~		====Sisi Buruk====

	* Mini-batch requires the configuration of an additional “mini-batch size” hyperparameter for the learning algorithm.		* Mini-batch requires the configuration of an additional “mini-batch size” hyperparameter for the learning algorithm.