Keras: Cara Training Final Machine Learning Model - Revision history

Onnowpurbo: /* Pertanyaan yang Umum */

2019-08-14T08:50:44Z

Pertanyaan yang Umum

← Older revision		Revision as of 08:50, 14 August 2019
Line 154:		Line 154:

	Jika ini merupakan hal yang perlu benar-benar di perhatikan, kita dapat membuat beberapa final model dan mengambil nilai rata-rata dari kumpulan prediksi untuk mengurangi variance.		Jika ini merupakan hal yang perlu benar-benar di perhatikan, kita dapat membuat beberapa final model dan mengambil nilai rata-rata dari kumpulan prediksi untuk mengurangi variance.

	~~I talk more about this in the post:~~

	~~Embrace Randomness in Machine Learning~~

	==Summary==		==Summary==

Onnowpurbo: /* Summary */

2019-08-14T08:50:28Z

Summary

← Older revision		Revision as of 08:50, 14 August 2019
Line 161:		Line 161:
	==Summary==		==Summary==

	~~In this post~~, ~~you discovered how to~~ train a final machine learning ~~model for operational use~~.		Dalam tulisan ini, kita menemukan cara men-train final model machine learning untuk penggunaan operasional.

	~~You have overcome obstacles to finalizing your~~ model, ~~such as~~:		Anda telah mengatasi hambatan untuk menyelesaikan model anda, seperti:

	* ~~Understanding the goal of~~ resampling ~~procedures such as~~ train-test ~~splits and~~ k-fold cross validation.		* Memahami tujuan dari prosedur resampling seperti split train-test dan k-fold cross validation.
	* ~~Model finalization as~~ training ~~a new~~ model ~~on all available~~ data.		* Finalisasi model sebagai training model baru pada semua data yang tersedia.
	* ~~Separating the concern of estimating performance from finalizing the~~ model.		* Memisahkan kekhawatiran dalam memperkirakan kinerja dari finalisasi model.

	==Referensi==		==Referensi==

Onnowpurbo: /* Pertanyaan yang Umum */

2019-08-14T08:20:38Z

Pertanyaan yang Umum

← Older revision		Revision as of 08:20, 14 August 2019
Line 151:		Line 151:
	Algoritma machine learning bersifat stokastik dan perilaku kinerja yang berbeda pada data yang sama bisa saja terjadi.		Algoritma machine learning bersifat stokastik dan perilaku kinerja yang berbeda pada data yang sama bisa saja terjadi.

	~~Resampling methods like~~ repeated train/test or repeated k-fold cross-validation ~~will help to get a handle on how much variance there is in the method~~.		Metode resampling seperti repeated train/test atau repeated k-fold cross-validation akan membantu untuk mengetahui seberapa banyak perbedaan yang ada dalam metode ini.

	~~If it is a real concern~~, ~~you can create multiple~~ final ~~models and take the mean from an ensemble of predictions in order to reduce the~~ variance.		Jika ini merupakan hal yang perlu benar-benar di perhatikan, kita dapat membuat beberapa final model dan mengambil nilai rata-rata dari kumpulan prediksi untuk mengurangi variance.

	I talk more about this in the post:		I talk more about this in the post:

Onnowpurbo: /* Pertanyaan yang Umum */

2019-08-14T08:13:33Z

Pertanyaan yang Umum

← Older revision		Revision as of 08:13, 14 August 2019
Line 133:		Line 133:
	Inilah sebabnya kami memilih untuk melatih final model pada semua data yang tersedia. Apakah kinerja model yang dilatih pada semua data berbeda?		Inilah sebabnya kami memilih untuk melatih final model pada semua data yang tersedia. Apakah kinerja model yang dilatih pada semua data berbeda?

	~~I think this question drives most of the misunderstanding around~~ model ~~finalization~~.		Pertanyaan ini merupakan dasar sebagian besar kesalahpahaman seputar finalisasi model.

	Put another way:		Put another way:

	~~If you~~ train a model ~~on all of the available~~ data, ~~then how do you know how well the~~ model ~~will perform~~?		* Jika anda men-train sebuah model pada semua data yang tersedia, lalu bagaimana anda tahu seberapa baik kinerja model tersebut?

	~~You have already answered this question using the~~ resampling ~~procedure~~.		Kita telah menjawab pertanyaan ini menggunakan prosedur resampling.

	~~If well designed~~, ~~the performance measures you calculate using~~ train-test or k-fold cross validation ~~suitably describe how well the finalized~~ model ~~trained on all available historical~~ data ~~will~~ perform ~~in general~~.		Jika dirancang dengan baik, ukuran kinerja yang kita hitung menggunakan train-test atau k-fold cross validation menggambarkan seberapa baik final model yang di train pada semua data historis yang tersedia akan bisa perform secara umum.

	~~If you used~~ k-fold cross validation, ~~you will have an estimate of how “wrong”~~ (~~or conversely~~, ~~how “right”~~) ~~the~~ model ~~will be on average~~, ~~and the expected spread of that wrongness or rightness~~.		Jika kita menggunakan k-fold cross validation, kita akan memiliki perkiraan seberapa "salah" (atau sebaliknya, seberapa "benar") model kita secara rata-rata, dan penyebaran yang diharapkan dari kesalahan atau kebenaran itu.

	~~This is why the careful design of your~~ test harness ~~is so absolutely critical in applied~~ machine learning. ~~A more robust test~~ harness ~~will allow you to lean on the estimated performance all the more~~.		Inilah sebabnya mengapa desain yang cermat dari test harness pengujian anda sangat penting dalam penerapan machine learning. Test harness yang lebih kuat akan memungkinkan anda untuk bersandar pada kinerja yang diestimasi terlebih lagi.
	~~Each time I train the model, I get a different performance score; should I pick the model with the best score?~~

	~~Machine~~ learning ~~algorithms are stochastic and this behavior of different performance on the same~~ data ~~is to be expected~~.		Setiap kali saya melatih model, saya mendapatkan skor kinerja yang berbeda; apakah saya harus memilih model dengan skor terbaik?

			Algoritma machine learning bersifat stokastik dan perilaku kinerja yang berbeda pada data yang sama bisa saja terjadi.

	Resampling methods like repeated train/test or repeated k-fold cross-validation will help to get a handle on how much variance there is in the method.		Resampling methods like repeated train/test or repeated k-fold cross-validation will help to get a handle on how much variance there is in the method.

Onnowpurbo: /* How to Finalize a Model */

2019-08-14T08:02:25Z

How to Finalize a Model

← Older revision		Revision as of 08:02, 14 August 2019
Line 106:		Line 106:
	Kita sekarang siap untuk mem-finalisasi model kita.		Kita sekarang siap untuk mem-finalisasi model kita.

	==~~How to Finalize a~~ Model==		==Cara mem-finalisasi sebuah Model==

	~~You finalize a~~ model ~~by applying the chosen~~ machine learning ~~procedure on all of your~~ data.		Kita mem-finalisasi model dengan menerapkan prosedur machine learning yang dipilih pada semua data kita.

	That’s it.		That’s it.

	~~With the finalized~~ model, ~~you can~~:		Dengan final model, kita dapat:

	* ~~Save the~~ model ~~for later or operational use~~.		* Simpan model untuk penggunaan yang akan datang atau penggunaan operasional.
	* ~~Make predictions on new~~ data.		* Buat prediksi pada data baru.

	~~What about the~~ cross-validation ~~models or the~~ train-test ~~datasets~~?		Bagaimana dengan cross-validation model atau set train-test dataset?

	~~They’ve been discarded~~. ~~They are no longer needed~~. ~~They have served their purpose to help you choose a procedure to finalize~~.		Mereka telah dibuang. Mereka tidak lagi dibutuhkan. Mereka telah menyelesaikan tugas mereka untuk membantu kita memilih prosedur untuk di finalisasi.
	~~Common Questions~~

	~~This section lists some common questions you might have.~~		==Pertanyaan yang Umum==
	~~Why not keep the model trained on the training dataset?~~

	~~and~~		* Mengapa tidak menyimpan trained model pada training dataset?
	~~Why not keep the best~~ model ~~from the~~ cross-validation?		dan
			* Mengapa tidak menyimpan model terbaik dari cross-validation?

	~~You can if you like~~.		Kita sebetulnya bisa jika kita mau. Kita dapat menghemat waktu dan tenaga dengan menggunakan kembali salah satu trained model saat selama estimasi kemampuan. Ini bisa menjadi masalah besar jika perlu berhari-hari, berminggu-minggu, atau berbulan-bulan untuk men-train sebuah model.

	~~You may save time and effort by reusing one of the models trained during skill estimation~~.		Model kita kemungkinan akan berkinerja lebih baik ketika di training menggunakan semua data yang tersedia daripada hanya bagian yang digunakan untuk memperkirakan kinerja model.

	~~This can be a big deal if it takes days, weeks, or months to train a model.~~		Inilah sebabnya kami memilih untuk melatih final model pada semua data yang tersedia. Apakah kinerja model yang dilatih pada semua data berbeda?

	~~Your model will likely perform better when trained on all of the available data than just the subset used to estimate the performance of the model.~~

	~~This is why we prefer to train the~~ final model ~~on all available~~ data.
	~~Won’t the performance of the~~ model ~~trained on all of the~~ data ~~be different~~?

	I think this question drives most of the misunderstanding around model finalization.		I think this question drives most of the misunderstanding around model finalization.
Line 164:		Line 158:
	Embrace Randomness in Machine Learning		Embrace Randomness in Machine Learning

	Summary		==Summary==

	In this post, you discovered how to train a final machine learning model for operational use.		In this post, you discovered how to train a final machine learning model for operational use.
Line 170:		Line 164:
	You have overcome obstacles to finalizing your model, such as:		You have overcome obstacles to finalizing your model, such as:

	Understanding the goal of resampling procedures such as train-test splits and k-fold cross validation.		* Understanding the goal of resampling procedures such as train-test splits and k-fold cross validation.
	Model finalization as training a new model on all available data.		* Model finalization as training a new model on all available data.
	Separating the concern of estimating performance from finalizing the model.		* Separating the concern of estimating performance from finalizing the model.

	~~Do you have another question or concern about finalizing your model that I have not addressed?~~
	~~Ask in the comments and I will do my best to help~~

	==Referensi==		==Referensi==

Onnowpurbo: /* Mengapa kita menggunakan Resampling Method? */

2019-08-14T07:52:11Z

Mengapa kita menggunakan Resampling Method?

← Older revision		Revision as of 07:52, 14 August 2019
Line 93:		Line 93:
	Kita tidak memiliki data baru, jadi kita harus berpura-pura dengan trik statistik.		Kita tidak memiliki data baru, jadi kita harus berpura-pura dengan trik statistik.

	~~The~~ train-test split ~~and~~ k-fold cross validation ~~are called~~ resampling ~~methods~~. ~~Resampling methods are statistical procedures for sampling a~~ dataset ~~and estimating an unknown quantity~~.		train-test split dan k-fold cross validation disebut metode resampling. Metode resampling adalah prosedur statistik untuk pengambilan sampel dataset dan memperkirakan jumlah yang tidak diketahui.

	~~In the case of applied~~ machine learning, ~~we are interested in estimating the skill of a~~ machine learning ~~procedure on unseen~~ data. ~~More specifically~~, ~~the skill of the predictions made by a~~ machine learning ~~procedure~~.		Dalam hal penerapan machine learning, kita tertarik untuk memperkirakan kemampuan prosedur machine learning pada data yang tidak terterlihat. Lebih khusus lagi, kemampuan mem-prediksi yang dibuat oleh prosedur machine learning.

	~~Once we have the estimated skill~~, ~~we are finished with the~~ resampling ~~method~~.		Setelah kita memiliki kemampuan yang diperkirakan, kita selesai dengan metode resampling.

	~~If you are using a~~ train-test split, ~~that means you can discard the~~ split ~~datasets and the trained~~ model.		* Jika anda menggunakan train-test split, itu berarti anda dapat membuang dataset split dan model yang di train.
	~~If you are using~~ k-fold cross-validation, ~~that means you can throw away all of the trained models~~.		* Jika anda menggunakan k-fold cross-validation, itu berarti anda dapat membuang semua model yang di train.

	~~They have served their purpose and are no longer needed~~.		Mereka telah menyelesaikan tugas mereka dan tidak lagi dibutuhkan.

	~~You are now ready to finalize your~~ model.		Kita sekarang siap untuk mem-finalisasi model kita.

	==How to Finalize a Model==		==How to Finalize a Model==

Onnowpurbo: /* Why do we use Resampling Methods? */

2019-08-14T05:01:39Z

Why do we use Resampling Methods?

← Older revision		Revision as of 05:01, 14 August 2019
Line 85:		Line 85:
	Baik split train-test dan k-fold cross validation adalah contoh dari metode resampling.		Baik split train-test dan k-fold cross validation adalah contoh dari metode resampling.

	==~~=Why do we use~~ Resampling ~~Methods~~?===		==Mengapa kita menggunakan Resampling Method?==

	~~The problem with applied~~ machine learning ~~is that we are trying to model the unknown~~.		Masalah yang dihadapi machine learning adalah kita mencoba memodelkan hal yang tidak diketahui.

	~~On a given predictive modeling problem~~, ~~the~~ ideal ~~model is one that performs the best when making predictions on new~~ data.		Pada pemodelan prediktif, sebuah model ideal adalah yang melakukan yang terbaik saat membuat prediksi pada data baru.

	~~We don’t have new~~ data, ~~so we have to pretend with statistical tricks~~.		Kita tidak memiliki data baru, jadi kita harus berpura-pura dengan trik statistik.

	The train-test split and k-fold cross validation are called resampling methods. Resampling methods are statistical procedures for sampling a dataset and estimating an unknown quantity.		The train-test split and k-fold cross validation are called resampling methods. Resampling methods are statistical procedures for sampling a dataset and estimating an unknown quantity.

Onnowpurbo: /* Tujuan dari k-fold Cross Validation */

2019-08-14T04:58:46Z

Tujuan dari k-fold Cross Validation

← Older revision		Revision as of 04:58, 14 August 2019
Line 66:		Line 66:
	Seringkali, jika waktu mengizinkan, kami lebih suka menggunakan k-fold cross-validation.		Seringkali, jika waktu mengizinkan, kami lebih suka menggunakan k-fold cross-validation.

	===Tujuan dari k-fold Cross Validation===		==Tujuan dari k-fold Cross Validation==

	Mengapa kita menggunakan k-fold cross validation?		Mengapa kita menggunakan k-fold cross validation?
Line 76:		Line 76:
	Ini, pada gilirannya, memberikan populasi ukuran kinerja.		Ini, pada gilirannya, memberikan populasi ukuran kinerja.

	* ~~We can calculate the mean of these measures to get an idea of how well the procedure performs on average~~.		* Kita dapat menghitung rata-rata dari langkah-langkah ini untuk mendapatkan gambaran tentang seberapa baik secara rata-rata tentang kinerja prosedur.
	* ~~We can calculate the standard deviation of these measures to get an idea of how much the skill of the procedure is expected to vary in practice~~.		* Kita dapat menghitung standar deviasi dari langkah-langkah ini untuk mendapatkan gambaran tentang seberapa banyak keterampilan prosedur yang diharapkan bervariasi dalam praktiknya.

	~~This is also helpful for providing a more nuanced comparison of one procedure to another when you are trying to choose which algorithm and~~ data ~~preparation procedures to use~~.		Ini juga membantu untuk memberikan perbandingan yang lebih bernuansa dari satu prosedur ke prosedur lainnya ketika kita mencoba untuk memilih algoritma dan prosedur persiapan data mana yang akan digunakan.

	~~Also~~, ~~this information is invaluable as you can use the~~ mean ~~and~~ spread ~~to give a confidence~~ interval ~~on the expected performance on a~~ machine learning ~~procedure in practice~~.		Juga, informasi ini sangat berharga karena kita dapat menggunakan mean dan spread untuk memberikan interval kepercayaan pada kinerja yang diharapkan pada prosedur machine learning di lapangan.

	~~Both~~ train-test ~~splits and~~ k-fold cross validation ~~are examples of~~ resampling ~~methods~~.		Baik split train-test dan k-fold cross validation adalah contoh dari metode resampling.

	===Why do we use Resampling Methods?===		===Why do we use Resampling Methods?===

Onnowpurbo: /* The Purpose of k-fold Cross Validation */

2019-08-14T04:55:12Z

The Purpose of k-fold Cross Validation

← Older revision		Revision as of 04:55, 14 August 2019
Line 66:		Line 66:
	Seringkali, jika waktu mengizinkan, kami lebih suka menggunakan k-fold cross-validation.		Seringkali, jika waktu mengizinkan, kami lebih suka menggunakan k-fold cross-validation.

	===~~The Purpose of~~ k-fold Cross Validation===		===Tujuan dari k-fold Cross Validation===

	~~Why do we use~~ k-fold cross validation?		Mengapa kita menggunakan k-fold cross validation?

	Cross-validation ~~is another method to estimate the skill of a method on unseen~~ data. ~~Like using a train-test~~ split.		Cross-validation adalah metode lain untuk memperkirakan kemampuan metode pada data yang tidak terlihat. Seperti menggunakan split testing training.

	Cross-validation ~~systematically creates and evaluates multiple models on multiple subsets of the~~ dataset.		Cross-validation secara sistematis membuat dan mengevaluasi beberapa model pada beberapa himpunan bagian dari dataset.

	~~This~~, ~~in turn~~, ~~provides a population of performance measures~~.		Ini, pada gilirannya, memberikan populasi ukuran kinerja.

	* We can calculate the mean of these measures to get an idea of how well the procedure performs on average.		* We can calculate the mean of these measures to get an idea of how well the procedure performs on average.

Onnowpurbo: /* Lanjut...... */

2019-08-14T04:49:29Z

Lanjut......

← Older revision		Revision as of 04:49, 14 August 2019
Line 55:		Line 55:
	* Prosedur yang dibuat cukup baik sehingga bisa meng-estimasi mendekati apa yang sebenarnya kita harapkan pada data yang tidak terlihat.		* Prosedur yang dibuat cukup baik sehingga bisa meng-estimasi mendekati apa yang sebenarnya kita harapkan pada data yang tidak terlihat.
	* Pilihan ukuran kinerja secara akurat menangkap apa yang kita minati untuk mengukur dalam prediksi pada data yang tidak terlihat.		* Pilihan ukuran kinerja secara akurat menangkap apa yang kita minati untuk mengukur dalam prediksi pada data yang tidak terlihat.
	* ~~The choice of~~ data ~~preparation is well understood and repeatable on new~~ data, ~~and reversible if predictions need to be returned to their original scale or related to the original~~ input ~~values~~.		* Pilihan persiapan data dipahami dengan baik dan dapat diulang pada data baru, dan dapat dibalik jika prediksi perlu dikembalikan ke skala aslinya atau terkait dengan nilai input asli/sebenarnya.
	* ~~The choice of algorithm makes sense for its intended use and operational environment~~ (e.~~g. complexity or chosen programming language~~).		* Pilihan algoritma yang masuk akal untuk tujuan penggunaan dan lingkungan operasional (mis. Kompleksitas atau bahasa pemrograman yang dipilih).

	~~A lot rides on the estimated skill of the whole procedure on the test~~ set.		Cukup berat perjuangan yang dilalui untuk mengestimasi kemampuan keseluruhan prosedur pada testing set.

	~~In fact~~, ~~using the train~~/~~test method of estimating the skill of the procedure on unseen~~ data ~~often has a high variance~~ (~~unless we have a heck of a lot of~~ data to split). ~~This means that when it is repeated~~, ~~it gives different results~~, ~~often very different results~~.		Bahkan, menggunakan metode training / testing untuk memperkirakan kemampuan prosedur pada data yang tak terlihat seringkali memiliki varian yang tinggi (kecuali kita memiliki banyak data untuk di split). Ini berarti bahwa ketika diulang, itu memberikan hasil yang berbeda, seringkali hasil yang sangat berbeda.

	~~The outcome is that we may be quite uncertain about how well the procedure actually performs on unseen~~ data ~~and how one procedure compares to another~~.		Hasil akhirnya adalah bahwa kita mungkin tidak yakin tentang seberapa baik kinerja prosedur sebenarnya pada data yang tidak terlihat dan bagaimana satu prosedur membandingkan dengan yang lain.

	~~Often~~, ~~time permitting~~, ~~we prefer to use~~ k-fold cross-validation ~~instead~~.		Seringkali, jika waktu mengizinkan, kami lebih suka menggunakan k-fold cross-validation.
	The Purpose of k-fold Cross Validation
			===The Purpose of k-fold Cross Validation===

	Why do we use k-fold cross validation?		Why do we use k-fold cross validation?
Line 75:		Line 76:
	This, in turn, provides a population of performance measures.		This, in turn, provides a population of performance measures.

	We can calculate the mean of these measures to get an idea of how well the procedure performs on average.		* We can calculate the mean of these measures to get an idea of how well the procedure performs on average.
	We can calculate the standard deviation of these measures to get an idea of how much the skill of the procedure is expected to vary in practice.		* We can calculate the standard deviation of these measures to get an idea of how much the skill of the procedure is expected to vary in practice.

	This is also helpful for providing a more nuanced comparison of one procedure to another when you are trying to choose which algorithm and data preparation procedures to use.		This is also helpful for providing a more nuanced comparison of one procedure to another when you are trying to choose which algorithm and data preparation procedures to use.
Line 83:		Line 84:

	Both train-test splits and k-fold cross validation are examples of resampling methods.		Both train-test splits and k-fold cross validation are examples of resampling methods.
	Why do we use Resampling Methods?
			===Why do we use Resampling Methods?===

	The problem with applied machine learning is that we are trying to model the unknown.		The problem with applied machine learning is that we are trying to model the unknown.
Line 103:		Line 105:

	You are now ready to finalize your model.		You are now ready to finalize your model.
	How to Finalize a Model?
			==How to Finalize a Model==

	You finalize a model by applying the chosen machine learning procedure on all of your data.		You finalize a model by applying the chosen machine learning procedure on all of your data.
Line 111:		Line 114:
	With the finalized model, you can:		With the finalized model, you can:

	Save the model for later or operational use.		* Save the model for later or operational use.
	Make predictions on new data.		* Make predictions on new data.

	What about the cross-validation models or the train-test datasets?		What about the cross-validation models or the train-test datasets?