Orange: Text Preprocessing - Revision history

Onnowpurbo: /* Contoh */

2020-04-12T02:15:04Z

Contoh

← Older revision		Revision as of 02:15, 12 April 2020
Line 66:		Line 66:
	==Contoh==		==Contoh==

	Dalam contoh ~~pertama~~ kita akan mengamati efek preprocessing pada teks. Kita bekerja dengan book-excerpts.tab yang kita load dengan widget [[Corpus]]. ~~Kita telah menghubungkan~~ [[Preprocess Text]] ke [[Corpus]] dan mempertahankan metode preprocessing default (huruf kecil, tokenization per kata, dan penghapusan stopword). Satu-satunya parameter tambahan yang kita tambahkan sebagai keluaran hanya 100 token paling sering pertama. Kemudian kita menghubungkan [[Preprocess Text]] dengan [[Word Cloud]] untuk mengamati kata-kata yang paling sering ada dalam teks. Bermain-main dengan parameter yang berbeda, untuk melihat bagaimana mereka mengubah output.		Dalam contoh ini, kita akan mengamati efek preprocessing pada teks. Kita bekerja dengan book-excerpts.tab yang kita load dengan widget [[Corpus]]. Hubungkan widget [[Preprocess Text]] ke widget [[Corpus]] dan mempertahankan metode preprocessing default (huruf kecil, tokenization per kata, dan penghapusan stopword). Satu-satunya parameter tambahan yang kita tambahkan sebagai keluaran hanya 100 token paling sering pertama. Kemudian kita menghubungkan widget [[Preprocess Text]] dengan widget [[Word Cloud]] untuk mengamati kata-kata yang paling sering ada dalam teks. Bermain-main dengan parameter yang berbeda, untuk melihat bagaimana mereka mengubah output.

	[[File:Preprocess-Text-Example1.png\|center\|600px\|thumb]]		[[File:Preprocess-Text-Example1.png\|center\|600px\|thumb]]

	Contoh ~~kedua~~ sedikit lebih kompleks. Kita mengambil data menggunakan widget Twitter. Kita mengambil menggunakan internet untuk tweet dari pengguna @HillaryClinton dan @realDonaldTrump dan mendapatkan tweet mereka selama dua minggu, total 242.		Contoh berikut ini sedikit lebih kompleks. Kita mengambil data menggunakan widget Twitter. Kita mengambil menggunakan internet untuk tweet dari pengguna @HillaryClinton dan @realDonaldTrump dan mendapatkan tweet mereka selama dua minggu, total 242.

			Di widget [[Preprocess Text]] tersedia tokenisasi Tweet, yang menyimpan hashtag, emoji, mention dan sebagainya. Namun, tokenizer ini tidak menghilangkan tanda baca, jadi kita memperluas Regexp filtering dengan simbol yang ingin kita singkirkan. Kita akan memperoleh token dengan hanya kata, yang kita tampilkan di widget Word Cloud. Kemudian kita dapat membuat skema untuk memprediksi Author tweet berdasarkan konten tweet, yang dijelaskan lebih rinci dalam dokumentasi untuk widget [[Orange: Twitter]].

	[[File:Preprocess-Text-Example2.png\|center\|600px\|thumb]]		[[File:Preprocess-Text-Example2.png\|center\|600px\|thumb]]

	Di [[Preprocess Text]] ada tokenisasi Tweet yang tersedia, yang menyimpan hashtag, emoji, mention dan sebagainya. Namun, tokenizer ini tidak menghilangkan tanda baca, jadi kita memperluas Regexp filtering dengan simbol yang ingin kita singkirkan. Kita akan memperoleh token dengan hanya kata, yang kita tampilkan di Word Cloud. Kemudian kita dapat membuat skema untuk memprediksi penulis tweet berdasarkan konten tweet, yang dijelaskan lebih rinci dalam dokumentasi untuk widget [[Orange: Twitter]].

	==Referensi==		==Referensi==

Onnowpurbo: /* Output */

2020-04-12T01:46:27Z

Output

← Older revision		Revision as of 01:46, 12 April 2020
Line 12:		Line 12:
	Corpus: Preprocess corpus.		Corpus: Preprocess corpus.

	widget Text ~~Preprocessing~~ dapat membagi text menjadi unit yang lebih kecil (token), memfilternya, menjalankan normalisasi (stemming, lemmatization), membuat n-gram dan menandai token dengan label part-of-speech. Langkah-langkah dalam analisis diterapkan secara berurutan dan dapat di-on-kan atau di-off-kan.		widget Preprocess Text dapat membagi text menjadi unit yang lebih kecil (token), memfilternya, menjalankan normalisasi (stemming, lemmatization), membuat n-gram dan menandai token dengan label part-of-speech. Langkah-langkah dalam analisis diterapkan secara berurutan dan dapat di-on-kan atau di-off-kan.

	[[File:Preprocess-Text-stamped.png\|center\|600px\|tumb]]		[[File:Preprocess-Text-stamped.png\|center\|600px\|tumb]]

Onnowpurbo: /* Output */

2020-04-12T01:44:55Z

Output

← Older revision		Revision as of 01:44, 12 April 2020
Line 14:		Line 14:
	widget Text Preprocessing dapat membagi text menjadi unit yang lebih kecil (token), memfilternya, menjalankan normalisasi (stemming, lemmatization), membuat n-gram dan menandai token dengan label part-of-speech. Langkah-langkah dalam analisis diterapkan secara berurutan dan dapat di-on-kan atau di-off-kan.		widget Text Preprocessing dapat membagi text menjadi unit yang lebih kecil (token), memfilternya, menjalankan normalisasi (stemming, lemmatization), membuat n-gram dan menandai token dengan label part-of-speech. Langkah-langkah dalam analisis diterapkan secara berurutan dan dapat di-on-kan atau di-off-kan.

	[[File:Preprocess-Text-stamped.png\|center\|~~200px~~\|tumb]]		[[File:Preprocess-Text-stamped.png\|center\|600px\|tumb]]

	* Informasi tentang data yang diproses sebelumnya. Document count menghitung dan melaporkan jumlah dokumen pada input. Total token count menghitung semua token dalam corpus. Token unik tidak termasuk token duplikat dan melaporkan hanya token unik di corpus.		* Informasi tentang data yang diproses sebelumnya. Document count menghitung dan melaporkan jumlah dokumen pada input. Total token count menghitung semua token dalam corpus. Token unik tidak termasuk token duplikat dan melaporkan hanya token unik di corpus.

Onnowpurbo at 10:45, 11 April 2020

2020-04-11T10:45:15Z

← Older revision		Revision as of 10:45, 11 April 2020
Line 2:		Line 2:


	~~Pemrosesan~~ Corpus berdasarkan metoda yang kita pilih.		Widget Preprocess Text mem-prosesan Corpus berdasarkan metoda yang kita pilih.

	==Input==		==Input==

Onnowpurbo: /* Contoh */

2020-04-11T10:03:18Z

Contoh

← Older revision		Revision as of 10:03, 11 April 2020
Line 68:		Line 68:
	Dalam contoh pertama kita akan mengamati efek preprocessing pada teks. Kita bekerja dengan book-excerpts.tab yang kita load dengan widget [[Corpus]]. Kita telah menghubungkan [[Preprocess Text]] ke [[Corpus]] dan mempertahankan metode preprocessing default (huruf kecil, tokenization per kata, dan penghapusan stopword). Satu-satunya parameter tambahan yang kita tambahkan sebagai keluaran hanya 100 token paling sering pertama. Kemudian kita menghubungkan [[Preprocess Text]] dengan [[Word Cloud]] untuk mengamati kata-kata yang paling sering ada dalam teks. Bermain-main dengan parameter yang berbeda, untuk melihat bagaimana mereka mengubah output.		Dalam contoh pertama kita akan mengamati efek preprocessing pada teks. Kita bekerja dengan book-excerpts.tab yang kita load dengan widget [[Corpus]]. Kita telah menghubungkan [[Preprocess Text]] ke [[Corpus]] dan mempertahankan metode preprocessing default (huruf kecil, tokenization per kata, dan penghapusan stopword). Satu-satunya parameter tambahan yang kita tambahkan sebagai keluaran hanya 100 token paling sering pertama. Kemudian kita menghubungkan [[Preprocess Text]] dengan [[Word Cloud]] untuk mengamati kata-kata yang paling sering ada dalam teks. Bermain-main dengan parameter yang berbeda, untuk melihat bagaimana mereka mengubah output.

	[[File:Preprocess-Text-Example1.png\|center\|~~200px~~\|thumb]]		[[File:Preprocess-Text-Example1.png\|center\|600px\|thumb]]

	Contoh kedua sedikit lebih kompleks. Kita mengambil data menggunakan widget Twitter. Kita mengambil menggunakan internet untuk tweet dari pengguna @HillaryClinton dan @realDonaldTrump dan mendapatkan tweet mereka selama dua minggu, total 242.		Contoh kedua sedikit lebih kompleks. Kita mengambil data menggunakan widget Twitter. Kita mengambil menggunakan internet untuk tweet dari pengguna @HillaryClinton dan @realDonaldTrump dan mendapatkan tweet mereka selama dua minggu, total 242.

	[[File:Preprocess-Text-Example2.png\|center\|~~200px~~\|thumb]]		[[File:Preprocess-Text-Example2.png\|center\|600px\|thumb]]

	Di [[Preprocess Text]] ada tokenisasi Tweet yang tersedia, yang menyimpan hashtag, emoji, mention dan sebagainya. Namun, tokenizer ini tidak menghilangkan tanda baca, jadi kita memperluas Regexp filtering dengan simbol yang ingin kita singkirkan. Kita akan memperoleh token dengan hanya kata, yang kita tampilkan di Word Cloud. Kemudian kita dapat membuat skema untuk memprediksi penulis tweet berdasarkan konten tweet, yang dijelaskan lebih rinci dalam dokumentasi untuk widget [[Orange: Twitter]].		Di [[Preprocess Text]] ada tokenisasi Tweet yang tersedia, yang menyimpan hashtag, emoji, mention dan sebagainya. Namun, tokenizer ini tidak menghilangkan tanda baca, jadi kita memperluas Regexp filtering dengan simbol yang ingin kita singkirkan. Kita akan memperoleh token dengan hanya kata, yang kita tampilkan di Word Cloud. Kemudian kita dapat membuat skema untuk memprediksi penulis tweet berdasarkan konten tweet, yang dijelaskan lebih rinci dalam dokumentasi untuk widget [[Orange: Twitter]].

Onnowpurbo: /* Output */

2020-04-11T10:02:48Z

Output

← Older revision		Revision as of 10:02, 11 April 2020
Line 12:		Line 12:
	Corpus: Preprocess corpus.		Corpus: Preprocess corpus.

	Text Preprocessing ~~widget~~ dapat membagi text menjadi unit yang lebih kecil (token), memfilternya, menjalankan normalisasi (stemming, lemmatization), membuat n-gram dan menandai token dengan label part-of-speech. Langkah-langkah dalam analisis diterapkan secara berurutan dan dapat di-on-kan atau di-off-kan.		widget Text Preprocessing dapat membagi text menjadi unit yang lebih kecil (token), memfilternya, menjalankan normalisasi (stemming, lemmatization), membuat n-gram dan menandai token dengan label part-of-speech. Langkah-langkah dalam analisis diterapkan secara berurutan dan dapat di-on-kan atau di-off-kan.

	[[File:Preprocess-Text-stamped.png\|center\|200px\|tumb]]		[[File:Preprocess-Text-stamped.png\|center\|200px\|tumb]]

Onnowpurbo: /* Output */

2020-02-23T07:47:04Z

Output

← Older revision		Revision as of 07:47, 23 February 2020
Line 43:		Line 43:
	** Most frequent tokens keeps only the specified number of most frequent tokens. Default is a 100 most frequent tokens.		** Most frequent tokens keeps only the specified number of most frequent tokens. Default is a 100 most frequent tokens.

	* N-grams Range ~~creates~~ n-~~grams from tokens~~. ~~Numbers specify the~~ range of n-~~grams~~. Default ~~returns~~ one-~~grams and~~ two-~~grams~~.		* N-grams Range akan membuat n-gram dari token. Number men-spesifikasikan range dari n-gram. Default adalah one-gram dan two-gram.

	* POS Tagger runs part-of-speech tagging on tokens.		* POS Tagger runs part-of-speech tagging on tokens.
	** Averaged Perceptron Tagger runs POS tagging with Matthew Honnibal’s averaged perceptron tagger.		** Averaged Perceptron Tagger runs POS tagging with Matthew Honnibal’s averaged perceptron tagger.

Onnowpurbo: /* Output */

2020-02-23T07:43:32Z

Output

← Older revision		Revision as of 07:43, 23 February 2020
Line 16:		Line 16:
	[[File:Preprocess-Text-stamped.png\|center\|200px\|tumb]]		[[File:Preprocess-Text-stamped.png\|center\|200px\|tumb]]

	Informasi tentang data yang diproses sebelumnya. Document count menghitung ~~laporan~~ jumlah dokumen pada input. Total token count menghitung semua token dalam corpus. Token unik tidak termasuk token duplikat dan melaporkan hanya token unik di corpus.		* Informasi tentang data yang diproses sebelumnya. Document count menghitung dan melaporkan jumlah dokumen pada input. Total token count menghitung semua token dalam corpus. Token unik tidak termasuk token duplikat dan melaporkan hanya token unik di corpus.

	* Transformation transforms input data. It applies lowercase transformation by default.		* Transformation transforms input data. It applies lowercase transformation by default.

Onnowpurbo: /* Contoh */

2020-02-23T07:35:31Z

Contoh

← Older revision		Revision as of 07:35, 23 February 2020
Line 73:		Line 73:
	[[File:Preprocess-Text-Example2.png\|center\|200px\|thumb]]		[[File:Preprocess-Text-Example2.png\|center\|200px\|thumb]]

	Di [[Preprocess Text]] ada tokenisasi Tweet yang tersedia, yang menyimpan hashtag, emoji, mention dan sebagainya. Namun, tokenizer ini tidak menghilangkan tanda baca, jadi kita memperluas Regexp filtering dengan simbol yang ingin kita singkirkan. Kita akan memperoleh token dengan hanya kata, yang kita tampilkan di Word Cloud. Kemudian ~~kami~~ membuat skema untuk memprediksi penulis berdasarkan konten tweet, yang dijelaskan lebih rinci dalam dokumentasi untuk widget [[Orange: Twitter]].		Di [[Preprocess Text]] ada tokenisasi Tweet yang tersedia, yang menyimpan hashtag, emoji, mention dan sebagainya. Namun, tokenizer ini tidak menghilangkan tanda baca, jadi kita memperluas Regexp filtering dengan simbol yang ingin kita singkirkan. Kita akan memperoleh token dengan hanya kata, yang kita tampilkan di Word Cloud. Kemudian kita dapat membuat skema untuk memprediksi penulis tweet berdasarkan konten tweet, yang dijelaskan lebih rinci dalam dokumentasi untuk widget [[Orange: Twitter]].

	==Referensi==		==Referensi==

Onnowpurbo: /* Contoh */

2020-02-23T07:34:08Z

Contoh

← Older revision		Revision as of 07:34, 23 February 2020
Line 65:		Line 65:
	==Contoh==		==Contoh==

	Dalam contoh pertama kita akan mengamati efek preprocessing pada teks. Kita bekerja dengan book-excerpts.tab yang kita ~~muat~~ dengan widget [[Corpus]]. Kita telah menghubungkan [[Preprocess Text]] ke [[Corpus]] dan mempertahankan metode preprocessing default (huruf kecil, tokenization per kata, dan penghapusan stopword). Satu-satunya parameter tambahan yang kita tambahkan sebagai keluaran hanya 100 token paling sering pertama. Kemudian kita menghubungkan [[Preprocess Text]] dengan [[Word Cloud]] untuk mengamati kata-kata yang paling sering ada dalam teks. Bermain-main dengan parameter yang berbeda, untuk melihat bagaimana mereka mengubah output.		Dalam contoh pertama kita akan mengamati efek preprocessing pada teks. Kita bekerja dengan book-excerpts.tab yang kita load dengan widget [[Corpus]]. Kita telah menghubungkan [[Preprocess Text]] ke [[Corpus]] dan mempertahankan metode preprocessing default (huruf kecil, tokenization per kata, dan penghapusan stopword). Satu-satunya parameter tambahan yang kita tambahkan sebagai keluaran hanya 100 token paling sering pertama. Kemudian kita menghubungkan [[Preprocess Text]] dengan [[Word Cloud]] untuk mengamati kata-kata yang paling sering ada dalam teks. Bermain-main dengan parameter yang berbeda, untuk melihat bagaimana mereka mengubah output.

	[[File:Preprocess-Text-Example1.png\|center\|200px\|thumb]]		[[File:Preprocess-Text-Example1.png\|center\|200px\|thumb]]