It is important to realize that the

It is important to realize that these techniques cannot conclusively determine
the value of the test error, since that would require access to the actual classifications of the test set, while only the training set is available. However, they
can provide an estimate of the expected test error. [7: 7.12] While this is the best
estimate we can make, we must remain vigilant for any surprises that may arise
in practice.

Tuning a model
For each model, there are one or more hyperparameters, i.e. parameters on
model level, that affect the internal structure of the model and the way it is
trained. For instance, in a neural network, we can choose the number of internal
nodes. These hyperparameters often affect the accuracy of the model; so, we
must search for the optimal set of hyperparameters. We can do this by training
multiple models and comparing their cross-validated error estimates. This is
called tuning the model or tuning the model parameters.
For the DMC problem, we select the best model by minimizing two distinct
error estimates: first, the default binary test error when giving binary class
predictions (i.e. only ‘order’ or ‘no order’); second, the DMC test error which uses
an error function based on predicted probabilities as specified by DMC [2] and
as given in Equation 2.1. By considering the linear difference between observed
outcome (a number 0 or 1) and the predicted probability, the DMC error takes
into account that we can submit as predictions a probability that an order will be
placed, i.e. any value from 0 to 1.
errDMC = X
i
|orderi − predictioni| (2.1)
Note that the DMC error is a sum of errors for all observations; therefore
it also depends on the number of observations. For classifiers generating only
binary predictions, the DMC error is the total number of errors on all test
observations. We will provide both binary and DMC error where appropriate.
Usually, accuracies are given as fractional values between 0 and 1. To make
meaningful comparisons between the two error estimates, we define the DMC accuracy measure so that, for instance, a mean errDMC per observation of 0.3
will lead to an accDMC of 0.7:
accDMC =
n − errDMC
n
(2.2)
With the evaluation methods outlined, we will now discuss the prediction
models used. For the results of model evaluation when applied to the various
models, see section 3.4.4.
2.5.2 Random Forest
Random Forest is a popular and versatile prediction model. The Random Forest
algorithm is based on decision trees. A decision tree is an older prediction model.
To understand Random Forest, we must first cover decision trees.
Decision trees
A decision tree is created from training data by iteratively splitting the training
observations into subgroups or tree branches. For each internal tree node, a
split condition is created on the value of a feature (for instance age > 50). The
algorithm tries to find the split that creates the most ‘pure’ subdivisions of the
data, i.e. the split leads to subgroups that best differentiate the observations into
classes. [3: 4.3.2] There are many algorithms for growing a decision tree, such
as ID3, C4.5, C5.0, CART, and MARS. [7: 9.2]
We will illustrate the outcome by building a decision tree using the R tree
package [8]. As a training set, we use Fisher’s well-known Iris data set [9], which
contains measurements on various Iris flowers, as well as their species (setosa,
versicolor, or virginica). For clarity and easier plotting, we will only use two
features present in the data set: the petal length and petal width. We will use
these features to predict a flower’s species.
As can be seen in Figure 2.3, the decision tree algorithm produces a model
for the data that is simple and easy to interpret. Making a prediction for a new
observation from the model is done by starting at the root of the tree, then
iteratively moving down the branch that matches the features of the observation.
Ultimately, we end up at a single leaf node of the tree. The leaf node is labeled
with the class that we will predict.

Results (Indonesian) 1:

Penting untuk menyadari bahwa teknik ini tidak dapat meyakinkan menentukannilai tes kesalahan, karena itu akan memerlukan akses ke aktual klasifikasi ditetapkan tes, sementara hanya pelatihan set tersedia. Namun, merekadapat memberikan perkiraan kesalahan diharapkan tes. [7: 7,12] Sementara ini adalah yang terbaikperkiraan kami dapat membuat, kita harus tetap waspada untuk kejutan yang mungkin timbuldalam praktek.Tuning modelUntuk setiap model, ada satu atau lebih hyperparameters, yaitu parameter padamodel level, yang mempengaruhi struktur internal model dan cara itudilatih. Sebagai contoh, dalam jaringan saraf, kita dapat memilih jumlah internalnode. Hyperparameters ini sering mempengaruhi ketepatan model; Jadi, kamiharus mencari yang optimal set hyperparameters. Kita dapat melakukan ini dengan pelatihanbeberapa model dan membandingkan memperkirakan cross-divalidasi kesalahan mereka. Ini adalahdisebut tuning model atau model parameter tuning.Untuk mengatasi masalah DMC, kita memilih model yang terbaik dengan meminimalkan dua yang berbedaperkiraan kesalahan: pertama, kesalahan biner tes default ketika memberikan kelas binerPrediksi (yaitu hanya 'order' atau 'tidak ada order'); kedua, DMC menguji kesalahan yang menggunakanfungsi kesalahan berdasarkan diperkirakan probabilitas sebagaimana ditentukan oleh DMC [2] danseperti yang diberikan dalam persamaan 2.1. Dengan mempertimbangkan perbedaan linier antara diamatihasil (nomor 0 atau 1) dan diperkirakan kemungkinan, mengambil kesalahan DMCmempertimbangkan bahwa kita bisa mengirimkan sebagai prediksi kemungkinan bahwa order akan««««ditempatkan, yaitu nilai dari 0 ke 1.errDMC = Xsaya| orderi − predictioni | (2.1)Perhatikan bahwa kesalahan DMC sejumlah kesalahan untuk semua pengamatan; oleh karena ituini juga tergantung pada jumlah pengamatan. Untuk kelompok menghasilkan hanyaPrediksi biner, kesalahan DMC adalah jumlah kesalahan pada tespengamatan. Kami akan memberikan kesalahan DMC maupun biner dimana tepat.Biasanya, akurasi diberikan sebagai pecahan nilai antara 0 dan 1. Untuk membuatbermakna perbandingan antara dua kesalahan perkiraan, kita mendefinisikan ukuran akurasi DMC jadi itu, misalnya, errDMC berarti per observasi 0.3akan mengakibatkan accDMC 0,7:accDMC =n − errDMCn(2.2)Dengan metode evaluasi yang diuraikan, sekarang kita akan membahas prediksimodel yang digunakan. Untuk hasil evaluasi model bila diterapkan ke berbagaimodel, lihat bagian 3.4.4.2.5.2 hutan acakAcak hutan adalah model prediksi populer dan serbaguna. Hutan acakalgoritma didasarkan pada pohon keputusan. Sebuah pohon keputusan adalah model prediksi yang lebih tua.Untuk memahami acak hutan, kita pertama harus mencakup pohon keputusan.Pohon-pohon keputusanSebuah pohon keputusan dibuat dari data pelatihan oleh iteratively membelah pelatihanpengamatan ke subkumpulan atau cabang-cabang pohon. Untuk setiap node pohon internal,kondisi Split dibuat pada nilai fitur (misalnya usia > 50). Thealgoritma mencoba untuk menemukan perpecahan yang menciptakan Pembagian administratif yang paling 'murni'data, yaitu perpecahan mengarah ke sub-kelompok yang paling membedakan pengamatan kekelas. [3: 4.3.2] Ada banyak algoritma untuk tumbuh sebuah pohon keputusan, sepertisebagai ID3, C4.5, C5.0, KERANJANG, dan MARS. [7: 9.2]Kami akan menggambarkan hasil dengan membangun sebuah pohon keputusan yang menggunakan pohon RPaket [8]. Sebagai rangkaian pelatihan, kami menggunakan set data Iris terkenal Fisher [9], yangberisi pengukuran pada berbagai bunga Iris, serta spesies mereka (setosa,versicolor, atau Crassostrea). Untuk kejelasan dan merencanakan lebih mudah, kami hanya akan menggunakan duamenghadirkan fitur di data set: kelopak panjang dan lebar kelopak. Kita akan menggunakanFitur ini untuk memprediksi jenis bunga.Seperti dapat dilihat pada gambar 2.3, algoritma pohon keputusan menghasilkan modeluntuk data yang sederhana dan mudah untuk menafsirkan. Membuat prediksi untuk barupengamatan dari model dilakukan dengan memulai pada akar pohon, kemudianiteratively bergerak turun cabang yang cocok dengan fitur pengamatan.Pada akhirnya, kami berakhir di sebuah node sehelai daun pohon. Node daun diberi labeldengan kelas yang kita akan memprediksi.