Mengulas Metode Kuadrat Terkecil Pada Matematika – Metode kuadrat terkecil tumbuh dari bidang astronomi dan geodesi, ketika para ilmuwan dan matematikawan berusaha memberikan solusi untuk tantangan menavigasi lautan Bumi selama Zaman Eksplorasi. Deskripsi akurat tentang perilaku benda langit adalah kunci untuk memungkinkan kapal berlayar di laut lepas, di mana pelaut tidak bisa lagi mengandalkan penampakan darat untuk navigasi.

Mengulas Metode Kuadrat Terkecil Pada Matematika

transitionmathproject – Metode ini merupakan puncak dari beberapa kemajuan yang terjadi selama abad kedelapan belas: Kombinasi pengamatan yang berbeda sebagai perkiraan terbaik dari nilai sebenarnya; kesalahan berkurang dengan agregasi daripada meningkat, mungkin pertama kali diungkapkan oleh Roger Cotes pada tahun 1722.

Baca Juga : Dekomposisi Schur, Suatu Matriks Dari Aljabar Linier Matematika

Kombinasi pengamatan yang berbeda yang diambil dalam kondisi yang sama bertentangan dengan hanya mencoba yang terbaik untuk mengamati dan merekam satu pengamatan secara akurat. Pendekatan itu dikenal sebagai metode rata-rata. Pendekatan ini terutama digunakan oleh Tobias Mayer saat mempelajari perpustakaan bulan pada tahun 1750, dan oleh Pierre-Simon Laplace dalam karyanya dalam menjelaskan perbedaan gerak Jupiter dan Saturnus pada tahun 1788.

Kombinasi pengamatan yang berbeda diambil dalam kondisi yang berbeda. Metode ini kemudian dikenal sebagai metode deviasi absolut terkecil. Ini terutama dilakukan oleh Roger Joseph Boscovich dalam karyanya tentang bentuk bumi pada tahun 1757 dan oleh Pierre-Simon Laplace untuk masalah yang sama pada tahun 1799.

Pengembangan kriteria yang dapat dievaluasi untuk menentukan kapan solusi dengan kesalahan minimum telah tercapai. Laplace mencoba untuk menentukan bentuk matematis dari kepadatan probabilitas untuk kesalahan dan menentukan metode estimasi yang meminimalkan kesalahan estimasi.

Untuk tujuan ini, Laplace menggunakan distribusi eksponensial dua sisi simetris yang sekarang kita sebut distribusi Laplace untuk memodelkan distribusi kesalahan, dan menggunakan jumlah deviasi absolut sebagai kesalahan estimasi. Dia merasa ini sebagai asumsi paling sederhana yang bisa dia buat, dan dia berharap untuk mendapatkan rata-rata aritmatika sebagai perkiraan terbaik. Sebaliknya, penduganya adalah median posterior.

Metode kuadrat terkecil

Eksposisi pertama yang jelas dan ringkas tentang metode kuadrat terkecil diterbitkan oleh Legendre pada tahun 1805. Teknik ini digambarkan sebagai prosedur aljabar untuk menyesuaikan persamaan linear ke data dan Legendre mendemonstrasikan metode baru dengan menganalisis data yang sama seperti Laplace untuk bentuk bumi. Dalam sepuluh tahun setelah publikasi Legendre, metode kuadrat terkecil telah diadopsi sebagai alat standar dalam astronomi dan geodesi di Prancis, Italia, dan Prusia, yang merupakan penerimaan luar biasa cepat dari teknik ilmiah.

Pada tahun 1809 Carl Friedrich Gauss menerbitkan metodenya menghitung orbit benda langit. Dalam karya tersebut ia mengklaim telah memiliki metode kuadrat terkecil sejak 1795. Hal ini tentu saja menyebabkan perselisihan prioritas dengan Legendre. Namun, untuk kredit Gauss, ia melampaui Legendre dan berhasil menghubungkan metode kuadrat terkecil dengan prinsip-prinsip probabilitas dan distribusi normal. Dia telah berhasil menyelesaikan program Laplace untuk menentukan bentuk matematis dari kepadatan probabilitas untuk pengamatan, tergantung pada sejumlah parameter yang tidak diketahui, dan menentukan metode estimasi yang meminimalkan kesalahan estimasi.

Gauss menunjukkan bahwa rata-rata aritmatika memang merupakan estimasi terbaik dari parameter lokasi dengan mengubah kepadatan probabilitas dan metode estimasi. Dia kemudian membalikkan masalah dengan menanyakan apa bentuk kerapatan yang harus dimiliki dan metode estimasi apa yang harus digunakan untuk mendapatkan mean aritmatika sebagai estimasi parameter lokasi. Dalam upaya ini, ia menemukan distribusi normal.

Demonstrasi awal kekuatan metode Gauss datang ketika digunakan untuk memprediksi lokasi masa depan asteroid Ceres yang baru ditemukan. Pada 1 Januari 1801, astronom Italia Giuseppe Piazzi menemukan Ceres dan mampu melacak jalurnya selama 40 hari sebelum hilang diterpa sinar matahari. Berdasarkan data ini, para astronom berkeinginan untuk menentukan lokasi Ceres setelah muncul dari balik matahari tanpa memecahkan persamaan gerak planet nonlinier yang rumit dari Kepler.

Satu-satunya prediksi yang berhasil memungkinkan astronom Hungaria Franz Xaver von Zach untuk merelokasi Ceres adalah prediksi yang dilakukan oleh Gauss yang berusia 24 tahun menggunakan analisis kuadrat terkecil. Pada tahun 1810, setelah membaca karya Gauss, Laplace, setelah membuktikan teorema limit pusat, menggunakannya untuk memberikan pembenaran sampel yang besar untuk metode kuadrat terkecil dan distribusi normal.

Pengujian statistik pada kuadrat terkecil

Jika distribusi probabilitas parameter diketahui atau pendekatan asimtotik dibuat, batas kepercayaan dapat ditemukan. Demikian pula, uji statistik pada residual dapat dilakukan jika distribusi probabilitas residual diketahui atau diasumsikan. Menyimpulkan mudah ketika mengasumsikan bahwa kesalahan mengikuti distribusi normal, akibatnya menyiratkan bahwa estimasi parameter dan residual juga akan terdistribusi normal tergantung pada nilai-nilai variabel independen.

Hal ini diperlukan untuk membuat asumsi tentang sifat kesalahan eksperimental untuk menguji hasil secara statistik. Asumsi umum adalah bahwa kesalahan termasuk dalam distribusi normal. Teorema limit pusat mendukung gagasan bahwa ini adalah perkiraan yang baik dalam banyak kasus.

Teorema Gauss-Markov

Dalam model linier di mana kesalahan memiliki ekspektasi nol bersyarat pada variabel independen, tidak berkorelasi dan memiliki varians yang sama, estimator tak bias linier terbaik dari setiap kombinasi linier pengamatan, adalah estimator kuadrat terkecilnya. “Terbaik” berarti bahwa estimator kuadrat terkecil dari parameter memiliki varians minimum. Asumsi varians yang sama valid ketika semua kesalahan termasuk dalam distribusi yang sama.

Jika kesalahan termasuk dalam distribusi normal, penduga kuadrat terkecil juga merupakan penduga kemungkinan maksimum dalam model linier.

Baca Juga : Matematikawan Membangun Algoritme Untuk Korelasi Foton Sinar-X

Namun, anggaplah kesalahan tidak terdistribusi normal. Dalam kasus tersebut, teorema limit pusat sering kali menyiratkan bahwa estimasi parameter akan terdistribusi secara kira-kira normal selama sampelnya cukup besar. Untuk alasan ini, mengingat sifat penting bahwa rata-rata kesalahan tidak tergantung pada variabel bebas, distribusi istilah kesalahan bukanlah masalah penting dalam analisis regresi. Secara khusus, biasanya tidak penting apakah istilah kesalahan mengikuti distribusi normal.

Metode Lasso dan Metode regresi ridge

Salah satu perbedaan utama antara Lasso dan regresi ridge adalah bahwa dalam regresi ridge, saat penalti meningkat, semua parameter berkurang sementara tetap tidak nol, sedangkan di Lasso, meningkatkan penalti akan menyebabkan semakin banyak parameter menjadi didorong ke nol. Ini adalah keuntungan dari regresi Lasso atas punggungan, karena parameter mengemudi ke nol membatalkan pilihan fitur dari regresi.

Dengan demikian, Lasso secara otomatis memilih fitur yang lebih relevan dan membuang yang lain, sedangkan regresi Ridge tidak pernah sepenuhnya membuang fitur apa pun. Formulasi L1-regular berguna dalam beberapa konteks karena kecenderungannya untuk memilih solusi di mana lebih banyak parameter adalah nol, yang memberikan solusi yang bergantung pada variabel yang lebih sedikit. Untuk alasan ini, Lasso dan variannya sangat penting untuk bidang penginderaan terkompresi. Perpanjangan dari pendekatan ini adalah regularisasi bersih elastis.