Regresi dalam statistika adalah salah satu metode untuk menentukan hubungan sebab-akibat antara satu variabel dengan variabel(-variabel) yang lain. Variabel “penyebab” disebut dengan bermacam-macam istilah: variabel penjelas, variabel eksplanatorik, variabel independen, atau secara bebas, variabel X (karena seringkali digambarkan dalam grafik sebagai absis, atau sumbu X). Variabel terkena akibat dikenal sebagai variabel yang dipengaruhi, variabel dependen, variabel terikat, atau variabel Y. Kedua variabel ini dapat merupakan variabel acak (random), namun variabel yang dipengaruhi harus selalu variabel acak.

Analisis regresi adalah salah satu analisis yang paling populer dan luas pemakaiannya. Hampir semua bidang ilmu yang memerlukan analisis sebab-akibat boleh dipastikan mengenal analisis ini.

Regresi linier/ sederhana

Regresi linier digunakan untuk membentuk model hubungan antara variabel bebas dengan variabel respon. Dari namanya saja udah kelihatan, bahwa model hubungan yang dimaksud adalah model hubungan linier. Contoh: Ingin dicari model regresi antara “biaya iklan” dengan “penjualan”. Variabel bebas/prediktor adalah biaya iklan dan variabel respon adalah penjualan. Jadi ingin dicari bagaimanakah model hubungan antara 2 variabel tsb, sehingga bisa diketahui berapakah nilai penjualan yang akan diperoleh bila perusahaan mengeluarkan biaya iklan sebesar X rupiah.

  Persamaan Kuadrat sebagai Regresi

  • digunakan untuk menentukan persamaan linier estimasi, berarti memilih satu garis linier dari beberapa kemungkinan garis linier yang dapat dibuat dari data yang ada yang mempunyai kesalahan (error) paling kecil dari data aktual dengan data estimasinya.
  • Kriteria ini dikenal dengan prinsip kuadrat terkecil (principle of least square).
  • Prinsip pemilihan garis regresi ini adalah “pilih garis yang mempunyai jumlah kuadrat deviasi nilai observasi Y terhadap nilai Y prediksinya yang minimum sebagai garis regresi yang paling baik

Polinomial sebagai Regresi

Regresi polynomial digunakan untuk menentukan fungsi polinomial yang paling sesuai dengan kumpulan titik data (xn,yn) yang diketahui.

fungsi pendekatan  :

untuk persamaan polinomial orde 2 didapatkan hubungan :  Contoh penyelesaian regresi polinomial : Carilah

persamaan kurva polinomial jika diketahui data untuk x dan y sebagai berikut :

n = 6             Ʃ xi yi = 585,6             Ʃ x2i yi = 2488,8

Ʃ xi = 15       Ʃyi = 152,6                  x = 2,5  ;  y = 25,433

Ʃ x2i  = 55     Ʃ x3i = 225                  Ʃ x4i = 979

sehingga :

y = 2.47857 + 2.35929x + 1.86071x2

Fungsi Eksponen sebagai Regresi

Digunakan untuk menentukan fungsi eksponensialyang paling sesuai dengan kumpulan titik data (xn, yn) yang diketahui.

Regresi Eksponensial merupakan pengembangan dari regresi linier dengan memanfaatkan fungsi logaritmik. Untuk fungsi : y = e ax + b dapat dilogaritmakan menjadi : ln y = ln(e ax + b) atau ln y = ax + b jika z = ax + b , maka z = ln y Contoh penyelesaian regresi eksponensial : Carilah persamaan kurva eksponensial jika diketahui data untuk x dan y sebagai berikut:

Cari nilai a dan b seperti mencari nilai m dan c pada regresi linier !

Ʃ xn = 15                     Ʃ zn = 4,93         N = 5

Ʃ Xn Zn =21,6425    Ʃ x2n = 55

a = 0,685

a = -1,069

sehingga persamaan kurva eksponen menjadi : y = e0,685x-1,069

 

Regresi Multilinier

Pada dasarnya, pemikiran mengenai analisis regresi ganda ini merupakan perluasan dari prinsip-prinsip analisis regresi sederhana yang dibahas dalam postingan sebelumnya. Karena melibatkan lebih dari satu prediktor, tentu saja perhitungan dalam analisis regresi ganda akan lebih rumit.

Dalam beberapa hal saya masih menganggap perlu untuk menampilkan rumus-rumus untuk kepentingan memperoleh pemahaman bukan untuk perhitungan semata. Jadi kita masih akan bertemu dengan beberapa rumus yang mungkin agak rumit dalam postingan ini. Harap sabar ya…

Regresi Ganda dan Regresi dengan Satu Prediktor
Sebenarnya pemikiran mengenai analisis regresi ganda itu seperti melakukan beberapa kali analisis regresi, satu kali untuk tiap prediktor. Analisis regresi ganda menjadi lebih rumit karena seringkali kedua prediktor memiliki hubungan yang mempengaruhi hubungan tiap prediktor dengan kriterion. Hal ini yang membuat hasil analisis regresi dengan menggunakan lebih dari satu prediktor akan berbeda dengan analisis regresi untuk tiap prediktornya. Perbedaan muncul misalnya dalam hasil estimasi b dan R2 nya.

Baiklah saya akan berikan contoh untuk ilustrasi poin ini. Contoh yang saya berikan adalah ketika kedua prediktor memiliki korelasi yang sangat kecil dan hampir nol (sebenarnya saya ingin membuatnya benar-benar nol tapi agak sulit sepertinya). Anggaplah ada dua prediktor yaitu a dan b dan satu kriterion c. Yang pertama saya melakukan analisis regresi dengan melibatkan satu prediktor saja. Hasil analisis dengan menggunakan SPSS 16 dapat dilihat sebagai berikut:

Gambar 1. R kuadrat dengan melibatkan a saja

 

Gambar 2. R kuadrat dengan melibatkan b saja

 

Gambar 3. R kuadrat dengan melibatkan a dan b

Dari ketiga tabel di atas dapat dilihat bahwa nilai R kuadrat yang dihasilkan dari analisis regresi yang melibatkan dua prediktor kurang lebih adalah jumlah dari R kuadrat dari analisis regresi untuk tiap prediktornya: 0.549 =0.478+0.070.

Gambar 4. nilai slope dengan melibatkan a saja

Gambar 5. nilai slope dengan melibatkan b saja

Gambar 6. nilai slope untuk tiap variabel dengan melibatkan a dan b

Dari gambar 4 sampai 6, dapat kita lihat bahwa besarnya slope untuk tiap variabel kurang lebih sama antara slope yang didapatkan dari hanya melibatkan satu prediktor dengan slope yang didapatkan dari dua prediktor.

Koefisien regresi dan korelasi

Hal ini terjadi karena bagian dari variasi d yang dijelaskan oleh a adalah murni bagian yang terpisah dari bagian variasi d yang dijelaskan oleh b, karena kedua prediktor tersebut tidak berkorelasi. Begini gambarnya:

Gambar 7. Ilustrasi regresi dengan dua prediktor yang tidak saling berkorelasi.

Tentu saja kita akan sangat jarang berhadapan dengan situasi ini. Situasi lain yang lebih sering dijumpai dalam penelitian adalah ketika kedua prediktor saling berkorelasi. Korelasi dua prediktor ini mengakibatkan bagian dari variasi kriterion yang dijelaskan oleh prediktor yang satu bukan merupakan bagian yang murni terpisah dari bagian yang dijelaskan prediktor lain atau dengan kata lain ada overlap antara bagian yang dijelaskan oleh a dan b. Oleh karena itu bagian ini perlu diidentifikasi agar tidak terhitung ulang (lihat gambar 8.).

Gambar 8. Ilustrasi analisis regresi yang melibatkan dua prediktor yang berkorelasi

Estimasi Parameter dalam Regresi Ganda
Seperti yang dijelaskan sebelumnya, estimasi parameter dalam regresi ketika melibatkan lebih dari dua prediktor, perlu memperhitungkan korelasi antar prediktor. Ini tercermin dalam rumus-rumus untuk mencari tiap parameter.
Dalam artikel ini, penjelasan analisis regresi ganda melibatkan hanya dua prediktor saja demi kemudahan pemaparan. Oleh karena itu rumus dari garis prediksi yang akan dicari adalah
Slope
Rumus untuk mencari b1 maupun b2 mirip. Dapat dilihat sebagai berikut:
Dapat dilihat dalam kedua rumus di atas, bahwa nilai b selalu didapatkan dari korelasi antara variabel yang dicari b-nya dengan variabel dependen (ry1), yang kemudian dikoreksi dengan korelasi antara variabel independen lain dengan variabel dependen (ry2) dan korelasi antar variabel independen (r12).

Nah ketika korelasi antar variabel independen tidak sama dengan nol, maka dapat dikatakan korelasi ini ‘dibersihkan’ (partialed out) dari perhitungan nilai b atau dengan kata lain dikendalikan atau dikontrol. Oleh karena itu nilai b dalam analisis regresi ganda diinterpretasi sebagai “kenaikan nilai prediksi Y untuk setiap poin kenaikan nilai X dengan mengendalikan nilai variabel independen lain”. Atau “kenaikan nilai prediksi Y untuk setiap poin kenaikan nilai X jika nilai variabel independen lain tetap”. Dari sinilah kemudian ide mengenai korelasi parsial dan semi parsial muncul, yaitu korelasi antara dua variabel dengan mengendalikan (partial out) variabel lain.

Ketika korelasi antar variabel independen sama dengan nol (r12=0), maka akan terjadi :
Jika kita lihat rumus b1 ini sama dengan rumus b1 pada analisis regresi dengan menggunakan satu prediktor saja, ini diakibatkan tidak ada korelasi yang ‘dibersihkan’ dari perhitungan nilai b, karena tidak ada korelasi antar variabel independen.

R kuadrat.
Perhitungan R kuadrat dalam regresi ganda dapat dilakukan dengan banyak cara. Cara pertama dilakukan dengan menjumlahkan R kuadrat untuk tiap korelasi antara variabel independen dengan variabel dependen, lalu dikoreksi.
Rumus di atas juga menunjukkan bahwa R kuadrat dari garis regresi ganda merupakan jumlah r kuadrat tiap variabel yang dikoreksi atau ‘dibersihkan’ dari korelasi antar variabel independen. Jika r12 = 0 makaSelain cara pertama itu, cara lain yang terhitung mudah adalah dengan mencari koefisien korelasi antara prediksi y dengan y dari data penelitian. Koefisien korelasi yang didapatkan kemudian dikuadratkan. Cara kedua ini dapat dinyatakan dalam bentuk seperti berikut:

Sifat Penaksiran Kuadrat Terkecil

Garis Regresi yang digambarkan dengan metode jumlah kuadrat terkecil, didasarkan pada suatu persamaan :

Y’ = a + bX

Nilai a dan b dicar berdasarkan 2 persamaan sebagai berikut :

rrrr33333333

Perhitungan Garis Regresi Berdasarkan

Metode Jumlah Kuadrat Terkecil

X

(Iklan)

Y

(Penjualan)

X2

XY

Y’ = a + bX

2

3

5

6

8

9

6

5

7

8

12

11

4

9

25

36

64

81

12

15

35

48

96

99

4.84 = 2.94 + 2(0.95)

5.79 = 2.94 + 3(0.95)

7.69 = 2.94 + 5(0.95)

8.64 = 2.94 + 6(0.95)

10.54 = 2.94 + 8(0.95)

11.49 = 2.94 + 9(0.95)

44444444444

Persamaan Regresi : Y’ = 2,94 + 0,95 X, dapat digambarkan dalam diagram sebagai berikut :

Bagan Persamaan Regresi Y’ = 2,94 + 0,95 X

persamaan-chi

Inferensi Mengenai Koefisien Regresi

 

inferensi tentang parameter regresi, b0 dan b1, dalam bentuk pendugaan selang dan uji hipotesis bagi kedua parameter itu. Selanjutnya, kita akan mendiskusikan pendugaan selang bagi rataan E{Y} dari sebaran peluang peubah Y, untuk X tertentu, dan selang peramalan bagi amatan baru Y, untuk X tertentu. Terakhir, kita akan mengupas pendekatan analisis ragam terhadap analisis regresi, pendekatan uji linear umum, dan ukuran deskripsi bagi asosiasi.

Model regresi:

Y = b0 +b1X +εi                                                   (9.2.1)

Dalam hal ini :

b0 dan b1 adalah parameter.

Xi konstanta yang diketahui nilainya.

ei menyebar N(0, s2) dan bebas satu sama lain.

Seringkali kita ingin menarik kesimpulan tentang b1, kemiringan garis regresi dalam model (9.1). Misalnya, seorang analis penelitian pasar ingin memperoleh dugaan selang bagi b1 sebab ini akan memberi informasi tentang rata-rata peningkatan penjualan (dalam dolar) yang akan diperoleh dari setiap peningkatan belanja untuk iklan sebesar satu dolar.

Ada kalanya kita tertarik untuk menguji tentang b1, khususnya yang berbentuk :

H0 : b1 = 0 dan H0 : b1 ¹ 0

Alasan mengapa kita tertarik untuk menguji apakah b1 = 0 atau tidak adalah bahwa b1 = 0 mengindikasikan tidak adanya asosiasi linear antara Y dan X. Gambar (9.2.1) mengilustrasikan kasus bila b1 = 0 untuk model regresi bergalat normal (9.2.1). Perhatikan bahwa garis regresi mendatar dan bahwa, oleh karenanya, rataan sebaran Y sama, yaitu sebesar :

E{Y} – b0 + (0)X = b0

Karena model regresi (9.2.1) mengasumsikan bahwa sebaran peluang Y normal dengan ragam yang sama, karena rataan-rataannya sama bila b1 = 0, maka ini berarti bahwa sebaran-sebaran peubah Y sama semuanya bila b1 = 0. Ini menunjukkan dalam Gambar 9.2.1. Jadi, b1 = 0 bagi model regresi (9.2.2) berimplikasi bahwa tidak hanya tidak ada asosiasi linear antara Y dan X namun juga tidak ada hubungan dalam bentuk apapun antara Y dan X, karena sebaran peluang peubah Y sama pada semua taraf X.


Prediksi Statistika

 Estimasi dari populasi dapat berupa estimasi titik atau estimasi selang. Estimasi titik dari parameter  θ adalah suatu nilai tunggal θ^ daristatistik  Θ^.

Contoh: nilai x dari statistik X yng dihitung dari n-buah cuplikandari populasi merupakan estimasi parameter μ dari populasi.

(Besaran) Statistik yang dipakai seseorang untuk menentukan estimasititik disebut estimator atau fungsi keputusan.Dngan demikian, keputusan S yang merupakan fungsi daricuplikan acak adalah estimator dari σ dan estimasi s adalahtindakan yang diambilnya.

 

Himpunan semua tindakan yang mungkin, yang dapat diambil dalam permasalahan estimasi disebut sebagai ruang tindakanatau ruang keputusan.

Estimator selalu memberikan kesalahan. Untuk suatu cuplikan tertentu, mis. 2, 5, 11, estimasi dari μ dpt menghasilkan x=6 jika dipakai mean cuplikan atau x~=5 jika dipakai median. Disini X~ menghasilkan nilaiyng lebih baik. Sebaliknya, cuplikan 2, 6, 7 memberikan x=5 dan x~=6 dimana X lebih baik. Yang mana sebaiknya dipilih?

Misalkan Θ^ adalah estimator yang nilai θ^-nya adalah estimasi titik dari parameter populasi tak diketahui θ. Tentu diinginkan bahwa sebaran cuplikan Θ^ akan memiliki mean yang sama dengan parameter yang diestimasi. Parameter yng spt ini disebut bersifat takbias.

Suatu statistik Θ^ disebut estimator takbias dari parameter θ jika μΘ = E(Θ^)= θ. Dapat ditunjukkan (lihat buku) bahwa S2 adalah estimator takbias dari σ2, akan tetapi S sendiri adalah estimator σ yang bias.

Jika Θ1^ dan Θ2^ adalah dua estimator takbias dari populasi yang sama dengan parameter θ, estimator dengan variansi terkecil-lahyang akan dipilih. Dengan demikian, jika σ2Θ1 < σ2Θ2, maka Θ^1disebut lebih efisian daripada Θ^2.

Estimator dengan nilai variansi terkecil disebut sebagai estimator yang paling efisien.

 

 

http://ineddeni.wordpress.com/2007/08/02/regresi-linier/

http://id.wikipedia.org/wiki/Analisis_regresi

http://lecturer.eepis-its.edu/~prima/metode_numerik/bahan_ajar/12-Regresi.pdf

http://gesaf.files.wordpress.com/2008/11/regresi-linier-dengan-metode-kuadrat-terkecil2.pdf

http://psikologistatistik.blogspot.com/2009/07/analisis-regresi-ganda.html

http://mtsox.wordpress.com/2008/11/09/chi-square33/

suwarnostatistik.files.wordpress.com

http://radar.ee.itb.ac.id/~suksmono/Lectures/el2002/ppt/VI.%20Teori%20Estimasi.pdf