Deneysel verilere yaklaşım. En küçük kareler yöntemi. Excel'de en küçük kareler yöntemi. Regresyon analizi En küçük karelerin hesaplanması

En küçük kareler yöntemi, en yaygın ve en gelişmiş yöntemlerden biridir. Doğrusal parametrelerin tahmin edilmesine yönelik yöntemlerin basitliği ve etkinliği. Aynı zamanda, onu kullanırken belirli bir dikkat gösterilmelidir, çünkü onu kullanarak oluşturulan modeller, parametrelerinin kalitesine ilişkin bir dizi gereksinimi karşılamayabilir ve sonuç olarak süreç geliştirme kalıplarını "iyi" yansıtmayabilir.

En küçük kareler yöntemini kullanarak doğrusal bir ekonometrik modelin parametrelerini tahmin etme prosedürünü daha ayrıntılı olarak ele alalım. Böyle bir model genel formda denklem (1.2) ile temsil edilebilir:

y t = a 0 + a 1 x 1 t +...+ a n x nt + ε t .

a 0 , a 1 ,..., a n parametrelerini tahmin ederken ilk veriler, bağımlı değişkenin değerlerinin vektörüdür sen= (y 1 , y 2 , ... , y T)" ve bağımsız değişkenlerin değerleri matrisi

bunlardan oluşan ilk sütun, modelin katsayısına karşılık gelir.

En küçük kareler yöntemi, adını, buna dayanarak elde edilen parametre tahminlerinin karşılaması gereken temel prensibe dayanarak almıştır: model hatasının karelerinin toplamı minimum olmalıdır.

En küçük kareler yöntemiyle problem çözme örnekleri

Örnek 2.1. Ticari işletmenin 12 mağazadan oluşan bir ağı vardır ve faaliyetlerine ilişkin bilgiler Tabloda sunulmaktadır. 2.1.

Şirketin yönetimi, yıllık büyüklüğünün mağazanın satış alanına nasıl bağlı olduğunu bilmek istiyor.

Tablo 2.1

Belirli bir fonksiyonun diğer basit fonksiyonlarla yaklaşık olarak temsil edilmesine izin verdiği için birçok uygulamaya sahiptir. LSM, gözlemlerin işlenmesinde son derece yararlı olabilir ve rastgele hatalar içeren diğerlerinin ölçüm sonuçlarından bazı miktarları tahmin etmek için aktif olarak kullanılır. Bu makalede, yöntemi kullanarak hesaplamaların nasıl uygulanacağını öğreneceksiniz. en küçük kareler Excel'de. Belirli bir örnek üzerinde sorunun ifadesi Diyelim ki iki X ve Y göstergesi var. Üstelik Y, X'e bağlı. OLS bizi regresyon analizi açısından ilgilendirdiğinden (Excel'de yöntemleri yerleşik işlevler kullanılarak uygulanır), hemen devam etmeliyiz belirli bir sorunu dikkate almak. Yani, X bir bakkalın satış alanı olsun, ölçülen metrekare ve Y, milyonlarca ruble olarak tanımlanan yıllık cirodur. Bir veya daha fazla perakende alanına sahip olması durumunda mağazanın ne kadar ciroya (Y) sahip olacağına dair bir tahmin yapılması gerekir. Açıkçası, hipermarket tezgahtan daha fazla mal sattığı için Y = f (X) fonksiyonu artıyor. Tahmin için kullanılan ilk verilerin doğruluğu hakkında birkaç kelime Diyelim ki n mağazaya ait verilerle oluşturulmuş bir tablomuz var. Matematiksel istatistiklere göre en az 5-6 nesneye ait veriler incelenirse sonuçlar az çok doğru olacaktır. Ayrıca "anormal" sonuçlar kullanılamaz. Özellikle elit bir küçük butik, "masmarket" sınıfının büyük satış noktalarının cirosundan kat kat daha fazla ciroya sahip olabilir. Yöntemin özü Tablo verileri Kartezyen düzlemde M 1 (x 1, y 1), ... M n (x n, y n) noktaları olarak görüntülenebilir. Şimdi problemin çözümü, M 1, M 2, .. M n noktalarına mümkün olduğu kadar yakın geçen bir grafiği olan, yaklaşık bir y = f (x) fonksiyonunun seçimine indirgenecektir. Elbette yüksek dereceli bir polinom kullanabilirsiniz, ancak bu seçeneğin uygulanması sadece zor değil, aynı zamanda tespit edilmesi gereken ana eğilimi yansıtmayacağından tamamen yanlıştır. En makul çözüm, deneysel verilere ve daha kesin olarak - a ve b katsayılarına en iyi yaklaşan y = ax + b düz çizgisini aramaktır. Doğruluk puanı Herhangi bir yaklaşım için doğruluğunun değerlendirilmesi özellikle önemlidir. e i noktası için fonksiyonel ve deneysel değerler arasındaki farkı (sapmayı) belirtin x ben , yani. e i = y i - f (x i). Açıkçası, yaklaşımın doğruluğunu değerlendirmek için sapmaların toplamını kullanabilirsiniz, yani X'in Y'ye bağımlılığının yaklaşık bir temsili için düz bir çizgi seçerken, en küçük değere sahip olana tercih verilmelidir. dikkate alınan tüm noktalarda toplam e i. Ancak, her şey o kadar basit değil, çünkü olumlu sapmaların yanı sıra pratikte olumsuz sapmalar da olacaktır. Sorunu sapma modüllerini veya karelerini kullanarak çözebilirsiniz. İkinci yöntem en yaygın kullanılanıdır. Regresyon analizi de dahil olmak üzere birçok alanda kullanılır (Excel'de uygulaması iki yerleşik işlev kullanılarak gerçekleştirilir) ve etkili olduğu uzun zamandır kanıtlanmıştır. En küçük kareler yöntemi Excel'de bildiğiniz gibi seçilen aralıkta bulunan tüm değerlerin değerlerini hesaplamanıza olanak tanıyan yerleşik bir otomatik toplam işlevi vardır. Dolayısıyla hiçbir şey bizi (e 1 2 + e 2 2 + e 3 2 + ... e n 2) ifadesinin değerini hesaplamaktan alıkoyamaz. İÇİNDE matematiksel gösterimşuna benziyor: Karar başlangıçta düz bir çizgi kullanılarak yaklaşık olarak verildiğinden, elimizde: Dolayısıyla, X ve Y arasındaki belirli bir ilişkiyi en iyi tanımlayan düz bir çizgiyi bulma görevi, iki değişkenli bir fonksiyonun minimumunu hesaplamak anlamına gelir: Bu, yeni a ve b değişkenlerine göre sıfır kısmi türevlerin eşitlenmesini ve formda 2 bilinmeyenli iki denklemden oluşan ilkel bir sistemin çözülmesini gerektirir: 2'ye bölmek ve toplamları değiştirmek de dahil olmak üzere basit dönüşümlerden sonra şunu elde ederiz: Bunu örneğin Cramer'in yöntemiyle çözerek, belirli a * ve b * katsayılarına sahip sabit bir nokta elde ederiz. Bu minimumdur, yani mağazanın belirli bir alan için ne kadar ciroya sahip olacağını tahmin etmek için söz konusu örnek için bir regresyon modeli olan y = a * x + b * düz çizgisi uygundur. Tabii ki bulmana izin vermeyecek kesin sonuç, ancak belirli bir alan için krediyle bir mağaza satın almanın işe yarayıp yaramayacağı konusunda fikir edinmenize yardımcı olacaktır. Excel'de en küçük kareler yöntemi nasıl uygulanır? Excel'in en küçük karelerin değerini hesaplamak için bir işlevi vardır. Şu biçimdedir: TREND (bilinen Y değerleri; bilinen X değerleri; yeni X değerleri; sabit). Excel'deki OLS hesaplama formülünü tablomuza uygulayalım. Bunu yapmak için Excel'de en küçük kareler yöntemini kullanarak hesaplama sonucunun görüntülenmesi gereken hücreye “=” işaretini girin ve “TREND” işlevini seçin. Açılan pencerede aşağıdakileri vurgulayarak uygun alanları doldurun: Y için bilinen değerler aralığı (bu durumda ciro verileri); aralık x 1 , …x n , yani perakende satış alanının boyutu; ve cironun boyutunu bulmanız gereken x'in bilinen ve bilinmeyen değerleri (çalışma sayfasındaki konumları hakkında bilgi için aşağıya bakın). Ayrıca formülde "Const" mantıksal değişkeni de bulunmaktadır. Karşılık gelen alana 1 girerseniz, bu, hesaplamaların b \u003d 0 olduğu varsayılarak yapılması gerektiği anlamına gelecektir. Birden fazla x değeri için tahmin bilmeniz gerekiyorsa, formülü girdikten sonra "Enter" tuşuna basmamalısınız, ancak "Shift" + "Control" + "Enter" ("Enter" kombinasyonunu yazmanız gerekir) ) klavyede. Bazı özellikler Regresyon analizi aptallar tarafından bile erişilebilir. Bilinmeyen değişkenler dizisinin değerini tahmin etmeye yönelik Excel formülü - "TREND" - en küçük kareler yöntemini hiç duymamış olanlar tarafından bile kullanılabilir. Sadece işinin bazı özelliklerini bilmek yeterlidir. Özellikle: Y değişkeninin bilinen değerleri aralığını bir satıra veya sütuna yerleştirirseniz, x'in bilinen değerlerine sahip her satır (sütun) program tarafından ayrı bir değişken olarak algılanacaktır. TREND penceresinde bilinen x'li aralık belirtilmemişse, o zaman Excel'deki işlevin kullanılması durumunda, program bunu, sayısı verilen değerlere sahip aralığa karşılık gelen tam sayılardan oluşan bir dizi olarak değerlendirecektir. y değişkeninin "Tahmin edilen" değerlerin bir dizisinin çıktısını almak için eğilim ifadesinin bir dizi formülü olarak girilmesi gerekir. Yeni x değerleri belirtilmezse TREND işlevi bunları bilinenlere eşit olarak değerlendirir. Belirtilmezse dizi 1 argüman olarak alınır; 2; 3; 4;…, önceden verilen y parametrelerinin aralığıyla orantılıdır. Yeni x değerlerini içeren aralık, verilen y değerlerine sahip aralıkla aynı veya daha fazla satır veya sütuna sahip olmalıdır. Başka bir deyişle bağımsız değişkenlerle orantılı olması gerekir. Bilinen x değerlerine sahip bir dizi birden fazla değişken içerebilir. Ancak sadece bir taneden bahsediyorsak o zaman verilen x ve y değerlerine sahip aralıkların orantılı olması gerekir. Birden fazla değişken olması durumunda, verilen y değerlerine sahip aralığın bir sütuna veya bir satıra sığması gerekir. TAHMİN işlevi Çeşitli işlevler kullanılarak uygulanır. Bunlardan birine "TAHMİN" denir. TREND'e benzer, yani en küçük kareler yöntemini kullanarak hesaplamaların sonucunu verir. Ancak yalnızca Y'nin değeri bilinmeyen bir X için. Artık bir göstergenin gelecekteki değerinin değerini doğrusal bir eğilime göre tahmin etmenize olanak tanıyan kuklalar için Excel formüllerini biliyorsunuz. (resmi görmek). Bir doğrunun denklemini bulmak gerekir Nasıl sayıdan az mutlak değerde daha iyi olan düz çizgi (2) seçilir. Düz bir çizginin (2) seçiminin doğruluğunun bir özelliği olarak karelerin toplamını alabiliriz S için minimum koşullar şöyle olacaktır: (6) (7) Denklem (6) ve (7) aşağıdaki biçimde yazılabilir: (8) (9) Denklemlerden (8) ve (9) deneysel değerlerden x i ve y i'den a ve b'yi bulmak kolaydır. Denklem (8) ve (9) ile tanımlanan doğruya (2), en küçük kareler yöntemiyle elde edilen doğru denir (bu isim, S kareler toplamının minimum olduğunu vurgular). Düz çizginin (2) belirlendiği denklemler (8) ve (9) normal denklemler olarak adlandırılır. Basit belirtebilirsiniz ve genel yol Normal denklemlerin oluşturulması. Deney noktalarını (1) ve denklemi (2) kullanarak a ve b için denklem sistemini yazabiliriz. y 1 \u003d balta 1 +b, y 2 \u003dax 2 +b, ... (10) yn=axn+b, Bu denklemlerin her birinin sol ve sağ kısımlarını ilk bilinmeyen a'daki katsayı (yani x 1 , x 2 , ..., x n) ile çarpın ve elde edilen denklemleri toplayın, sonuçta ilk normal denklem (8) elde edilir. Bu denklemlerin her birinin sol ve sağ taraflarını ikinci bilinmeyen b'nin katsayısıyla çarpıyoruz; 1'e kadar ve elde edilen denklemleri toplayın, sonuçta ikinci normal denklem (9) elde edilir. Normal denklemler elde etmenin bu yöntemi geneldir: örneğin aşağıdaki fonksiyon için uygundur: sabit bir değerdir ve deneysel verilerden belirlenmesi gerekir (1). k için denklem sistemi yazılabilir: En küçük kareler yöntemini kullanarak doğruyu (2) bulun. Çözüm. Bulduk: x ben =21, y ben =46,3, x ben 2 =91, x ben y ben =179,1. Denklemler (8) ve (9) yazıyoruz Buradan buluyoruz En küçük kareler yönteminin doğruluğunun tahmin edilmesi Denklemin (2) gerçekleştiği doğrusal durum için yöntemin doğruluğuna ilişkin bir tahmin verelim. Deneysel değerler x i tam olsun ve deneysel değerler y i tüm i için aynı varyansa sahip rastgele hatalara sahip olsun. Gösterimi tanıtıyoruz (16) Daha sonra (8) ve (9) denklemlerinin çözümleri şu şekilde temsil edilebilir: (17) (18) Nerede (19) Denklem (17)'den şunu buluyoruz: (20) Benzer şekilde denklem (18)'den şunu elde ederiz: (21) Çünkü (22) Denklemlerden (21) ve (22) şunu buluyoruz: (23) Denklemler (20) ve (23), denklemler (8) ve (9) tarafından belirlenen katsayıların doğruluğuna ilişkin bir tahmin verir. a ve b katsayılarının ilişkili olduğuna dikkat edin. Basit dönüşümlerle korelasyon momentlerini buluyoruz. Buradan buluyoruz x=1 ve 6'da 0,072, 0,041, x=3,5'te. Edebiyat Sahil. İSTERİM. İstatistiksel Yöntemler analiz ve kalite kontrol ve güvenilirlik. M.: Gosenergoizdat, 1962, s. 552, s.92-98. Bu kitap, elektronik ekipmanların ve diğer kitlesel endüstriyel ürünlerin (makine yapımı, alet yapımı, topçuluk vb.) kalite ve güvenilirliğinin belirlenmesinde görev alan çok çeşitli mühendislere (araştırma enstitüleri, tasarım büroları, test sahaları ve fabrikalar) yöneliktir. Kitap, test edilen ürünlerin kalitesinin ve güvenilirliğinin belirlendiği test sonuçlarının işlenmesi ve değerlendirilmesinde matematiksel istatistik yöntemlerinin bir uygulamasını sunmaktadır. Okuyucuların rahatlığı için matematiksel istatistiklerden gerekli bilgilerin yanı sıra verilmiştir. Büyük sayı gerekli hesaplamaları kolaylaştıran yardımcı matematiksel tablolar. Sunum, radyo elektroniği ve topçu teknolojisi alanından alınan çok sayıda örnekle desteklenmektedir.

Mağaza numarası	Yıllık ciro, milyon ruble	Ticaret alanı, bin m 2

En küçük kareler çözümü. Belirleyelim - -'inci mağazanın yıllık cirosu, milyon ruble; - mağazanın satış alanı, bin m 2.

Şekil 2.1. Örnek 2.1 için Dağılım Grafiği

Değişkenler arasındaki fonksiyonel ilişkinin biçimini belirlemek ve bir dağılım grafiği oluşturmak (Şekil 2.1).

Dağılım diyagramına dayanarak, yıllık cironun satış alanına pozitif olarak bağlı olduğu sonucuna varabiliriz (yani, y'nin büyümesiyle birlikte artacaktır). En uygun işlevsel bağlantı biçimi: doğrusal.

Daha ileri hesaplamalara ilişkin bilgiler Tablo'da sunulmaktadır. 2.2. En küçük kareler yöntemini kullanarak doğrusal tek faktörlü ekonometrik modelin parametrelerini tahmin ediyoruz

Tablo 2.2

Böylece,

Dolayısıyla ticaret alanının 1 bin m 2 artmasıyla diğer koşullar eşit olduğunda ortalama yıllık ciro 67.8871 milyon ruble artıyor.

Örnek 2.2.İşletmenin yönetimi, yıllık cironun yalnızca mağazanın satış alanına değil (bkz. örnek 2.1) değil aynı zamanda ortalama ziyaretçi sayısına da bağlı olduğunu fark etti. İlgili bilgiler tabloda sunulmaktadır. 2.3.

Tablo 2.3

Çözüm. Belirtin - günlük mağazaya gelen ortalama ziyaretçi sayısı, bin kişi.

Değişkenler arasındaki fonksiyonel ilişkinin biçimini belirlemek ve bir dağılım grafiği oluşturmak (Şekil 2.2).

Dağılım diyagramına dayanarak, yıllık cironun günlük ortalama ziyaretçi sayısıyla pozitif ilişkili olduğu sonucuna varabiliriz (yani, büyümesiyle y artacaktır). Fonksiyonel bağımlılığın şekli doğrusaldır.

Pirinç. 2.2. Dağılım grafiği örneğin 2.2

Tablo 2.4

Genel olarak iki faktörlü ekonometrik modelin parametrelerinin belirlenmesi gerekmektedir.

y t \u003d a 0 + a 1 x 1 t + a 2 x 2 t + ε t

Daha ileri hesaplamalar için gerekli bilgiler Tablo'da sunulmaktadır. 2.4.

En küçük kareler yöntemini kullanarak doğrusal iki faktörlü ekonometrik modelin parametrelerini tahmin edelim.

Böylece,

Katsayı = 61.6583 olarak değerlendirildiğinde, diğer koşullar eşit olduğunda ticaret alanının 1 bin m 2 artmasıyla yıllık cironun ortalama 61.6583 milyon ruble artacağı görülüyor.

En küçük kareler yöntemi

En küçük kareler yöntemi ( MNK, OLS, Sıradan En Küçük Kareler) - örnek verilerden regresyon modellerinin bilinmeyen parametrelerini tahmin etmek için regresyon analizinin temel yöntemlerinden biri. Yöntem, regresyon artıklarının karelerinin toplamının en aza indirilmesine dayanmaktadır.

Çözümün, bilinmeyen değişkenlerin bazı fonksiyonlarının karelerinin toplamını en aza indirmek için belirli bir kriteri içermesi veya karşılaması durumunda, en küçük kareler yönteminin kendisinin herhangi bir alandaki bir sorunu çözmek için bir yöntem olarak adlandırılabileceği belirtilmelidir. Bu nedenle, en küçük kareler yöntemi, sayısı bu büyüklüklerin sayısını aşan denklemleri veya kısıtlamaları karşılayan bir miktarlar kümesi bulurken, belirli bir fonksiyonun diğer (daha basit) fonksiyonlar tarafından yaklaşık olarak temsil edilmesi (yaklaştırılması) için de kullanılabilir. , vesaire.

Çokuluslu şirketin özü

(Açıklanan) değişken arasında bazı (parametrik) olasılıksal (regresyon) bağımlılık modeli olsun sen ve birçok faktör (açıklayıcı değişkenler) X

bilinmeyen model parametrelerinin vektörü nerede

- Rastgele model hatası.

Belirtilen değişkenlerin değerlerine ilişkin örnek gözlemler de olsun. Gözlem numarası () olsun. O halde -'inci gözlemdeki değişkenlerin değerleridir. Daha sonra b parametrelerinin verilen değerleri için, açıklanan y değişkeninin teorik (model) değerlerini hesaplamak mümkündür:

Artıkların değeri b parametrelerinin değerlerine bağlıdır.

LSM'nin (sıradan, klasik) özü, artıkların karelerinin toplamının (eng. Artık kareler toplamı) minimum olacaktır:

Genel olarak bu sorun çözülebilir Sayısal yöntemler optimizasyon (minimizasyon). Bu durumda, biri konuşuyor doğrusal olmayan en küçük kareler(NLS veya NLLS - İngilizce. Doğrusal Olmayan En Küçük Kareler). Çoğu durumda analitik bir çözüm elde edilebilir. Minimizasyon problemini çözmek için, fonksiyonun sabit noktalarını, bilinmeyen parametreler b'ye göre türevini alarak, türevleri sıfıra eşitleyerek ve elde edilen denklem sistemini çözerek bulmak gerekir:

Modelin rastgele hataları normal dağılıyorsa, aynı varyansa sahipse ve birbirleriyle ilişkili değilse, en küçük kareler parametre tahminleri, maksimum olabilirlik yöntemi (MLM) tahminleriyle aynıdır.

Doğrusal bir model durumunda LSM

Regresyon bağımlılığının doğrusal olmasına izin verin:

İzin vermek sen açıklanan değişkenin gözlemlerinin bir sütun vektörüdür ve faktörlerin gözlemlerinin bir matrisidir (matrisin satırları, faktör değerlerinin vektörleridir) bu gözlem, sütunlara göre - tüm gözlemlerde bu faktörün değerlerinin vektörü). Doğrusal modelin matris gösterimi şu şekildedir:

Daha sonra açıklanan değişkenin tahmin vektörü ve regresyon artıklarının vektörü şuna eşit olacaktır:

buna göre regresyon artıklarının karelerinin toplamı şuna eşit olacaktır:

Bu fonksiyonun parametre vektörüne göre türevini alarak ve türevleri sıfıra eşitleyerek bir denklem sistemi elde ederiz (matris formunda):

.

Bu denklem sisteminin çözümü, doğrusal model için en küçük kareler tahminlerinin genel formülünü verir:

Analitik amaçlar için bu formülün son gösteriminin yararlı olduğu ortaya çıktı. Regresyon modelindeki veriler ise merkezli, bu gösterimde birinci matris, faktörlerin örnek kovaryans matrisi anlamına gelir ve ikincisi, faktörlerin bağımlı değişkenli kovaryanslarının vektörüdür. Ayrıca, veriler aynı zamanda normalleştirilmiş SKO'da (yani sonuçta standartlaştırılmış), o zaman ilk matris, faktörlerin örnek korelasyon matrisinin anlamını taşır, ikinci vektör - faktörlerin bağımlı değişkenle örnek korelasyonlarının vektörü.

Modeller için LLS tahminlerinin önemli bir özelliği sabit ile- oluşturulan regresyonun çizgisi örnek verilerin ağırlık merkezinden geçer, yani eşitlik sağlanır:

Özellikle, tek regresörün bir sabit olduğu uç durumda, tek bir parametrenin (sabitin kendisi) OLS tahmininin, açıklanan değişkenin ortalama değerine eşit olduğunu buluruz. Yani, büyük sayılar yasalarından iyi özellikleriyle bilinen aritmetik ortalama, aynı zamanda bir en küçük kareler tahminidir - ondan sapmaların minimum kare toplamı kriterini karşılar.

Örnek: basit (çift yönlü) regresyon

Eşleştirilmiş doğrusal regresyon durumunda hesaplama formülleri basitleştirilmiştir (matris cebiri olmadan yapabilirsiniz):

OLS tahminlerinin özellikleri

Her şeyden önce, doğrusal modeller için en küçük kareler tahmincilerinin doğrusal tahminciler olduğunu not ediyoruz. yukarıdaki formül. Tarafsız en küçük kareler tahmincileri için gerekli ve yeterlidir: temel durum Regresyon analizi: faktörlere bağlı olarak, rastgele hatanın matematiksel beklentisi sıfıra eşit olmalıdır. Bu koşul, özellikle şu durumlarda sağlanır:

1. beklenen değer rastgele hatalar sıfırdır ve
2. faktörler ve rastgele hatalar bağımsız rastgele değişkenlerdir.

İkinci koşul - dış faktörlerin koşulu - temeldir. Bu özellik karşılanmazsa, hemen hemen tüm tahminlerin son derece yetersiz olacağını varsayabiliriz: tutarlı bile olmayacaklar (yani, çok büyük miktarda veri bile bu durumda niteliksel tahminlerin elde edilmesine izin vermiyor). Klasik durumda, faktörlerin determinizmi hakkında, otomatik olarak dışsal koşulun karşılandığı anlamına gelen rastgele hatanın aksine, daha güçlü bir varsayım yapılır. Genel durumda, tahminlerin tutarlılığı için, örneklem boyutunun sonsuza kadar artmasıyla birlikte matrisin tekil olmayan bir matrise yakınlaşmasıyla birlikte dışsallık koşulunun yerine getirilmesi yeterlidir.

Tutarlılık ve tarafsızlığın yanı sıra (olağan) LSM tahminlerinin de etkili olabilmesi için (doğrusal tarafsız tahminler sınıfının en iyisi), rastgele hatanın ek özelliklerinin yerine getirilmesi gerekir:

Bu varsayımlar rastgele hata vektörünün kovaryans matrisi için formüle edilebilir.

Bu koşulları sağlayan doğrusal modele denir. klasik. Klasik doğrusal regresyon için en küçük kareler tahmin edicileri tarafsızdır, tutarlıdır ve tüm doğrusal tarafsız tahmin ediciler sınıfındaki en verimli tahmin edicilerdir (kısaltma mavi (En İyi Doğrusal Temelsiz Tahminci) en iyi doğrusal tarafsız tahmindir; V yerli edebiyat daha sıklıkla Gauss-Markov teoremi verilir). Gösterilmesi kolay olduğu gibi, katsayı tahmin vektörünün kovaryans matrisi şuna eşit olacaktır:

Genelleştirilmiş en küçük kareler

En küçük kareler yöntemi geniş bir genelleme yapılmasına olanak sağlar. Artıkların karelerinin toplamını en aza indirmek yerine, bir simetrik pozitif belirli ağırlık matrisi olan kalıntı vektörünün bazı pozitif belirli ikinci dereceden biçimleri en aza indirilebilir. Sıradan en küçük kareler, ağırlık matrisinin birim matrisle orantılı olduğu bu yaklaşımın özel bir durumudur. Simetrik matrisler (veya operatörler) teorisinden bilindiği gibi bu tür matrisler için bir ayrıştırma vardır. Dolayısıyla belirtilen fonksiyonel şu şekilde temsil edilebilir, yani bu fonksiyonel bazı dönüştürülmüş "artıkların" karelerinin toplamı olarak temsil edilebilir. Böylece, en küçük kareler yöntemlerinin bir sınıfını - LS yöntemleri (En Küçük Kareler) - ayırt edebiliriz.

Genelleştirilmiş bir doğrusal regresyon modeli için (rastgele hataların kovaryans matrisine hiçbir kısıtlama getirilmeyen), en etkili olanın (doğrusal tarafsız tahminler sınıfında) sözde tahminler olduğu kanıtlanmıştır (Aitken teoremi). genelleştirilmiş OLS (OMNK, GLS - Genelleştirilmiş En Küçük Kareler)- Rasgele hataların ters kovaryans matrisine eşit bir ağırlık matrisine sahip LS yöntemi: .

Doğrusal modelin parametrelerinin GLS tahminlerine yönelik formülün şu şekilde olduğu gösterilebilir:

Bu tahminlerin kovaryans matrisi sırasıyla şuna eşit olacaktır:

Aslında OLS'nin özü, orijinal verilerin belirli (doğrusal) bir dönüşümünde (P) ve dönüştürülen verilere olağan en küçük karelerin uygulanmasında yatmaktadır. Bu dönüşümün amacı, dönüştürülen veriler için rastgele hataların zaten klasik varsayımları sağlamasıdır.

Ağırlıklı en küçük kareler

Çapraz ağırlık matrisi (ve dolayısıyla rastgele hataların kovaryans matrisi) durumunda, ağırlıklı en küçük kareler (WLS - Ağırlıklı En Küçük Kareler) olarak adlandırılan matrise sahibiz. Bu durumda, modelin artıklarının ağırlıklı kareler toplamı en aza indirilir, yani her gözlem, bu gözlemdeki rastgele hatanın varyansıyla ters orantılı olan bir "ağırlık" alır: . Aslında veriler, gözlemlerin ağırlıklandırılmasıyla (rastgele hataların varsayılan standart sapması ile orantılı bir miktara bölünerek) dönüştürülür ve ağırlıklı verilere normal en küçük kareler uygulanır.

LSM'nin pratikte uygulanmasına ilişkin bazı özel durumlar

Doğrusal yaklaşım

Belirli bir skaler miktarın belirli bir skaler miktara bağımlılığının incelenmesi sonucunda durumu düşünün (Bu, örneğin voltajın akım gücüne bağımlılığı olabilir: sabit bir değer nerede, iletkenin direnci ), bu miktarlar ölçüldü, bunun sonucunda değerler ve bunlara karşılık gelen değerler ortaya çıktı. Ölçüm verileri bir tabloya kaydedilmelidir.

Masa. Ölçüm sonuçları.

Ölçüm Numarası
1
2
3
4
5
6

Soru şuna benzer: Bağımlılığı en iyi şekilde tanımlamak için hangi katsayı değeri seçilebilir? En küçük karelere göre bu değer, değerlerin değerlerden sapmalarının karelerinin toplamı olacak şekilde olmalıdır.

minimum düzeydeydi

Sapmaların karelerinin toplamının bir ekstremumu vardır - bir minimum, bu da bu formülü kullanmamıza izin verir. Bu formülden katsayının değerini bulalım. Bunu yapmak için sol tarafını şu şekilde dönüştürüyoruz:

Son formül, problemde gerekli olan katsayı değerini bulmamızı sağlar.

Hikaye

Önce XIX'in başı V. bilim adamlarının, bilinmeyenlerin sayısının denklem sayısından az olduğu bir denklem sistemini çözmek için belirli kuralları yoktu; O zamana kadar denklemlerin türüne ve hesap makinelerinin yaratıcılığına bağlı olarak belirli yöntemler kullanıldı ve bu nedenle aynı gözlem verilerine dayanan farklı hesap makineleri ortaya çıktı. farklı sonuçlar. Yöntemin ilk uygulamasını Gauss (1795) üstlenmiştir ve Legendre (1805) bunu bağımsız olarak keşfedip modern adı altında yayınlamıştır (fr. Methode des moindres quarres ). Laplace yöntemi olasılık teorisiyle ilişkilendirdi ve Amerikalı matematikçi Adrain (1808) onun olasılıksal uygulamalarını değerlendirdi. Yöntem yaygınlaştı ve Encke, Bessel, Hansen ve diğerleri tarafından yapılan ileri araştırmalarla geliştirildi.

Çok uluslu şirketlerin alternatif kullanımı

En küçük kareler yöntemi fikri, regresyon analiziyle doğrudan ilgili olmayan diğer durumlarda da kullanılabilir. Gerçek şu ki, karelerin toplamı vektörler için en yaygın yakınlık ölçülerinden biridir (sonlu boyutlu uzaylarda Öklid metriği).

Uygulamalardan biri de sistemlerin “çözümüdür” doğrusal denklemler Denklem sayısının değişken sayısından büyük olduğu denklem

matrisin kare değil dikdörtgen olduğu yer.

Böyle bir denklem sisteminin genel durumda hiçbir çözümü yoktur (eğer sıralama aslında değişken sayısından büyükse). Dolayısıyla bu sistem ancak ve ile vektörler arasındaki "mesafeyi" en aza indirmek için böyle bir vektörün seçilmesi anlamında "çözülebilir". Bunu yapmak için, sistem denklemlerinin sol ve sağ kısımlarının kare farklarının toplamını en aza indirme kriterini, yani , uygulayabilirsiniz. Bu minimizasyon probleminin çözümünün aşağıdaki denklem sisteminin çözümüne yol açtığını göstermek kolaydır.

Regresyon fonksiyonu tipinin seçilmesi, ör. Y'nin X'e (veya X'in Y'ye) bağımlılığına ilişkin dikkate alınan modelin türü, örneğin, doğrusal model y x =a+bx ise modelin katsayılarının spesifik değerlerinin belirlenmesi gerekmektedir.

a ve b'nin farklı değerleri için, y x =a+bx biçiminde sonsuz sayıda bağımlılık oluşturabilirsiniz; koordinat uçağı sonsuz sayıda çizgi var ama gözlenen değerlerle en iyi şekilde eşleşen böyle bir bağımlılığa ihtiyacımız var. Böylece sorun en iyi katsayıların seçimine indirgenir.

Yalnızca belirli sayıda mevcut gözleme dayanan doğrusal bir a + bx fonksiyonu arıyoruz. Gözlemlenen değerlere en uygun fonksiyonu bulmak için en küçük kareler yöntemini kullanırız.

Şunu belirtin: Y i - Y i =a+bx i denklemiyle hesaplanan değer. y i - ölçülen değer, ε i =y i -Y i - ölçülen ve hesaplanan değerler arasındaki fark, ε i =y i -a-bx i .

En küçük kareler yöntemi, ölçülen y i ile denklemden hesaplanan Y i değerleri arasındaki fark olan ε i'nin minimum olmasını gerektirir. Bu nedenle, a ve b katsayılarını, gözlemlenen değerlerin düz regresyon çizgisi üzerindeki değerlerden karesel sapmalarının toplamı en küçük olacak şekilde buluyoruz:

a argümanlarının bu fonksiyonunu inceleyerek ve bir uç noktaya kadar türevlerin yardımıyla, a ve b katsayıları sistemin çözümleri ise fonksiyonun minimum değer aldığını kanıtlayabiliriz:

(2)

Normal denklemlerin her iki tarafını da n'ye bölersek şunu elde ederiz:

Verilen (3)

Elde etmek Buradan, ilk denklemde a'nın değerini değiştirerek şunu elde ederiz:

Bu durumda b'ye regresyon katsayısı denir; a, regresyon denkleminin serbest üyesi olarak adlandırılır ve aşağıdaki formülle hesaplanır:

Ortaya çıkan düz çizgi, teorik regresyon çizgisi için bir tahmindir. Sahibiz:

Bu yüzden, doğrusal bir regresyon denklemidir.

Regresyon doğrudan (b>0) ve ters (b) olabilir. Örnek 1. X ve Y değerlerinin ölçülmesinin sonuçları tabloda verilmiştir:

x ben	-2	0	1	2	4
sen ben	0.5	1	1.5	2	3

X ile Y arasında doğrusal bir ilişki olduğunu varsayarak y=a+bx, en küçük kareler yöntemini kullanarak a ve b katsayılarını belirleyin.

Çözüm. Burada n=5
x ben =-2+0+1+2+4=5;
x ben 2 =4+0+1+4+16=25
x ben y ben =-2 0,5+0 1+1 1,5+2 2+4 3=16,5
y ben =0,5+1+1,5+2+3=8

ve normal sistem (2) şu şekle sahiptir:

Bu sistemi çözdüğümüzde şunu elde ederiz: b=0,425, a=1,175. Dolayısıyla y=1,175+0,425x.

Örnek 2. Ekonomik göstergelere (X) ve (Y) ilişkin 10 gözlemden oluşan bir örnek bulunmaktadır.

x ben	180	172	173	169	175	170	179	170	167	174
sen ben	186	180	176	171	182	166	182	172	169	177

X üzerinde Y örnek bir regresyon denklemi bulmak gerekir. X üzerinde Y örnek bir regresyon çizgisi oluşturun.

Çözüm. 1. Verileri x i ve y i değerlerine göre sıralayalım. Yeni bir tablo alıyoruz:

x ben	167	169	170	170	172	173	174	175	179	180
sen ben	169	171	166	172	180	176	177	182	182	186

Hesaplamaları basitleştirmek için gerekli sayısal değerleri gireceğimiz bir hesaplama tablosu derleyeceğiz.

x ben	sen ben	x ben 2	x ben y ben
167	169	27889	28223
169	171	28561	28899
170	166	28900	28220
170	172	28900	29240
172	180	29584	30960
173	176	29929	30448
174	177	30276	30798
175	182	30625	31850
179	182	32041	32578
180	186	32400	33480
∑x ben =1729	∑y ben =1761	∑x ben 2 299105	∑x ben y ben =304696
x=172,9	y=176.1	x ben 2 =29910,5	xy=30469.6

Formül (4)'e göre regresyon katsayısını hesaplıyoruz

ve formül (5) ile

Böylece örnek regresyon denklemi y=-59,34+1,3804x gibi görünür.
Koordinat düzleminde (x i ; y i) noktalarını işaretleyelim ve regresyon doğrusunu işaretleyelim.

Şekil 4

Şekil 4, gözlemlenen değerlerin regresyon çizgisine göre nasıl konumlandırıldığını göstermektedir. y i'nin Y i'den sapmalarını sayısal olarak tahmin etmek için, burada y i gözlemlenen değerlerdir ve Y i regresyonla belirlenen değerlerdir, bir tablo yapacağız:

x ben	sen ben	ey ben	Y ben -y ben
167	169	168.055	-0.945
169	171	170.778	-0.222
170	166	172.140	6.140
170	172	172.140	0.140
172	180	174.863	-5.137
173	176	176.225	0.225
174	177	177.587	0.587
175	182	178.949	-3.051
179	182	184.395	2.395
180	186	185.757	-0.243

Y i değerleri regresyon denklemine göre hesaplanır.

Gözlemlenen bazı değerlerin regresyon çizgisinden gözle görülür şekilde sapması, gözlem sayısının az olmasıyla açıklanmaktadır. Dereceyi incelerken doğrusal bağımlılık Y'den X'e kadar gözlem sayısı dikkate alınır. Bağımlılığın gücü korelasyon katsayısının değeri ile belirlenir.

 

---

Okumak:
Etnik grupların psikolojik özellikleri Bir etnik grubun ayırt edici özellikleri İkinci Dünya Savaşı Koşullarında SSCB'nin Ekonomisi ve Ulusal Ekonomisi SSCB'nin Ulusal Ekonomisi Ölüler için ilahiyi okuma sırası Ölüler için ilahiyi kim okumalı Rusya Günü'ne adanmış tüm Rusya yaratıcı yarışması “Ülkemizle gurur duyuyoruz” “Rusya'nın Gururu” yarışmasına katılım için kayıt ücreti Draenor'da uçmayı nerede öğrenebilirim?