Düşük sinyal/gürültü oranında dayanıklı öğrenme
Bir modelin gürültüye ne kadar dayanıklı olduğunu ancak sinyali bildiğiniz bir ortamda ölçebilirsiniz. Bu sayfa o ortamı nasıl kurduğumuzu, standart bir xLSTM'in orada nasıl davrandığını ve onu hangi değişikliklerle daha dayanıklı hale getirdiğimizi anlatıyor.
Bir bakışta
- DA-xLSTM, ANC Labs'te geliştirilen, gürültüye dayanıklı bir xLSTM varyantı. Eğitim hedefinin kırpılmasını, küçültülmüş bir gizli durumu (16 → 4) ve beş modelin ortalamasını birleştiriyor.
- ANC Labs'in sentetik sinyal/gürültü laboratuvarında DA-xLSTM, standart xLSTM'e göre test edilen 5 hücrenin hepsinde %16–36 daha yüksek sinyal verimi üretti.
- Laboratuvarın veri üreteci gerçek kripto perpetual verisinin 13 istatistiğine kalibre edildi; 13'ü de önceden belirlenen tolerans içinde kaldı. Toplam 1.583 laboratuvar ölçümü yapıldı.
- Eğitim panelleri arasında DA-xLSTM'in sonuçları standart xLSTM'e göre %20–42 daha az dalgalandı ve hiçbir hücrede dejenere çözüm görülmedi.
Gürültüyü ezberleyen modeller
Kripto perpetual piyasasının günlük verisi üç açıdan zor. Birincisi kuyruklar: getirilerin Student-t kuyruk parametresi yaklaşık 2,8, yani uç günler normal dağılımın öngördüğünden çok daha sık. İkincisi ortak hareket: varlıklar arası ortalama korelasyon 0,58 civarında, bu da yüz varlıklık bir kesitin aslında çok daha az bağımsız bilgi taşıdığı anlamına geliyor. Üçüncüsü oynaklık: oynaklık kümeleniyor ve kalıcı (GARCH kalıcılığı 0,97).
Bu koşullarda esnek bir model, veri tükenmeden önce gürültüyü öğrenmeye başlar. Standart xLSTM'in en iyi doğrulama sonucuna hangi epoch'ta ulaştığına baktığımızda, 170 koşunun %86'sında bu an ilk iki epoch'tu. Eğitimin geri kalanı modeli iyileştirmiyor, sadece gürültüye uyduruyordu.
epoch
Sinyali bilinen bir piyasa kurmak
Gerçek veride bir modelin yakaladığı şeyin sinyal mi gürültü mü olduğunu ayırmak mümkün değil. Laboratuvar bu yüzden var: gerçek piyasanın istatistiklerini taklit eden, ama içine ektiğimiz sinyalin gücünü bildiğimiz bir veri üreteci.
Üreteç üç süreci birleştiriyor. Fiyat tarafında iki durumlu bir rejim piyasa faktörünü sürüyor; varlıklar dört kümeye ayrılıyor ve her birinin GARCH tipi oynaklığı var. Sinyal tarafında gizli, kalıcı bir bileşen var ve model onu yalnızca gürültülü bir ölçümle görüyor. Funding tarafında ortak ve kalıcı bir bileşen ile varlığa özgü bir bileşen bulunuyor. Modele verilen dokuz özellikten dördü kasıtlı olarak saf gürültü; iyi bir model bunları görmezden gelmeyi öğrenmeli.
Kalibrasyon yalnızca 2025 sonuna kadarki gerçek verinin momentlerinden yapıldı ve aşağıdaki on üç ölçütün hepsi önceden belirlenen tolerans içinde kaldı.
- 2 durumlu rejim
- piyasa + 4 küme faktörü
- GARCH oynaklık, Student-t şoklar
- gizli kalıcı sinyal
- + ölçüm gürültüsü
- 9 özellik (4'ü saf gürültü)
- ortak kalıcı bileşen
- + varlığa özgü bileşen
- carry getirisi
- laboratuvar ölçümü (fit + değerlendirme)
- 1.583
- deney hücresi (ana ızgara)
- 26
- ana ızgaranın kesintisiz koşu süresi
- 18,3 sa
Kalibrasyon: gerçek panel ve üreteç
| Moment | Gerçek | Sentetik | Tolerans | |
|---|---|---|---|---|
| Kesitsel getiri korelasyonu (ρ) | 0,581 | 0,553 | ±0,05 | tolerans içinde |
| Kuyruk kalınlığı (ν) | 2,78 | 3,08 | ±0,50 | tolerans içinde |
| Oynaklık kalıcılığı (GARCH) | 0,969 | 0,946 | ±0,05 | tolerans içinde |
| Funding kalıcılığı | 0,748 | 0,764 | ±0,10 | tolerans içinde |
| Funding ile akış sinyali arası korelasyon | −0,161 | −0,158 | ±0,10 | tolerans içinde |
| Funding oynaklığı / getiri oynaklığı | 0,034 | 0,032 | ±%20 göreli | tolerans içinde |
| Medyan oynaklık | 0,056 | 0,053 | ±%15 göreli | tolerans içinde |
| Akış sinyalinin kalıcılığı (10 gün) | 0,534 | 0,456 | ±0,10 | tolerans içinde |
| Oynaklıkların kesitsel dağılımı | 0,347 | 0,290 | ±0,15 | tolerans içinde |
| Betaların dağılımı | 0,242 | 0,256 | ±0,10 | tolerans içinde |
| Funding'de ortak bileşenin payı (günlük) | 0,191 | 0,225 | ±0,05 | tolerans içinde |
| Funding'de ortak bileşenin payı (10 gün) | 0,320 | 0,380 | ±0,07 | tolerans içinde |
| Funding kesitsel dağılım oranı | 0,287 | 0,316 | ±0,08 | tolerans içinde |
Sinyal zayıfladıkça fark büyüyor
Verim, bir modelin tahminleriyle gerçekleşen getiri arasındaki bilgi katsayısının (IC), o veride ulaşılabilecek en iyi doğrusal IC'ye oranı. 1 tavanın kendisi; 0,5 bilginin yarısının yakalandığı anlamına geliyor.
DA-xLSTM, standart xLSTM'e göre test edilen bütün hücrelerde daha yüksek verim üretti: mutlak olarak +0,118 ile +0,212 arası, göreli olarak %16–36. Kalıcı sinyal rejiminde göreli kazanç sinyal zayıfladıkça büyüyor: t = 4,5 için %16, t = 1,5 için %35. Değişiklikler tam da gürültünün baskın olduğu bölgede işe yarıyor.
- DA-xLSTM
- standart xLSTM
- doğrusal tavan
Beş test hücresi
| Sinyal rejimi | Sinyal gücü t | Standart xLSTM | DA-xLSTM | Fark | Göreli |
|---|---|---|---|---|---|
| a — belleksiz sinyal | 2,5 | 0,582 | 0,794 | +0,212 | %36 |
| b — kalıcı sinyal | 1,5 | 0,518 | 0,698 | +0,180 | %35 |
| b — kalıcı sinyal | 2,5 | 0,596 | 0,762 | +0,166 | %28 |
| b — kalıcı sinyal | 4,5 | 0,729 | 0,847 | +0,118 | %16 |
| c — rejime bağlı sinyal | 2,5 | 0,623 | 0,782 | +0,158 | %25 |
Üç değişiklik, her biri ayrı test edildi
Başlangıç noktası saf PyTorch ile yazılmış, üstel kapılı bir sLSTM. Üstel giriş kapısı girdiyle doğrusal büyüdüğü için, kalın kuyruklu veride tek bir uç gözlem hücre durumunu uzun süre domine edebiliyor. Geniş gizli durum da düşük sinyalli veride fazla serbestlik demek.
Her değişikliği önce tek başına, koşudan önce yazılmış bir hipotez, beklenen etki ve başarı ölçütüyle test ettik. Geçen değişikliklerden birbiriyle uyumlu olanlar birleştirildi; hedef kırpma ile Huber kaybı aynı işi gördüğü için yalnız kırpma alındı.
- Girdi (kesitsel sıra)
- Üstel kapılar i, f
- Hücre durumu + normalizer
- 2Gizli boyut 16 → 4
- Tahmin
- 1Eğitim hedefi kırpılır: |y| ≤ 5
- 35 bağımsız modelin ortalaması
- eğitim panelleri arası dağılımda daralma; model farklı eğitim verilerinde daha tutarlı
- %20–42
- hücrede dejenere çözüm yok (sabit ya da nötr tahmine çökme)
- 5/5
Laboratuvardan çıkan üç ders
- 01
Gürültülü veride kısa bellek daha iyi genelliyor
xLSTM'in güçlü yanı uzun bellek. Ama düşük sinyal/gürültü oranında 20 günlük girdi penceresi yerine tek adımlık girdi kullanmak verimi +0,118 artırdı (%95 aralık +0,052 ile +0,183). Uzun pencere, modele gürültüyü ezberlemek için daha fazla yer açıyordu.
- 02
Sıfıra değil, önsele doğru büzmek
Klasik düzenlileştirme katsayıları sıfıra doğru çeker. Sinyal zayıfken bu, gerçek ama küçük etkileri de siliyor. Katsayıları önceden bilinen bir yapıya, yani bir önsele doğru büzmek, aynı düzenlileştirme gücünde bu zayıf sinyali koruyor ve veri az şey söylediğinde bile modelin mantıklı bir yere dönmesini sağlıyor.
- 03
Tek bir uç değer belleği ele geçirebilir
Üstel giriş kapısı girdiyle doğrusal büyüdüğü için, büyüklüğü 3, 6, 10 birim olan tek bir sıçrama gizli durumda sırasıyla 0, 5, 12–13 adım boyunca kalıyor. Girdileri kesitsel sıraya çevirmek ve eğitim hedefini kırpmak bu etkiyi sınırlıyor.