Duas publicações de pesquisa, abordando de ângulos diferentes, apontam para a mesma questão — o que é um conceito?

Imagine que a linguagem existe num sistema de coordenadas bidimensional. O eixo X representa a dimensão temporal, onde o vocabulário é organizado em frases à medida que o tempo passa. O eixo Y é a dimensão do significado, e a razão pela qual escolhemos uma palavra em vez de outra é impulsionada pelo significado.

Recentemente, os resultados de pesquisa da série SAEs são muito interessantes, pois revelam como os modelos de redes neurais operam no eixo Y — os modelos aprenderam a extrair e expressar características de conceitos com significado claro. Em outras palavras, durante o processo de cálculo do modelo, existem certos "nós" que não representam ativações neurais aleatórias, mas sim expressões de conceitos com significado específico. Isso significa que o significado dentro de modelos de aprendizagem profunda pode ser decomposto e observado.