뇌를 닮은 AI의 혁신: TopoLM 언어 모델이 바꾸는 인공지능의 미래

뇌의 구조를 본떠 언어를 처리하는 새로운 인공지능 모델 TopoLM이 AI 연구의 새 지평을 열고 있습니다. 이 혁신적인 모델은 인간 뇌와 같이 뉴런들을 공간적으로 배치하여 언어를 학습하는 방식으로, 기존 AI 모델과는 차별화된 접근법을 제시합니다. 뇌의 언어 처리 방식을 모방함으로써 더 자연스러운 언어 이해와 생성이 가능해질 전망입니다. 지금부터 TopoLM의 구조와 원리, 그리고 이것이 AI와 신경과학 연구에 미칠 영향에 대해 자세히 알아보겠습니다.

This New AI Could Be the First Real ARTIFICIAL BRAIN!

This New AI Could Be the First Real ARTIFICIAL BRAIN!

 

🤖 새로운 인공지능 모델, TopoLM

TopoLM은 스위스 로잔 연방 공과대학교(EPFL)의 NeuroAI 연구소에서 개발한 혁신적인 AI 언어 모델입니다^9. 기존 AI 모델과 달리 TopoLM은 인간 뇌의 공간적 구조를 모방하여 설계되었습니다. 실제 뇌에서는 비슷한 기능을 수행하는 뉴런들이 물리적으로 가까이 모여 있는데, TopoLM은 이 원리를 인공신경망에 적용했습니다^1.

"우리는 시각을 처리하는 뇌 영역에 관한 연구를 기반으로, 언어 모델이 내부적으로 자신을 구성하는 방식에 약간의 변화를 주었습니다. 모델의 내부 표현이 공간적으로 '매끄럽게' 이어지도록 하는 규칙을 추가한 결과, TopoLM은 사람의 뇌가 언어를 처리할 때 보이는 활동과 기능적으로 일치하는 공간적 클러스터를 개발했습니다."라고 NeuroAI 연구소의 마틴 슈림프(Martin Schrimpf) 교수는 설명합니다^9.

이 연구는 ICLR 2025(국제 학습 표현 회의)에서 구두 발표를 위해 선정된 논문 중 상위 2% 미만에 속하는 성과로, 학계에서 높은 주목을 받고 있습니다^20.

🧠 인간 뇌와 언어 처리의 관계

인간의 뇌에는 언어를 처리하기 위한 특별한 구조가 있습니다. 신경세포(뉴런)들은 조직 위에 공간적으로 조직되어 있어, 가까이 위치한 뉴런들이 종종 비슷한 반응 패턴을 보입니다^1. 언어 시스템에서는 구문과 의미적 범주에 대한 클러스터가 관찰되었습니다. 예를 들어, 특정 뉴런 클러스터는 동사에 특화되어 있고, 다른 클러스터는 명사에 집중합니다^9.

특히 흥미로운 점은 뇌의 언어 네트워크가 형태학적으로 유사한 입력에 대해 비슷한 반응을 보이는 방식입니다. 이러한 뇌의 조직 방식은 언어 처리의 효율성을 높이는 것으로 생각되지만, 이러한 기능적 조직의 메커니즘은 아직 명확하게 밝혀지지 않았습니다^2.

"이는 공간적 클러스터나 기능적 클러스터가 뇌에서 어떻게 형성되는지 이해하기 위한 기초 연구였으며, 이 새로운 모델이 제시하는 것은 가까운 뉴런들이 유사하게 작동하는 경향이 있다는 단일 기본 규칙에 의해 주도될 수 있다는 것입니다."라고 슈림프 교수는 덧붙입니다^9.

🧠 인공 뇌 모델: TopoLM의 구조와 성능

TopoLM은 기본적으로 트랜스포머 언어 모델의 구조를 가지고 있지만, 모델 단위의 명시적인 2차원 공간 표현을 추가한 것이 특징입니다^1. 이 모델은 GPT2-소형 모델을 기반으로 하며, 12개의 트랜스포머 블록과 각 블록당 16개의 어텐션 헤드를 갖추고 있습니다^10. 784개의 유닛이 28x28 그리드에 배치되어 있어, 각 인공 뉴런은 지정된 x-y 좌표를 갖습니다^10.

TopoLM의 혁신적인 특징은 다음 토큰 예측 목표(표준 언어 모델과 같은)와 공간적 매끄러움 손실을 결합했다는 점입니다^2. 이 공간 손실 함수는 근접한 모델 단위들이 유사한 활성화 패턴을 가지도록 장려합니다. 구체적으로, 가까이 위치한 두 유닛의 활성화가 상관관계가 낮을 때 작은 페널티를 부여함으로써, 뇌에서 관찰되는 것과 같은 공간적 유사성을 유도합니다^10.

이 손실 함수의 기여도는 2.5로 조정되어, 모델이 언어 기능을 유지하면서도 공간적 일관성을 고려하도록 합니다^10. 모델은 웹에서 추출한 약 100억 개의 토큰으로 구성된 훈련 데이터셋을 통해 학습되었으며, 강력한 GPU에서의 계속된 훈련을 통해 성능이 향상되었습니다^10.

훈련 결과, TopoLM은 검증 태스크 손실 3.075와 공간 손실 0.108을 달성했습니다. 반면, 동일한 조건에서 공간적 제약 없이 훈련된 기준 모델은 검증 손실 2.966을 기록했습니다^10. 이는 TopoLM이 공간적 구조를 유지하기 위해 약간의 성능 손실을 감수한다는 것을 보여줍니다.

🧠 TopoLM의 언어 모델 성능 분석

TopoLM의 가장 주목할 만한 특징은 의미적으로 해석 가능한 텍스트 그룹화에 해당하는 클러스터를 형성한다는 것입니다^1. 이 클러스터들은 뇌의 언어 시스템에서 관찰되는 기능적 조직과 밀접하게 일치합니다^2.

특히, TopoLM은 구체적인 단어 쌍에 대한 선택성에서 0.83이라는 높은 클러스터링 점수를 기록했습니다. 하지만 추상적인 단어에 대해서는 이 점수가 0.23으로 감소했습니다^10. 이러한 패턴은 실제 뇌에서도 관찰되는 현상으로, 구체적인 개념이 추상적인 개념보다 더 명확하게 클러스터링되는 경향이 있습니다.

기본적인 언어 능력 측면에서, TopoLM은 BLiMP(문법 정확도 테스트)에서 약간의 손실을 보였지만, GLUE(다운스트림 작업 성능)에서는 오히려 향상된 성능을 보였습니다^10. 특히 기준 모델에 비해 평균 3포인트의 성능 향상을 보였는데, 이는 공간 손실 항이 과적합을 방지하는 추가적인 정규화 역할을 했을 가능성이 있습니다^10.

TopoLM의 또 다른 중요한 측면은 해석 가능성입니다. 모델의 내부 구성 요소가 클러스터로 조직되기 때문에, 이러한 클러스터를 살펴보고 의미 있는 그룹화가 나타나는 것을 확인할 수 있습니다^17. 이는 모델이 언어를 어떻게 표현하고 처리하는지 이해하는 데 더 직관적인 방법을 제공합니다.

이 모델이 가지는 의학적 응용 가능성도 주목할 만합니다. "TopoLM을 통해 우리는 뇌 일반에 대한 더 나은 모델을 구축하는 데 한 걸음 더 가까워졌으며, 언어 장애나 유사한 언어 결핍이 있는 사람들을 돕는 임상 응용에 도움이 될 수 있습니다."라고 NeuroAI 연구소와 자연어 처리 연구소(NLP)의 박사 조교인 바드르 알카미시(Badr AlKhamissi)는 말합니다^9.

🧠 AI와 인지 신경과학의 새로운 시너지

TopoLM은 AI와 인지 신경과학 사이에 새로운 시너지를 창출할 것으로 기대됩니다. 이 모델은 인공지능 시스템이 인간 뇌와 더 유사하게 조직될 수 있다는 흥미로운 가능성을 제시합니다^19.

TopoLM이 보여주는 성과는 뇌의 기능적 조직이 통합된 공간적 목표에 의해 주도된다는 것을 시사합니다^8. 이는 시각 처리에 관한 연구에서 처음 제안된 공간적 매끄러움 원칙이 언어 영역으로도 확장될 수 있음을 보여줍니다^10.

특히 주목할 점은 TopoLM이 단순히 지역적 연결성만으로는 얻을 수 없는 강력한 명사-동사 선택성을 보여준다는 것입니다^10. 이는 뇌의 언어 처리 영역에서 관찰되는 것과 유사한 패턴으로, 단순한 물리적 제약 이상의 조직 원리가 작용한다는 것을 시사합니다.

이 연구 팀은 이제 모델의 예측을 실제 인간 뇌에서 테스트하는 작업을 진행할 예정입니다. "이 모델은 우리가 예상했던 것보다 훨씬 잘 작동하기 때문에, 그 예측이 실제로 맞는지 테스트하고 싶습니다. 모델에는 아직 인간 뇌에서 관찰되지 않은 클러스터가 있습니다. 왜냐하면 아직 아무도 그것을 찾지 않았기 때문입니다. 우리는 미국의 동료들과 함께 새로운 이미징 연구를 수행하여 이러한 클러스터가 인간 뇌에서도 나타나는지 알아볼 것입니다."라고 슈림프 교수는 결론을 내립니다^17.

TopoLM은 뇌의 작동 방식을 모방하는 인공지능의 새로운 지평을 열었습니다. 이 연구는 뇌의 공간적 구조가 언어 처리에 미치는 영향을 이해하는 데 중요한 통찰력을 제공하며, 동시에 더 나은 언어 모델을 개발하기 위한 새로운 접근 방식을 제시합니다. TopoLM의 성공은 뇌에서 영감을 받은 컴퓨팅과 신경언어학의 발전에 직접적인 응용 가능성을 제공하며, 언어 장애를 가진 사람들을 돕는 임상 응용으로 이어질 수 있는 길을 열어줍니다.

#인공지능 #TopoLM #신경과학 #언어모델 #뇌구조 #인지과학 #자연어처리 #NLP #딥러닝 #AI연구 #뇌유사AI #신경언어학 #EPFL #트랜스포머

---

Brain-Inspired Innovation in AI: How TopoLM Language Model is Transforming Artificial Intelligence

A new artificial intelligence model called TopoLM, which processes language by mimicking the structure of the brain, is opening new horizons in AI research. This innovative model differentiates itself from existing AI models by spatially arranging neurons to learn language, similar to the human brain. By mimicking the brain's language processing methods, more natural language understanding and generation are expected to become possible. Let's explore in detail the structure and principles of TopoLM, and the impact it will have on AI and neuroscience research.

🤖 The New AI Model, TopoLM

TopoLM is an innovative AI language model developed by the NeuroAI Laboratory at the Swiss Federal Institute of Technology Lausanne (EPFL)^9. Unlike existing AI models, TopoLM is designed to mimic the spatial structure of the human brain. In the actual brain, neurons that perform similar functions are physically clustered together, and TopoLM applies this principle to artificial neural networks^1.

"Building on work around how the brain processes vision, we made some relatively small changes to how a language model organizes itself internally, adding a rule that encourages the model's internal representations to be 'smooth' spatially. The resulting model TopoLM develops spatial clusters of its internal components that functionally match the activity we see in human brains when they process language," explained Professor Martin Schrimpf, Head of the NeuroAI Lab^9.

This research has been selected as one of less than 2% of papers for oral presentation at ICLR 2025 (International Conference on Learning Representations), receiving high attention in academia^20.

🧠 The Relationship Between Human Brain and Language Processing

The human brain has special structures for processing language. Neurons are spatially organized on tissue, with nearby neurons often showing similar response patterns^1. In the language system, clusters for syntactic and semantic categories have been observed. For example, certain neuron clusters specialize in verbs, while others focus on nouns^9.

Particularly interesting is how the brain's language network responds similarly to morphologically similar inputs. This organizational method of the brain is thought to increase the efficiency of language processing, but the mechanisms of this functional organization have not yet been clearly revealed^2.

"This was basic research to understand how spatial clusters or functional clusters in the brain originate in the first place and what this new model suggests is that it might be driven by a single, basic rule about spatial organization where close by neurones just tend to behave similarly," adds Professor Schrimpf^9.

🧠 Artificial Brain Model: Structure and Performance of TopoLM

TopoLM has the basic structure of a transformer language model but adds an explicit two-dimensional spatial representation of model units^1. The model is based on GPT2-small, with 12 transformer blocks and 16 attention heads per block^10. 784 units are arranged on a 28x28 grid, giving each artificial neuron an assigned x-y coordinate^10.

The innovative feature of TopoLM is that it combines a next-token prediction objective (like standard language models) with a spatial smoothness loss^2. This spatial loss function encourages similar activation patterns in nearby model units. Specifically, it imposes a small penalty when the activations of two nearby units have low correlation, inducing spatial similarity as observed in the brain^10.

The contribution of this loss function is adjusted to 2.5, allowing the model to maintain language functionality while considering spatial consistency^10. The model was trained on a training dataset consisting of about 10 billion tokens extracted from the web, and its performance improved through continued training on powerful GPUs^10.

As a result of training, TopoLM achieved a validation task loss of 3.075 and a spatial loss of 0.108. In contrast, a baseline model trained under the same conditions without spatial constraints recorded a validation loss of 2.966^10. This shows that TopoLM accepts a slight performance loss to maintain spatial structure.

🧠 Analysis of TopoLM's Language Model Performance

The most notable feature of TopoLM is that it forms clusters corresponding to semantically interpretable groupings of text^1. These clusters closely match the functional organization observed in the brain's language system^2.

In particular, TopoLM recorded a high clustering score of 0.83 for selectivity to concrete word pairs. However, this score decreased to 0.23 for abstract words^10. This pattern is also observed in the actual brain, where concrete concepts tend to cluster more clearly than abstract concepts.

In terms of basic language ability, TopoLM showed a slight loss in BLiMP (grammatical accuracy test) but improved performance in GLUE (downstream task performance)^10. Specifically, it showed a 3-point average performance improvement compared to the baseline model, suggesting that the spatial loss term may have played an additional regularization role preventing overfitting^10.

Another important aspect of TopoLM is interpretability. Because the model's internal components are organized into clusters, you can examine these clusters and see meaningful groupings emerge^17. This provides a more intuitive way to understand how the model represents and processes language.

The medical application potential of this model is also noteworthy. "This is an exciting step towards building artificial intelligence systems that are organized more like the human brain. One of our main goals is to build better models of the brain in general and with TopoLM we are one step closer to clinical applications that might help us to help people with language disorders or similar language deficits," says Badr AlKhamissi, a doctoral assistant in the NeuroAI Lab and Natural Language Processing Laboratory (NLP)^9.

🧠 New Synergy Between AI and Cognitive Neuroscience

TopoLM is expected to create a new synergy between AI and cognitive neuroscience. This model presents the intriguing possibility that artificial intelligence systems can be organized more like the human brain^19.

The achievements demonstrated by TopoLM suggest that the functional organization of the brain is driven by a unified spatial objective^8. This shows that the principle of spatial smoothness first proposed in research on visual processing can be extended to the language domain^10.

Particularly noteworthy is that TopoLM shows strong noun-verb selectivity that cannot be obtained by local connectivity alone^10. This is a pattern similar to that observed in the language processing areas of the brain, suggesting that organizational principles beyond simple physical constraints are at work.

This research team will now proceed with testing the model's predictions in actual human brains. "This model works so well, far better than we expected, that we want to test if its predictions are true. There are clusters in the model that we have not yet observed in the human brain because nobody has looked for them yet. We'll be working with colleagues in the United States who experimentally work with humans to run a new imaging study to find out if these clusters also appear in the human brain," Professor Schrimpf concludes^17.

TopoLM has opened new horizons for artificial intelligence that mimics how the brain works. This research provides important insights into understanding how the brain's spatial structure affects language processing, while also presenting a new approach to developing better language models. The success of TopoLM provides direct application possibilities for the advancement of brain-inspired computing and neurolinguistics, paving the way for clinical applications that can help people with language disorders.

Hashtags: #ArtificialIntelligence #TopoLM #Neuroscience #LanguageModel #BrainStructure #CognitiveScience #NaturalLanguageProcessing #NLP #DeepLearning #AIResearch #BrainLikeAI #Neurolinguistics #EPFL #Transformer

⁂

#인공지능 #TopoLM #신경과학 #언어모델 #뇌구조 #인지과학 #자연어처리 #NLP #딥러닝 #AI연구 #뇌유사AI #신경언어학 #EPFL #트랜스포머