🤖 LLM의 한계와 과학적 발견의 미래: 얀 르쿤의 통찰

생성형 AI가 텍스트를 기반으로 놀라운 성과를 보여주고 있지만, 왜 아직까지 독자적인 과학적 발견은 이루어내지 못할까요? 메타의 AI 최고 과학자이자 세계적인 AI 석학인 얀 르쿤은 이에 대한 명확한 답변과 함께 AI의 미래 방향을 제시합니다. 현재의 대규모 언어 모델(LLM)의 한계점과 진정한 과학적 발견을 위해 필요한 새로운 AI 아키텍처에 대해 알아보겠습니다.

 

Why Can't AI Make Its Own Discoveries? — With Yann LeCun

 

현재 생성형 AI의 근본적 한계

얀 르쿤 교수는 현재의 인공지능 시스템이 인간과 같은 지능을 갖고 있지 않을 뿐 아니라, "개만큼도 똑똑하지 않다"고 단언합니다1. 이는 생성형 AI가 가진 근본적인 한계를 명확하게 보여주는 발언입니다.

텍스트 기반 학습의 한계

현재의 대규모 언어 모델(LLM)은 방대한 양의 텍스트 데이터를 학습하여 놀라운 결과를 보여주고 있습니다. 그러나 르쿤 교수는 이런 모델들이 실제 세상의 기저에 깔린 현실을 전혀 이해하지 못한다고 지적합니다.

"대부분의 인간 지식은 언어와 무관하다. 그러한 인간 경험은 AI가 포착할 수 없다."1

 

LLM은 단순히 텍스트에서 나타나는 패턴을 학습할 뿐, 그 의미를 진정으로 이해하지 못합니다. 이는 마치 방대한 양의 책을 읽었지만 실제 세계를 경험해보지 못한 사람과 같습니다.

물리적 세계 이해의 부재

르쿤 교수가 가장 강조하는 LLM의 한계 중 하나는 물리적 세계에 대한 이해 부족입니다358. 인간과 동물은 시각, 촉각 등 다양한 감각을 통해 세상을 이해하고 경험하지만, 현재의 AI는 오직 텍스트만으로 훈련됩니다.

이런 한계로 인해 AI는 변호사 시험에는 합격할 수 있지만, 10살짜리 아이도 금방 배우는 식기세척기에 식기를 채워 넣는 일조차 할 수 없습니다1. 또한 르쿤은 "고양이가 물리적 세계를 이해하는 수준보다도 떨어지는 수준"이라고 평가합니다5.

왜 생성형 AI는 과학적 발견을 할 수 없는가

생성형 AI가 독자적인 과학적 발견을 하지 못하는 이유는 무엇일까요? 르쿤 교수의 견해를 중심으로 살펴보겠습니다.

추론 능력의 부족

르쿤 교수는 현재의 AI 시스템이 추론 능력이 부족하다고 지적합니다458. 과학적 발견을 위해서는 단순히 기존 정보를 조합하는 것을 넘어 논리적인 추론과 가설 검증이 필요합니다.

"LLM은 언어 조작에는 능숙하지만 사고에는 능숙하지 않다."8

 

과학적 발견의 핵심은 논리적 사고와 추론 능력에 있습니다. 그러나 LLM은 단순히 통계적 패턴에 따라 다음에 올 가능성이 높은 단어나 문장을 예측하는 데 그치며, 깊은 사고 과정을 진행하지 못합니다.

올바른 질문을 던지는 능력의 부재

과학적 발견에서 가장 중요한 것은 올바른 질문을 던지는 능력입니다. 르쿤 교수는 현재의 AI 시스템이 질문에 대답하는 능력은 뛰어날지 몰라도, 스스로 중요한 질문을 생성하는 능력은 부족하다고 봅니다.

과학적 혁신은 종종 "왜?"라는 질문에서 시작됩니다. 아이작 뉴턴이 떨어지는 사과를 보고 "왜 사과는 항상 아래로 떨어질까?"라고 질문했듯이, 새로운 발견은 기존 현상에 대한 의문에서 출발합니다. 그러나 현재의 AI는 이러한 질문을 스스로 생성하지 못합니다.

새로운 AI 아키텍처의 필요성

르쿤 교수는 현재의 LLM 패러다임이 3-5년 안에 끝날 것이라고 예측하며, 새로운 AI 아키텍처의 필요성을 강조합니다68.

JEPA와 같은 대안적 모델

르쿤 교수는 새로운 AI 시스템의 주요 모델로 '제파(JEPA: Joint-Embedding Predictive Architecture)'를 제시합니다3. 이는 이미지와 비디오를 통해 이해하고 배우는 비생성형 AI 모델입니다.

"내가 기대하는 첫 번째 혁신은 AI가 비디오를 보면서 동물이나 인간처럼 세상을 이해하고 상호작용하는 법을 배우는 시스템이다."3

 

이러한 접근 방식은 AI가 텍스트 외에도 다양한 정보를 통해 세상을 이해할 수 있게 합니다. 특히 물리적 세계의 법칙을 이해하는 데 중요한 역할을 할 것으로 기대됩니다.

물리적 세계를 이해하는 AI

르쿤 교수는 진정한 과학적 발견을 위해서는 AI가 물리적 세계를 이해해야 한다고 강조합니다. 예를 들어, 테이블 위의 물건을 밀면 물건이 움직이지만, 같은 힘으로 테이블을 밀 때는 움직이지 않는다는 물리학 개념을 추론할 수 있어야 합니다3.

이러한 물리적 이해는 단순히 텍스트 데이터에서 학습할 수 없습니다. 실제 세계와의 상호작용을 통해 얻어진 경험과 지식이 필요합니다. 르쿤 교수는 AI가 로봇과 결합하여 물리적 세계와 상호작용하는 것이 중요한 연구 방향이라고 제안합니다38.

AI 발전의 미래 방향

르쿤 교수는 AI 발전의 미래 방향에 대한 분명한 비전을 제시합니다.

목표 중심적 AI

르쿤 교수는 새로운 AI 패러다임으로 '목표 중심적 AI(Objective-Driven AI)'를 제시합니다5. 이는 단순히 데이터를 예측하는 것에서 벗어나 물리적 세계를 이해하고 계획을 세울 수 있는 AI 시스템을 의미합니다.

"물리적인 세계를 이해하고 지속적인 기억을 가지며 추론과 계획을 체계적으로 수행하고 안전하게 제어 가능한 AI 시스템이 필요하다."5

 

이러한 시스템은 현재의 LLM과는 완전히 다른 종류의 AI가 될 것이며, 보다 인간과 동물에 가까운 형태의 지능을 구현할 것으로 기대됩니다.

글로벌 협력의 중요성

르쿤 교수는 AI 발전을 위해 글로벌 협력이 필요하다고 강조합니다5. 단일 기업이나 국가가 아닌, 전 세계의 연구자들이 함께 협력하여 AI의 한계를 극복해야 한다고 제안합니다.

"미래의 AI는 모든 언어와 문화를 이해해야 하며, 이를 위해서는 전 세계적인 협력이 필요하다."5

 

특히 각 국가의 언어와 문화를 반영한 데이터 수집과 오픈소스 기반의 AI 개발이 중요하다고 주장합니다.

결론: AI의 한계를 넘어서

현재의 생성형 AI와 LLM은 텍스트 기반 작업에서 놀라운 능력을 보여주지만, 물리적 세계 이해, 추론 능력, 새로운 질문 생성 등의 측면에서 여전히 한계가 있습니다. 이로 인해 독자적인 과학적 발견을 이루어내기 어렵습니다.

르쿤 교수는 이러한 한계를 극복하기 위해 JEPA와 같은 새로운 아키텍처와 로봇과의 결합을 통한 물리적 세계 이해 증진을 제안합니다. 또한 글로벌 협력과 오픈소스 기반의 개발이 AI 발전의 핵심 요소라고 강조합니다.

진정한 과학적 발견을 위한 AI의 발전은 단순히 현재 LLM의 확장이 아닌, 근본적으로 새로운 패러다임을 필요로 합니다. 이러한 변화는 3-5년 내에 일어날 것으로 예측되며, 우리는 AI가 인간의 지능에 한 걸음 더 가까워지는 흥미로운 시대를 맞이하게 될 것입니다.

참고 태그

#인공지능 #AI #LLM #얀르쿤 #딥러닝 #생성형AI #AI한계 #과학적발견 #메타AI #머신러닝 #JEPA #물리적세계이해 #AI미래 #기술발전 #AI아키텍처

 

 

The Limitations of LLM and the Future of Scientific Discovery: Insights from Yann LeCun

While generative AI has shown remarkable results based on text processing, why hasn't it been able to make independent scientific discoveries yet? Yann LeCun, Meta's Chief AI Scientist and a world-renowned AI scholar, provides clear answers to this question while presenting future directions for AI. Let's explore the limitations of current Large Language Models (LLMs) and the new AI architectures needed for true scientific discovery.

Fundamental Limitations of Current Generative AI

Professor Yann LeCun asserts that current artificial intelligence systems not only lack human-like intelligence but are "not even as smart as a dog"1. This statement clearly demonstrates the fundamental limitations of generative AI.

Limitations of Text-Based Learning

Current Large Language Models (LLMs) have shown impressive results by learning from vast amounts of text data. However, Professor LeCun points out that these models don't understand the underlying reality of the real world at all.

"Most human knowledge is language-independent. AI cannot capture such human experiences."1

LLMs merely learn patterns that appear in text without truly understanding their meaning. This is similar to someone who has read a vast number of books but has never experienced the real world.

Lack of Understanding of the Physical World

One of the most significant limitations of LLMs that Professor LeCun emphasizes is their lack of understanding of the physical world358. Humans and animals understand and experience the world through various senses such as vision and touch, but current AI is trained solely on text.

Due to this limitation, AI can pass the bar exam but cannot even load a dishwasher, a task that a 10-year-old child can quickly learn1. LeCun also assesses that AI is "at a level below how cats understand the physical world"5.

Why Generative AI Cannot Make Scientific Discoveries

What prevents generative AI from making independent scientific discoveries? Let's examine this from Professor LeCun's perspective.

Lack of Reasoning Ability

Professor LeCun points out that current AI systems lack reasoning ability458. Scientific discovery requires not just combining existing information but logical reasoning and hypothesis testing.

"LLMs are good at language manipulation but not good at thinking."8

The core of scientific discovery lies in logical thinking and reasoning ability. However, LLMs simply predict the next most likely word or sentence based on statistical patterns and cannot engage in deep thought processes.

Inability to Ask the Right Questions

The most important aspect of scientific discovery is the ability to ask the right questions. Professor LeCun believes that while current AI systems may excel at answering questions, they lack the ability to generate important questions themselves.

Scientific innovation often begins with the question "why?" Just as Isaac Newton asked "Why does an apple always fall downward?" when he saw a falling apple, new discoveries start from questions about existing phenomena. However, current AI cannot generate such questions on its own.

The Need for New AI Architectures

Professor LeCun predicts that the current LLM paradigm will end within 3-5 years and emphasizes the need for new AI architectures68.

Alternative Models like JEPA

Professor LeCun presents 'JEPA (Joint-Embedding Predictive Architecture)' as a key model for new AI systems3. This is a non-generative AI model that understands and learns through images and videos.

"The first innovation I expect is a system where AI learns to understand the world and interact like animals or humans by watching videos."3

This approach allows AI to understand the world through various information beyond text. It is expected to play a particularly important role in understanding the laws of the physical world.

AI That Understands the Physical World

Professor LeCun emphasizes that for true scientific discovery, AI must understand the physical world. For example, it should be able to reason that when pushing an object on a table, the object moves, but when pushing the table with the same force, it doesn't move3.

Such physical understanding cannot be learned simply from text data. It requires experience and knowledge gained through interaction with the real world. Professor LeCun suggests that AI combining with robots to interact with the physical world is an important research direction38.

Future Directions for AI Development

Professor LeCun presents a clear vision for the future direction of AI development.

Objective-Driven AI

Professor LeCun proposes 'Objective-Driven AI' as a new AI paradigm5. This refers to AI systems that can understand the physical world and make plans, moving beyond simply predicting data.

"We need AI systems that understand the physical world, maintain continuous memory, systematically perform reasoning and planning, and can be safely controlled."5

Such systems will be a completely different kind of AI from current LLMs and are expected to implement intelligence closer to that of humans and animals.

The Importance of Global Collaboration

Professor LeCun emphasizes the need for global collaboration for AI advancement5. He suggests that not a single company or country, but researchers around the world must work together to overcome the limitations of AI.

"Future AI needs to understand all languages and cultures, and this requires global collaboration."5

He particularly argues for the importance of collecting data reflecting each country's language and culture and developing AI based on open source.

Conclusion: Beyond the Limitations of AI

Current generative AI and LLMs show remarkable abilities in text-based tasks, but still have limitations in understanding the physical world, reasoning ability, and generating new questions. These limitations make it difficult for AI to achieve independent scientific discoveries.

Professor LeCun proposes new architectures like JEPA and enhanced understanding of the physical world through combination with robots to overcome these limitations. He also emphasizes that global collaboration and open-source based development are key elements for AI advancement.

The development of AI for true scientific discovery requires not simply an extension of current LLMs, but a fundamentally new paradigm. This change is predicted to occur within 3-5 years, and we will enter an exciting era where AI comes one step closer to human intelligence.

Reference Tags

#ArtificialIntelligence #AI #LLM #YannLeCun #DeepLearning #GenerativeAI #AILimitations #ScientificDiscovery #MetaAI #MachineLearning #JEPA #PhysicalWorldUnderstanding #AIFuture #TechnologicalDevelopment #AIArchitecture

Citations:

1. https://www.newspim.com/news/view/20230616000529
2. https://thecore.media/aicopyrightfight03_creativity/
3. https://www.sedaily.com/NewsView/2DEFH1KQOG
4. http://www.ainet.link/14529
5. https://www.newsis.com/view/NISX20241211_0002992633
6. https://www.aitimes.com/news/articleView.html?idxno=167466
7. https://h21.hani.co.kr/arti/society/society_general/55745.html
8. http://www.irobotnews.com/news/articleView.html?idxno=37420
9. https://www.thepickool.kr/p/agi-ai

---