생성형 AI의 현주소와 미래: 서울대 윤성로 교수의 통찰

생성형 AI의 현주소와 미래: 서울대 윤성로 교수의 통찰

생성형 인공지능(AI)이 우리 사회에 미치는 영향력이 날로 증가하는 가운데, 인공지능 분야의 권위자인 서울대학교 윤성로 교수의 통찰은 학술적·사회적 가치를 지닙니다. 윤성로 교수는 서울대 전기정보공학부와 협동과정 인공지능전공 교수로서, 인공지능, 딥러닝, 머신러닝, 생성형 AI, 대형 언어 모델(LLM) 분야에서 탁월한 연구를 이어가고 있습니다. 특히 인간 수준의 지능 및 이를 뛰어넘는 초지능(Superintelligence)의 구현을 목표로 다양한 연구를 진행하며, 인공지능의 현재와 미래에 대한 깊이 있는 인사이트를 제공하고 있습니다910. 본 보고서에서는 윤성로 교수의 견해를 중심으로 생성형 AI의 현황, 도전과제, 그리고 미래 전망에 대해 살펴보겠습니다.

인공지능의 역사적 전환점과 발전 방향

인공지능 연구는 오랜 역사를 가지고 있지만, 특정 시점에서 혁신적인 발전이 이루어졌습니다. 1980년대의 신경망 모델과 역전파 알고리즘의 개발은 초기 중요한 전환점이었습니다. 그러나 가장 혁신적인 변화는 2017년 구글이 개발한 트랜스포머 아키텍처의 등장으로, 이는 인공지능 분야의 '게임 체인저'로 작용했습니다.

트랜스포머와 워드 임베딩 기술의 발전은 대형 언어 모델(LLM)이 사람의 언어를 이해하고 처리할 수 있는 능력을 획기적으로 향상시켰습니다. 생성형 AI는 복잡한 확률 분포를 파악하는 기술을 중심으로 발전해왔으며, 생성적 적대 신경망(GAN)과 디퓨전(Diffusion) 같은 혁신적인 기술들이 이 과정에 크게 기여했습니다.

윤성로 교수는 인공지능의 미래 발전 방향으로 일반 인공지능(AGI)을 제시합니다. 그는 "특정한 업무에만 특화돼 많은 양의 학습을 필요로 하는 현재의 인공지능(AI)과 기계학습 수준을 뛰어넘고 싶어요. 사람처럼 다양하고 일반적인 업무를 최소한의 학습만으로도 수행하는 일반지능 AI(Artificial General Intelligence)를 구현하는 것이 목표입니다"라고 밝혔습니다. 그러나 AGI의 성공적 구현 가능성에 대해서는 불확실성이 존재하며, 이 분야의 연구와 혁신은 계속되고 있습니다.

설명 가능한 인공지능(XAI)의 중요성

설명 가능한 인공지능(eXplainable AI, XAI)은 인공지능 시스템이 어떻게 특정 결정에 도달했는지를 이해하고 해석할 수 있게 하는 기술입니다. 윤성로 교수는 이러한 설명 가능성이 사회과학적으로 매우 중요한 부분이라고 강조합니다.

설명 가능성과 인공지능의 성능 사이에는 종종 상충관계가 존재할 수 있습니다. 그러나 적대적 머신러닝에서는 설명 가능성이 오히려 성능 향상에 기여할 수 있다는 점이 주목됩니다. 설명 가능성은 인공지능 개발자에게 디버깅 도구로 활용되며, 특히 기존의 소프트웨어 개발 툴이 부족한 상황에서 중요한 역할을 합니다.

윤성로 교수와 서울대학교 고학수 교수는 '인공지능 원론: 설명가능성을 중심으로'라는 책을 공동 집필하여 AI 설명가능성에 대한 연구를 심화했습니다. 이 과정에서 윤성로 교수는 "2018년에는 공학자 관점에서의 설명가능성이 대부분이었다면 지금은 개발자, 일반 이용자 각각에 따라 어떻게 설명가능 AI를 제공할 것인지를 고민한다. 대상 각각에 따라 필요한 설명가능성 형태가 달라지기에 훨씬 더 다양한 측면을 보고 있다"고 설명했습니다7.

기업들은 법제화에 따라 사용자의 요구에 응답해야 하고, 인공지능 문제 분석 시 설명 가능성이 필수적이며, 이는 법적 리스크로부터 보호와도 관련이 있습니다. 사회적, 산업적, 공학적으로 설명 가능성은 계속해서 중요성이 증가할 것이며, 인공지능에 대한 사회적 합의와 법제화가 필요합니다7.

멀티모달 인공지능 기술의 발전과 융합

멀티모달 인공지능은 시각, 청각, 촉각 등 인간의 다양한 감각 정보를 포함한 여러 데이터 소스를 통합, 분석함으로써 더욱 풍부하고 입체적으로 상황을 인식하는 기술입니다3. 최근 다양한 모달에 대한 연구가 중요해지고 있으며, 텍스트, 음성, 이미지 등 여러 영역에서 활용되고 있습니다.

윤성로 교수는 서울대학교 AI연구원의 멀티모달 AI 연구 클러스터를 이끌며 이 분야의 발전에 기여하고 있습니다. 인공신경망의 발전으로 다양한 모달리티를 하나의 통합된 공간에서 처리할 수 있는 효율적인 방법론이 개발되었습니다. 이로 인해 연구자들은 텍스트, 음성, 비디오 등을 같은 공간에서 조작하는 것이 자연스러운 흐름이 되었으며, 대부분의 연구실에서 이를 적용하고 있습니다.

멀티모달 인공지능 기술은 단일 양식을 처리하는 모델을 단순히 조합하는 것 이상입니다. 멀티모달 인공지능 모델은 다양한 양식을 입력으로 받아서 동시에 훈련함으로써, 서로 다른 양식의 데이터들을 융합할 수 있어야 합니다3. 최근에는 물리적인 힘, 즉 로봇의 촉각적 감지 등도 새로운 모달리티로 추가되고 있어 연구 영역이 확장되고 있습니다.

이러한 멀티모달 인공지능 기술은 의료 분야에서 환자의 진단 기록, X-ray, CT 이미지, 증상을 함께 분석하여 정확도 높은 진단을 제공하거나, 챗봇이 음성, 텍스트, 터치와 같은 방식으로 사용자와의 자연스러운 인터페이스를 지원하는 등 다양한 분야에서 활용되고 있습니다3.

모델 붕괴(Model Collapse)의 위험성과 도전과제

최근 AI 연구 분야에서 주목받고 있는 중요한 이슈 중 하나는 '모델 붕괴(Model Collapse)' 현상입니다. 이는 AI가 생성한 데이터를 반복적으로 학습할 경우 성능이 저하되는 현상을 말합니다. 영국 캠브리지대학 연구팀은 AI 모델이 AI가 생성한 데이터로 계속 학습할 경우 결과물이 오염되어 결국 모델이 붕괴한다는 연구 결과를 네이처에 발표했습니다28.

연구팀은 모델 붕괴를 시연하기 위해 사전 훈련된 LLM을 가져다가 위키백과 항목에 기반한 데이터 세트를 사용해 훈련시킴으로써 모델을 미세 조정했습니다. 그 결과, AI가 생성한 정보인 '합성 데이터'가 훈련 세트를 오염시키면서 모델이 횡설수설하는 출력물을 내놓았습니다2. 예를 들어, 중세 건축물에 대한 글을 학습한 대형언어모델이 9번에 걸쳐 AI가 생성한 새로운 정보를 학습한 뒤 생성한 텍스트에는 엉뚱하게도 북미산 토끼에 대한 이야기가 담겼습니다11.

이러한 현상이 발생하는 이유는 AI 모델이 학습한 데이터에서만 샘플링하기 때문입니다. 이로 인해 원래 데이터에서 드물었던 단어가 재현될 가능성이 줄어들고, 일반적으로 사용되는 단어가 다시 반복될 확률이 높아집니다2. 연구팀은 완전한 모델 붕괴는 각 모델이 현실이 아닌 이전 모델의 현실 예측을 통해 학습하기 때문에 발생하며, 반복할 때마다 오류가 증폭된다고 설명했습니다.

이는 생성형 AI가 만들어낸 정보가 온라인을 통해 빠르게 확산되면서 상황이 변했기 때문입니다. AI가 학습하는 데이터가 인간이 아닌 AI가 생성한 정보로 대체되기 시작하면서 생성하는 정보의 질이 급격히 저하될 수 있습니다11. 이를 "AI 오토파지(autophagy)"라고도 표현하는데, AI가 생성한 데이터를 다시 피드할 때 정확성이 떨어지고 편향이 증폭될 수 있음을 나타냅니다.

이러한 모델 붕괴 문제를 해결하기 위해서는 인간이 생성한 원본 데이터의 중요성이 더욱 부각됩니다. 연구팀은 "AI가 생성한 데이터를 사용해 대형언어모델을 훈련하는 것이 불가능한 것은 아니지만 이러한 데이터를 정제하는 데 많은 주의를 기울여야 한다"면서 "데이터의 질 측면에선 인간이 생성한 데이터가 여전히 우위에 있을 것"이라고 강조했습니다11.

한국의 AI 경쟁력과 인재 유치 전략

윤성로 교수는 한국의 AI 기술력을 글로벌 3~6위권으로 평가하며, 분야에 따라 미국, 중국과 2~3년의 기술 격차가 존재한다고 분석했습니다. 특히 AI 기술 발전 속도를 고려하면 2~3년의 격차는 상당히 크다고 지적하며, 6개월 전 기술도 '시조새' 취급을 받는 현실을 언급했습니다4.

한국이 가진 강점으로 윤 교수는 '제조 데이터'를 꼽았습니다. 다양한 산업 분야의 제조 노하우가 축적된 한국은 AI 기술을 활용하여 제조업 혁신을 이끌어낼 수 있다는 것입니다. 실제로 해외 AI 석학과 글로벌 빅테크 기업들이 한국의 제조 데이터에 높은 관심을 보이고 있다는 사례를 소개하며, AI 반도체의 중요성을 강조했습니다4.

그러나 한국의 AI 발전을 저해하는 가장 큰 요소로 AI 인재 부족 문제를 지적했습니다. 대학의 인재풀이 감소하고 있으며, AI 분야를 이끌어갈 리더 부족 현상도 나타나고 있다는 것입니다. 윤 교수는 잠재적 리더 발굴 및 육성 시스템 구축, 해외 인재 유치를 위한 보상 체계 마련, 창업 활성화 등을 해결 방안으로 제시하며 국가적 차원의 노력을 촉구했습니다4.

한국 정부는 내부 데이터를 활용해 국가 경쟁력 및 공공의 이익을 향상시키는 방향으로 노력하고 있습니다. 이러한 움직임은 'Sovereign AI'라는 이름 아래에서 민감한 정보의 활용을 통해 국민을 위한 좋은 결과를 가져오고자 하는 목적을 가지고 있습니다. AI 분야의 인재 확보가 어렵기 때문에, 국가가 이러한 데이터를 잘 이용하기 위해서는 인재 유치가 필수적입니다.

윤 교수는 한국이 AI 시대에 뒤처지지 않기 위해서는 정부, 기업, 학계의 협력이 필수적이라고 강조했습니다. AI 기술 격차를 줄이고, 인재를 육성하며, AI 활용 방안을 모색하는 데 힘을 모아야 한다는 것입니다4.

AI 문해력의 중요성과 교육적 과제

AI 리터러시(문해력)와 디지털 문해력은 현대 사회에서 매우 중요한 역량으로 부각되고 있습니다. 윤성로 교수는 이러한 AI 문해력이 학생들에게 필수적으로 강조되어야 한다고 주장합니다.

AI는 각국 간의 디지털 격차를 초래할 수 있으며, AI를 이해하는 것이 국가 간의 경쟁력에 영향을 미칠 수 있습니다. 모든 사람이 AI의 기능과 위험을 이해할 수 있다면 사회 전반에 걸쳐 큰 도움이 될 것입니다. 따라서 AI에 대한 투명한 설명과 다양한 응용, 위험 요소에 대한 교육이 필요합니다.

AI를 "전기"에 비유하며, 윤 교수는 AI 기술 자체뿐 아니라 활용 방안에 대한 고민이 중요하다고 강조했습니다. AI 대중화 시대에 한국은 제조업 경쟁력을 기반으로 새로운 기회를 창출할 수 있다는 것입니다4.

AI의 설명가능성과 관련하여, 딥러닝 기술은 본질적으로 판단 과정을 설명할 수 없는 블랙박스 문제를 지니지만, 이것이 곧 설명가능한 AI가 불가능함을 의미하지는 않습니다. AI 결정 과정을 완전히 이해하기 어렵더라도 사용한 AI 모형 유형, 학습데이터, 입력·결과값 등을 통해 개략적으로 가늠할 수 있습니다7. 윤 교수는 "AI 모델을 하나하나 뜯어보면 크리스탈처럼 일정하고 간단한 구조인데 이것이 무수히 많으면 설명이 어려워지는 것이다"라고 설명했습니다7.

결론

서울대학교 윤성로 교수의 통찰을 통해 살펴본 생성형 AI의 현재와 미래는 기대와 도전이 공존하는 복잡한 지형을 보여줍니다. 인공지능의 역사적 발전 과정에서 트랜스포머와 같은 혁신적 기술이 등장했고, 향후 AGI로의 발전 가능성도 제시되고 있습니다. 그러나 이러한 발전 과정에서 모델 붕괴와 같은 새로운 도전과제가 등장하고 있으며, 이를 해결하기 위한 방안으로 인간이 생성한 원본 데이터의 중요성과 데이터 품질 관리의 필요성이 강조되고 있습니다.

한국은 제조 데이터라는 강점을 바탕으로 AI 시대에 경쟁력을 갖출 수 있지만, AI 인재 부족 문제를 해결하기 위한 국가적 차원의 노력이 필요합니다. 또한, AI 문해력 교육을 통해 사회 전반의 AI 이해도를 높이고, 설명 가능한 AI 기술 개발을 통해 AI에 대한 신뢰를 구축하는 것이 중요합니다.

멀티모달 인공지능과 같은 새로운 기술 패러다임의 등장은 인간과 더 자연스럽게 상호작용할 수 있는 AI의 가능성을 보여주고 있습니다. 이러한 기술 발전이 인간의 삶을 더욱 편리하고 혁신적으로 만들기 위해서는 기술적 발전뿐만 아니라 사회적, 윤리적, 법적 측면에서의 논의와 합의가 함께 이루어져야 할 것입니다.

생성형 AI의 미래는 우리가 이러한 기술적 도전과제를 어떻게 해결하고, 인간 중심의 가치를 어떻게 보존하며 발전시켜 나갈 것인가에 달려 있습니다. 윤성로 교수의 통찰은 이러한 복잡한 문제에 대한 균형 잡힌 시각과 미래 지향적인 방향성을 제시하고 있습니다.

[INNERdVIEW] 생성형 AI, AGI, Model Collapse? 서울대 윤성로 교수님이 콕 짚어드립니다!

 

 

The Current State and Future of Generative AI: Insights from Professor Yoon Sung-Ro of Seoul National University

As the influence of generative artificial intelligence (AI) on our society continues to grow, the insights of Professor Yoon Sung-Ro, an authority in the field of artificial intelligence at Seoul National University, hold academic and social value. Professor Yoon serves as a faculty member in the Department of Electrical and Computer Engineering and the Interdisciplinary Program in Artificial Intelligence at Seoul National University, continuing his outstanding research in artificial intelligence, deep learning, machine learning, generative AI, and large language models (LLMs). He is particularly focused on conducting various research projects aimed at implementing human-level intelligence and superintelligence that surpasses it, providing deep insights into the present and future of artificial intelligence. This report will examine the current status, challenges, and future prospects of generative AI based on Professor Yoon's perspectives.

Historical Turning Points and Development Directions of Artificial Intelligence

Artificial intelligence research has a long history, but innovative developments have occurred at specific points in time. The development of neural network models and backpropagation algorithms in the 1980s was an important early turning point. However, the most revolutionary change came with the emergence of the Transformer architecture developed by Google in 2017, which acted as a 'game changer' in the field of artificial intelligence.

The development of Transformer and word embedding technologies dramatically improved the ability of large language models (LLMs) to understand and process human language. Generative AI has developed around techniques for understanding complex probability distributions, with innovative technologies such as Generative Adversarial Networks (GANs) and Diffusion making significant contributions to this process.

Professor Yoon suggests Artificial General Intelligence (AGI) as the future direction of artificial intelligence development. He stated, "I want to go beyond the current level of artificial intelligence (AI) and machine learning that specializes only in specific tasks and requires a large amount of learning. The goal is to implement Artificial General Intelligence that can perform diverse and general tasks with minimal learning, just like humans." However, there is uncertainty about the possibility of successful implementation of AGI, and research and innovation in this field continue.

The Importance of Explainable Artificial Intelligence (XAI)

Explainable Artificial Intelligence (XAI) is a technology that enables understanding and interpretation of how an artificial intelligence system reached a particular decision. Professor Yoon emphasizes that this explainability is a very important aspect from a social science perspective.

There can often be a trade-off between explainability and the performance of artificial intelligence. However, in adversarial machine learning, it is noted that explainability can contribute to performance improvement. Explainability serves as a debugging tool for artificial intelligence developers and plays an important role, especially in situations where existing software development tools are lacking.

Professor Yoon Sung-Ro and Professor Ko Hak-Soo of Seoul National University co-authored a book titled 'Principles of Artificial Intelligence: Focusing on Explainability' to deepen research on AI explainability. In this process, Professor Yoon explained, "While in 2018, most of the explainability was from an engineer's perspective, now we are considering how to provide explainable AI according to each developer and general user. We are looking at much more diverse aspects because the form of explainability needed varies according to each target."

Companies must respond to user demands in accordance with legislation, and explainability is essential when analyzing artificial intelligence problems, which is related to protection from legal risks. Explainability will continue to increase in importance socially, industrially, and engineering-wise, and social consensus and legislation regarding artificial intelligence are needed.

Development and Convergence of Multimodal AI Technology

Multimodal AI is a technology that recognizes situations more richly and three-dimensionally by integrating and analyzing various data sources, including visual, auditory, tactile, and other sensory information of humans. Research on various modalities has become important recently and is being utilized in various areas such as text, voice, and images.

Professor Yoon is contributing to the development of this field by leading the multimodal AI research cluster at Seoul National University's AI Research Institute. With the development of artificial neural networks, efficient methodologies have been developed that can process various modalities in a unified space. As a result, it has become a natural flow for researchers to manipulate text, voice, video, etc., in the same space, and this is being applied in most laboratories.

Multimodal AI technology is more than simply combining models that process a single form. Multimodal AI models should be able to fuse data of different forms by receiving various forms as input and training them simultaneously. Recently, research areas are expanding as physical forces, such as robots' tactile sensing, are also being added as new modalities.

These multimodal AI technologies are being utilized in various fields, such as providing accurate diagnoses by analyzing patient diagnostic records, X-ray, CT images, and symptoms together in the medical field, or supporting natural interfaces with users through methods such as voice, text, and touch in chatbots.

The Risks and Challenges of Model Collapse

One of the important issues receiving attention in the AI research field recently is the phenomenon of 'Model Collapse.' This refers to the phenomenon where performance deteriorates when repeatedly learning data generated by AI. A research team from the University of Cambridge in the UK published research results in Nature showing that when an AI model continues to learn from data generated by AI, the results become contaminated and eventually the model collapses.

To demonstrate model collapse, the research team fine-tuned a model by taking a pre-trained LLM and training it using a dataset based on Wikipedia entries. As a result, 'synthetic data,' which is information generated by AI, contaminated the training set, causing the model to produce incoherent outputs. For example, after learning new information generated by AI nine times, a large language model that learned about medieval architecture produced text that oddly contained a story about North American rabbits.

The reason this phenomenon occurs is that AI models only sample from the data they have learned. This reduces the likelihood of reproducing words that were rare in the original data and increases the probability of common words being repeated. The research team explained that complete model collapse occurs because each model learns through the reality predictions of previous models rather than reality itself, and errors are amplified with each repetition.

This is because the situation has changed as information created by generative AI spreads rapidly online. The quality of information generated can deteriorate rapidly as the data that AI learns begins to be replaced by information generated by AI, not humans. This is also referred to as "AI autophagy," indicating that accuracy drops and bias can be amplified when feeding back data generated by AI.

To solve this model collapse problem, the importance of original data generated by humans is further highlighted. The research team emphasized, "While it is not impossible to train large language models using data generated by AI, much attention should be paid to refining such data," and "in terms of data quality, data generated by humans will still be superior."

Korea's AI Competitiveness and Talent Attraction Strategy

Professor Yoon evaluated Korea's AI technology capabilities as ranking globally between 3rd and 6th, analyzing that there is a 2-3 year technology gap with the United States and China, depending on the field. He particularly pointed out that considering the speed of AI technology development, a 2-3 year gap is quite significant, mentioning the reality where even technologies from 6 months ago are treated as 'archaeopteryx.'

As a strength of Korea, Professor Yoon cited 'manufacturing data.' He suggests that Korea, with accumulated manufacturing know-how in various industrial fields, can lead manufacturing innovation by utilizing AI technology. He introduced cases where overseas AI scholars and global big tech companies are showing high interest in Korea's manufacturing data, emphasizing the importance of AI semiconductors.

However, he pointed out the shortage of AI talent as the biggest factor hindering Korea's AI development. He noted that the talent pool in universities is decreasing, and there is also a phenomenon of shortage of leaders to lead the AI field. Professor Yoon urged national-level efforts, suggesting solutions such as building a system for discovering and nurturing potential leaders, establishing a compensation system to attract overseas talent, and activating startups.

The Korean government is making efforts to improve national competitiveness and public interest by utilizing internal data. This movement, under the name of 'Sovereign AI,' aims to bring good results for the citizens through the use of sensitive information. Since it is difficult to secure talent in the AI field, it is essential to attract talent for the nation to make good use of such data.

Professor Yoon emphasized that cooperation between the government, corporations, and academia is essential for Korea not to fall behind in the AI era. He suggests that efforts should be combined to reduce the AI technology gap, nurture talent, and seek ways to utilize AI.

The Importance of AI Literacy and Educational Challenges

AI literacy and digital literacy are emerging as very important competencies in modern society. Professor Yoon argues that such AI literacy should be essentially emphasized to students.

AI can cause digital divides between countries, and understanding AI can affect competitiveness between nations. It would be of great help across society if everyone could understand the functions and risks of AI. Therefore, education on transparent explanations about AI, various applications, and risk factors is necessary.

Comparing AI to "electricity," Professor Yoon emphasized that it is important to consider not only the AI technology itself but also ways to utilize it. He suggests that in the era of AI popularization, Korea can create new opportunities based on its manufacturing competitiveness.

Regarding the explainability of AI, deep learning technology inherently has a black box problem that cannot explain the judgment process, but this does not mean that explainable AI is impossible. Even if it is difficult to fully understand the AI decision process, it can be roughly gauged through the type of AI model used, learning data, input and output values, etc. Professor Yoon explained, "When you disassemble an AI model piece by piece, it has a consistent and simple structure like a crystal, but when there are countless such structures, explanation becomes difficult."

Conclusion

The current state and future of generative AI, as examined through the insights of Professor Yoon Sung-Ro of Seoul National University, show a complex landscape where expectations and challenges coexist. In the historical development process of artificial intelligence, innovative technologies like Transformers have emerged, and the possibility of development towards AGI in the future is also being suggested. However, new challenges such as model collapse are emerging in this development process, and the importance of original data generated by humans and the need for data quality management are being emphasized as solutions.

Korea can be competitive in the AI era based on the strength of manufacturing data, but national-level efforts are needed to solve the problem of AI talent shortage. Also, it is important to raise society's overall understanding of AI through AI literacy education and build trust in AI through the development of explainable AI technology.

The emergence of new technology paradigms such as multimodal artificial intelligence shows the possibility of AI that can interact more naturally with humans. For such technological developments to make human life more convenient and innovative, discussions and consensus on social, ethical, and legal aspects must be made along with technological development.

The future of generative AI depends on how we solve these technological challenges and how we preserve and develop human-centered values. Professor Yoon's insights provide a balanced perspective and future-oriented direction on these complex issues.

---