👨‍💻 LinkedIn의 GenAI 플랫폼 구축 여정: 혁신적인 AI 생태계의 탄생

LinkedIn이 개발한 생성형 AI 플랫폼은 기업의 디지털 혁신을 어떻게 이끌어가고 있을까요? 오늘은 세계 최대 비즈니스 네트워킹 플랫폼인 LinkedIn이 어떻게 GenAI 플랫폼을 구축하고 발전시켜 왔는지, 그 흥미로운 여정을 살펴보겠습니다. 기술 스택부터 핵심 구성 요소, 그리고 실제 적용 사례까지 깊이 있게 알아보겠습니다.

Building LinkedIn's GenAI Platform — Xiaofeng Wang

Building LinkedIn's GenAI Platform — Xiaofeng Wang

 

LinkedIn의 GenAI 플랫폼 구축 배경과 진화

2023년 초, LinkedIn은 다양한 생성형 AI 기능을 활용한 제품 포트폴리오를 출시하기 시작했습니다. 처음에는 단순한 "프롬프트 입력, 문자열 출력" 방식의 애플리케이션으로 시작했지만, 곧 컨텍스트 메모리를 지원하는 대화형 에이전트로 발전했습니다^13. 이러한 발전은 LinkedIn이 사용자 경험을 개선하고 비즈니스 가치를 창출하는 데 중요한 역할을 했습니다.

초기 기술 스택의 선택과 도전

LinkedIn의 초기 GenAI 애플리케이션은 Azure OpenAI 서비스에서 제공하는 LLM을 사용했으며, 모든 요청은 중앙 집중식 GenAI 프록시를 통해 라우팅되었습니다. 이 프록시는 다음과 같은 중요한 기능을 제공했습니다^8:

• 신뢰성과 책임감 있는 AI 검사
• 새로운 모델 및 모델 버전에 대한 원활한 지원
• 사용자 체감 지연 시간을 줄이기 위한 점진적 응답 스트리밍
• LLM 리소스의 공정한 사용을 위한 할당량 관리

대부분의 LinkedIn 온라인 서빙 스택이 Java로 프로그래밍되어 있었기 때문에, 초기에는 공유 Java midtier로 시작했습니다. 그러나 사용 사례가 증가함에 따라 이 midtier가 개발 및 운영 병목 현상이 되어 여러 사용 사례별 Java midtier 서비스로 분할되었습니다^13.

 

Building LinkedIn's GenAI Platform — Xiaofeng Wang

 

Python으로의 전환과 기술 스택 통합

시간이 지남에 따라 LinkedIn의 GenAI 애플리케이션은 PyTorch, DeepSpeed, vLLM과 같은 오픈 소스 프레임워크를 기반으로 구축된 LinkedIn의 AI 플랫폼을 활용하기 시작했습니다^8. AI 엔지니어들은 오프라인 LLM 기반 워크플로, 프롬프트 엔지니어링 및 평가에 Python을 선호했기 때문에, 장기적으로는 Python을 온라인 서빙에도 사용하기로 결정했습니다^13.

이러한 변화는 LangChain 오픈소스 프로젝트를 기반으로 온라인 서빙용 Python 프레임워크를 구축하는 계기가 되었습니다. LinkedIn의 경험에 따르면, Llama와 같은 LLM을 LinkedIn 특정 작업에 맞게 미세 조정하면 최첨단 상용 기반 모델과 비슷하거나 더 나은 품질을 달성할 수 있으며, 비용과 지연 시간이 훨씬 낮다고 합니다^8.

GenAI 플랫폼의 핵심 구성 요소와 작동 방식

LinkedIn의 GenAI 플랫폼은 다음과 같은 네 가지 핵심 레이어로 구성되어 있습니다:

1. 오케스트레이션 레이어

초기에는 LangChain 위에 구축된 얇은 래퍼로 시작했지만, 점차 Python SDK 지원을 확장하여 더 큰 규모의 분산 에이전트 오케스트레이션 계층으로 발전했습니다. 이를 통해 복잡한 시나리오를 효과적으로 다룰 수 있게 되었습니다^13.

2. 프롬프트 엔지니어링 및 관리

프롬프트 엔지니어링은 LLM을 "프로그래밍"하는 주요 메커니즘입니다. 초기에는 코드에서 수동 문자열 보간을 사용했지만, 이는 오류가 발생하기 쉽고 확장이 불가능했습니다. 이를 해결하기 위해 Prompt Source of Truth 컴포넌트를 도입하고 Jinja 템플릿 언어 사용을 표준화했습니다^13.

또한, 대화형 UI가 등장함에 따라 대화에서 인간과 AI의 역할에 대한 더 많은 구조를 제공해야 했으며, 최종적으로 OpenAI Chat Completions API로 수렴했습니다^13.

3. 스킬 호출 및 도구 통합

스킬 추상화를 GenAI 애플리케이션으로 확장하여 작업 자동화 메커니즘으로 사용했습니다. 초기에는 LLM 친화적인 JSON 스키마를 사용하여 LinkedIn 내부 및 외부 API를 래핑하는 사용자 지정 코드로 구축되었습니다^13.

그러나 스킬 중복 구현, 다운스트림 스킬 변경, 개발자의 수동 스킬 지정 등의 문제가 발생했습니다. 이를 해결하기 위해 Skill Inversion 개념을 도입하여 다운스트림이 스킬을 정의하고 호출 앱에 노출하도록 했습니다^13.

4. 콘텐츠 및 메모리 관리

LLM이 기본적으로 stateless하기 때문에 컨텍스트 인식과 개인화가 어려웠습니다. 초기에는 Couchbase나 Espresso DB를 스토리지로 사용하고 각 팀이 DB 설정, 쓰기/읽기 등을 담당했습니다^13.

LLM 컨텍스트 윈도우가 제한적이므로 의미 검색(임베딩 사용)과 요약 기능이 필요해졌습니다. LinkedIn 메시징 스택을 활용하여 대화 메모리 인프라를 구축했으며, 사용자-애플리케이션 상호 작용 경험을 기반으로 파생된 Experiential Memory 개념을 도입했습니다^13.

작업 메모리, 장기 메모리, 집단 기억 등 여러 계층으로 메모리를 조직하여, 에이전트가 주변 콘텐츠를 인지할 수 있도록 했습니다^13.

LinkedIn의 혁신적인 GenAI 제품들

LinkedIn은 다양한 GenAI 제품을 출시하여 사용자 경험을 크게 향상시켰습니다. 이러한 제품들은 모두 LinkedIn의 강력한 GenAI 플랫폼을 기반으로 합니다.

LinkedIn Learning의 AI 코칭 기능

LinkedIn Learning은 AI 기반 코칭 기능을 출시하여 사용자가 질문을 하고 코스에서 생성된 서술형 답변을 받을 수 있도록 했습니다. 이 기능은 처음에는 소프트스킬(PowerSkills)에 초점을 맞추었으나, 시간이 지남에 따라 다른 코스로 확장될 예정입니다^12.

이 기능을 통해 사용자는 한 시간짜리 코스를 수강하거나 인터넷에서 팁을 검색할 필요 없이 학습 라이브러리의 모든 콘텐츠에 즉시 접근할 수 있게 되었습니다. 또한 "소크라테스식 튜터 모드"와 같은 역할 맞춤 설정을 통해 사용자의 비판적 사고와 문제 해결 능력을 향상시킬 수 있습니다^12.

LinkedIn Hiring Assistant

LinkedIn은 채용 담당자를 위한 AI 기반 도구인 Hiring Assistant를 도입했습니다. 이 도구는 후보자 검색 및 평가와 같은 반복적인 작업을 단순화하여 채용 담당자가 업무의 인적 측면에 더 많은 시간을 할애할 수 있도록 설계되었습니다^11.

Hiring Assistant는 고급 언어 모델과 AI 기술을 사용하여 과거 상호 작용과 선호도로부터 학습하며, 채용 담당자의 고유한 요구 사항에 맞게 지속적으로 개선됩니다. LinkedIn에 따르면, Hiring Assistant는 제안 전 워크플로의 최대 80%를 자동화할 수 있으며, 이미 사용 중인 기업들은 채용 담당자의 생산성과 후보자 품질의 큰 향상을 보고하고 있습니다^11.

AI 기반 개인 코파일럿 및 동반자

LinkedIn은 사용자들이 자신의 데이터와 콘텐츠를 더 쉽게 탐색할 수 있는 코파일럿 경험을 제공합니다. 예를 들어, 한 사용자는 15년 간의 운동 데이터(주로 사이클링 활동)를 활용하여 AI와 대화할 수 있는 간단한 도구를 만들었습니다^10.

또한, 사용자들은 자녀나 가족을 위한 AI 동반자를 만들어 특정 분야에서 조언자 역할을 할 수 있도록 하고 있습니다. 예를 들어, 12세 딸을 위한 해양 생물학 교사와 10세 딸을 위한 사진 촬영 조수와 같은 AI 동반자가 있습니다^10.

GenAI 플랫폼 구축의 도전과 해결 방안

LinkedIn의 GenAI 플랫폼 구축 과정에서 여러 도전과 해결 방안을 살펴보겠습니다.

기술 격차 극복

GenAI는 기존 AI 시스템과는 다른 새로운 AI 시스템으로, 전통적인 AI의 최적화 단계와 모델 서빙 단계 간의 경계가 사라졌습니다. 이로 인해 모든 이가 시스템 성능을 최적화할 수 있는 새로운 도전 과제가 생겼습니다^13.

LinkedIn은 이러한 기술 격차를 극복하기 위해 GenAI 애플리케이션 플랫폼을 구축하여 엔지니어들 간의 협업을 촉진했습니다^13.

인재 확보의 어려움

이 플랫폼을 구축하기 위해서는 강력한 소프트웨어 엔지니어와, AI 및 데이터 과학 배경을 가진 인재가 필요했지만, 이러한 인재를 찾기는 매우 어려웠습니다^13.

LinkedIn은 경험이나 학위보다는 잠재력을 기준으로 인재를 채용하는 원칙을 세웠습니다. 이는 이 분야가 빠르게 진화하기 때문에 중요한 접근 방식이었습니다^13.

또한, 모든 자격을 갖춘 단일 엔지니어를 찾기 어려울 때는 다양한 전문가들로 구성된 팀을 채용하는 방식으로 문제를 해결했습니다^13.

모델 선택의 딜레마

독점 및 오픈 소스 LLM은 빠르게 발전하고 있으며, 종종 모든 상황에 적합한 솔루션은 없습니다. 품질, 비용, 지연 시간 등에 관한 다양한 미묘한 트레이드오프를 탐색해야 합니다^8.

LinkedIn은 애플리케이션 개발자가
라우팅 세부 정보에 대해 걱정할 필요 없이 OpenAI Chat Completions API를 프로그래밍할 수 있도록 했습니다. 애플리케이션 프레임워크의 구성 후크를 통해 온프레미스와 외부 모델 간에 쉽게 전환할 수 있어, 개발자는 로컬 디버깅 및 프로덕션 A/B 테스트를 위해 다양한 기본 모델을 쉽게 실험할 수 있습니다^8.

결론: GenAI 플랫폼의 미래와 비즈니스 임팩트

LinkedIn의 GenAI 플랫폼 구축 여정은 기업이 어떻게 생성형 AI 기술을 효과적으로 활용하여 비즈니스 가치를 창출할 수 있는지 보여주는 훌륭한 사례입니다. 이 여정에서 배울 수 있는 핵심 교훈은 다음과 같습니다:

1. 기술 스택의 전략적 선택: 다양한 모델에서 동일한 핵심 인프라를 재사용할 수 있는 충분한 추상화로 기술 스택을 구축하면 효율성과 제품 역량 측면에서 장기적인 이점을 얻을 수 있습니다^8.
2. 유연한 모델 전략: 독점 및 오픈 소스 LLM 모두를 고려하고, 각 사용 사례에 가장 적합한 모델을 선택할 수 있는 유연성을 확보하는 것이 중요합니다^8.
3. 인재와 팀워크 중시: 기술적 경험보다는 잠재력을 기준으로 인재를 채용하고, 다양한 전문가들로 구성된 팀을 통해 복잡한 문제를 해결할 수 있습니다^13.
4. 사용자 중심 설계: LinkedIn의 GenAI 제품들은 모두 사용자의 실제 니즈와 문제점을 해결하는 데 중점을 두고 있습니다. 이는 높은 사용자 만족도와 비즈니스 가치 창출로 이어집니다.

LinkedIn의 GenAI 플랫폼은 앞으로도 계속 발전할 것이며, 더 많은 혁신적인 제품과 서비스를 제공할 것으로 기대됩니다. 우리가 이 여정에서 배운 교훈은 다른 기업들이 자체 GenAI 전략을 수립하고 구현하는 데 도움이 될 것입니다.

여러분의 기업에서는 GenAI 기술을 어떻게 활용하고 계신가요? 어떤 도전에 직면하고 계시며, 어떤 해결책을 모색하고 계신지 댓글로 공유해 주세요!

---

The Journey of Building LinkedIn's GenAI Platform: The Birth of an Innovative AI Ecosystem

How is LinkedIn's generative AI platform driving digital transformation in enterprises? Today, we'll explore the fascinating journey of how the world's largest business networking platform has built and evolved its GenAI platform. We'll take a deep dive into the technology stack, core components, and real-world applications.

Background and Evolution of LinkedIn's GenAI Platform

In early 2023, LinkedIn began launching a product portfolio utilizing various generative AI features. Initially starting with simple "prompt input, string output" applications, they soon evolved into conversational agents supporting context memory^13. This evolution played a crucial role in improving user experience and creating business value.

Initial Technology Stack Selection and Challenges

LinkedIn's initial GenAI applications used LLMs provided by the Azure OpenAI service, with all requests routed through a centralized GenAI proxy. This proxy offered important functionalities^8:

• Trust and Responsible AI checks
• Seamless support for new models and model versions
• Incremental response streaming to reduce user-perceived latency
• Quota management for fair use of relatively expensive LLM resources

Since most of LinkedIn's online serving stack was programmed in Java, they initially started with a shared Java midtier. However, as use cases increased, this midtier became a development and operational bottleneck, leading to its division into multiple use-case-specific Java midtier services^13.

Transition to Python and Technology Stack Integration

Over time, LinkedIn's GenAI applications began leveraging LinkedIn's AI platform, built on open-source frameworks like PyTorch, DeepSpeed, and vLLM^8. As AI engineers preferred Python for offline LLM-based workflows, prompt engineering, and evaluation, the decision was made to use Python for online serving in the long term^13.

This shift led to the development of a Python framework for online serving based on the LangChain open-source project. According to LinkedIn's experience, LLMs like Llama, when fine-tuned for LinkedIn-specific tasks, often achieve comparable or better quality than state-of-the-art commercial foundational models, but at much lower costs and latencies^8.

Core Components and Working Mechanism of the GenAI Platform

LinkedIn's GenAI platform consists of four core layers:

1. Orchestration Layer

Initially starting as a thin wrapper built over LangChain, it gradually expanded Python SDK support to evolve into a larger-scale distributed agent orchestration layer. This allowed effective handling of complex scenarios^13.

2. Prompt Engineering and Management

Prompt engineering is the primary mechanism for "programming" LLMs. Initially using manual string interpolation in code, which was error-prone and unscalable, LinkedIn introduced the Prompt Source of Truth component and standardized the use of Jinja template language^13.

Additionally, as conversational UIs emerged, more structure was needed for human and AI roles in conversations, ultimately converging on the OpenAI Chat Completions API^13.

3. Skill Invocation and Tool Integration

Skill abstraction was extended to GenAI applications as a task automation mechanism. Initially built with custom code wrapping LinkedIn internal and external APIs using LLM-friendly JSON schemas^13.

However, issues arose with skill duplication, downstream skill changes, and manual skill specification by developers. To address this, the Skill Inversion concept was introduced, allowing downstream to define skills and expose them to calling apps^13.

4. Content and Memory Management

Since LLMs are inherently stateless, context awareness and personalization were challenging. Initially, Couchbase or Espresso DB were used as storage, with each team responsible for DB setup, writing/reading, etc.^13.

Due to the limited LLM context window, semantic search (using embeddings) and summarization capabilities became necessary. LinkedIn built conversation memory infrastructure leveraging their messaging stack and introduced the Experiential Memory concept derived from user-application interaction experiences^13.

Memory was organized into multiple layers, including working memory, long-term memory, and collective memory, allowing agents to be aware of surrounding content^13.

LinkedIn's Innovative GenAI Products

LinkedIn has launched various GenAI products that greatly enhance user experience. All these products are based on LinkedIn's powerful GenAI platform.

AI Coaching Feature in LinkedIn Learning

LinkedIn Learning launched an AI-powered coaching feature allowing users to ask questions and receive narrative answers generated from courses tailored to their skills and roles. Initially focusing on soft skills (PowerSkills), this feature is expected to expand to other courses over time^12.

This feature enables users to instantly access all content in the learning library without having to take a one-hour course or search the internet for tips. Additionally, role customization like "Socratic tutor mode" can enhance users' critical thinking and problem-solving skills^12.

LinkedIn Hiring Assistant

LinkedIn introduced an AI-driven tool for recruiters called Hiring Assistant. This tool is designed to simplify repetitive tasks such as candidate searching and assessment, allowing recruiters to spend more time on the human aspects of their work^11.

Hiring Assistant uses advanced language models and AI technology, learning from past interactions and preferences to continuously improve its ability to cater to each recruiter's unique needs. According to LinkedIn, the Hiring Assistant can automate up to 80% of the pre-offer workflow, and companies already using it report significant increases in recruiter productivity and candidate quality^11.

AI-Based Personal Copilots and Companions

LinkedIn provides copilot experiences that help users navigate their data and content more easily. For example, one user created a simple tool to talk to an AI using 15 years of their athletic data (mainly cycling activities)^10.

Additionally, users are creating AI companions for their children or family members to act as advisors in areas they are passionate about. Examples include a marine biology teacher for a 12-year-old daughter and a photography companion for a 10-year-old daughter^10.

Challenges and Solutions in Building the GenAI Platform

Let's examine the challenges and solutions that emerged during LinkedIn's GenAI platform construction.

Overcoming Technical Gaps

GenAI is a new AI system different from traditional AI systems, where the boundaries between the optimization and model serving stages of traditional AI have disappeared. This created new challenges where everyone needs to optimize system performance^13.

LinkedIn built a GenAI application platform to overcome these technical gaps and facilitate collaboration among engineers^13.

Talent Acquisition Difficulties

Building this platform required strong software engineers with AI and data science backgrounds, but finding such talent was very challenging^13.

LinkedIn established a principle of hiring talent based on potential rather than experience or degrees. This was an important approach due to the rapidly evolving nature of this field^13.

Additionally, when finding a single engineer with all qualifications was difficult, they solved the problem by hiring teams composed of diverse experts^13.

Model Selection Dilemma

Proprietary and open-source LLMs are evolving rapidly, and there is often no one-size-fits-all solution. Various nuanced trade-offs around quality, cost, latency, and more need to be navigated^8.

LinkedIn enabled application developers to program the OpenAI Chat Completions API without worrying about routing details. Configuration hooks in the application framework allow easy switching between on-premises and external models, enabling developers to easily experiment with different underlying models for local debugging and A/B tests in production^8.

Conclusion: The Future of GenAI Platforms and Business Impact

LinkedIn's journey in building its GenAI platform demonstrates how companies can effectively leverage generative AI technology to create business value. Key lessons from this journey include:

1. Strategic Technology Stack Selection: Building a technology stack with sufficient abstractions to reuse the same core infrastructure across different models will bring long-term benefits in efficiency and product capabilities^8.
2. Flexible Model Strategy: Consider both proprietary and open-source LLMs, and maintain flexibility to choose the most appropriate model for each use case^8.
3. Emphasis on Talent and Teamwork: Hire talent based on potential rather than technical experience, and solve complex problems through teams composed of diverse experts^13.
4. User-Centered Design: All of LinkedIn's GenAI products focus on addressing users' actual needs and problems. This leads to high user satisfaction and business value creation.

LinkedIn's GenAI platform will continue to evolve and is expected to provide more innovative products and services. The lessons learned from this journey will help other companies formulate and implement their own GenAI strategies.

How is your company utilizing GenAI technology? What challenges are you facing, and what solutions are you exploring? Please share in the comments!

#생성형AI #GenAI #링크드인 #AI플랫폼 #기술스택 #프롬프트엔지니어링 #LLM #AI개발 #기술혁신 #인공지능 #디지털혁신 #기업AI #소프트웨어개발 #ChatGPT #코파일럿 #LinkedInLearning #개발자경험 #데이터과학 #기술트렌드 #비즈니스혁신

⁂