AI 시대의 데이터 관리, 왜 이제는 데이터보다 '의미'를 관리해야 하는가

생성형 AI 시대, 데이터 관리의 역할이 달라지고 있다

생성형 AI는 방대한 데이터를 기반으로 답변을 생성합니다. 하지만 AI가 학습하거나 참조하는 데이터의 품질이 낮거나 기업의 업무와 관련 없는 정보가 포함되어 있다면, AI의 결과 역시 신뢰하기 어렵습니다.

이 때문에 데이터 관리는 더 이상 시스템을 운영하기 위한 지원 업무가 아닙니다. 이제는 생성형 AI의 품질과 기업의 의사결정을 좌우하는 전략적 핵심 영역으로 자리 잡고 있습니다.

특히 기존의 정형 데이터 중심 관리 방식에서 벗어나 비정형 텍스트까지 함께 관리해야 하는 시대가 되면서 데이터 관리자의 역할과 관리 방식도 크게 변화하고 있습니다.

이번 글에서는 데이터 관리가 어떻게 발전해 왔는지, 생성형 AI 시대에는 무엇이 달라졌는지, 그리고 기업이 어떤 방향으로 데이터 관리 체계를 구축해야 하는지 살펴보겠습니다.

반응형

---

애플리케이션 개발에서 시작된 데이터 관리

초기의 컴퓨터 시스템에서는 애플리케이션 개발자가 대부분의 업무를 직접 수행했습니다.

대표적으로 다음과 같은 작업을 모두 담당했습니다.

• 요구사항 분석
• 시스템 설계
• 프로그래밍
• 테스트
• 데이터 구조 설계

즉, 데이터 관리라는 개념은 별도의 조직이나 역할이 아니라 애플리케이션 개발 과정의 일부였습니다.

당시에는 시스템 규모가 비교적 작았기 때문에 이러한 방식으로도 운영이 가능했습니다.

---

트랜잭션 처리의 확산과 데이터 관리의 전문화

기업 시스템이 확대되면서 데이터 관리에도 새로운 요구사항이 생겼습니다.

특히 트랜잭션 처리 시스템(Transaction Processing System)이 증가하면서 다음과 같은 요소들이 중요해졌습니다.

• 빠른 응답 속도
• 높은 시스템 가용성
• 데이터 무결성
• 안정적인 트랜잭션 처리

이러한 요구사항을 전문적으로 관리하기 위해 데이터베이스 설계자가 등장했고, 이후 수많은 데이터베이스를 운영하기 위한 데이터베이스 관리자(DBA)의 역할도 생겨났습니다.

이 시점부터 데이터 관리는 하나의 독립적인 전문 영역으로 자리 잡기 시작했습니다.

---

데이터가 많아질수록 커지는 데이터 무결성 문제

기업의 시스템이 증가하면서 동일한 데이터가 여러 시스템에 반복 저장되는 문제가 발생했습니다.

예를 들어 고객 정보가 다음과 같이 여러 곳에 존재할 수 있습니다.

• ERP
• CRM
• 영업 시스템
• 고객지원 시스템

문제는 각각의 시스템이 서로 다른 값을 가지고 있을 수 있다는 점입니다.

결국 기업은 데이터를 많이 보유하는 것이 아니라 어떤 데이터를 신뢰해야 하는지를 판단해야 하는 상황에 놓이게 되었습니다.

기술을 계속 추가하는 것만으로는 이러한 문제를 해결할 수 없었으며, 오히려 복잡성만 증가시키는 결과를 가져왔습니다.

---

데이터 웨어하우스가 등장한 이유

데이터 무결성 문제를 해결하기 위해 등장한 것이 데이터 웨어하우스(Data Warehouse)입니다.

핵심 개념은 운영 데이터를 분석 데이터와 분리하는 것입니다.

이를 통해

• 운영 시스템은 안정적으로 서비스하고
• 분석 시스템은 신뢰할 수 있는 데이터를 활용할 수 있게 되었습니다.

이는 단순한 기술 개선이 아니라 데이터 관리 구조 자체를 바꾸는 아키텍처적 접근이었습니다.

---

정형 데이터 환경에서는 데이터 모델이 핵심

정형 데이터 환경에서는 데이터 모델이 매우 중요한 역할을 합니다.

데이터 모델은 기업에서 어떤 데이터를 저장하고 관리해야 하는지를 추상화한 구조입니다.

이를 기반으로

• 데이터베이스를 설계하고
• DDL을 작성하며
• 데이터 구조를 정의합니다.

또한 데이터 관리자는 변화하는 비즈니스 환경에 맞춰 지속적으로 데이터 모델을 수정하고 유지해야 합니다.

대표적인 업무는 다음과 같습니다.

• 데이터 모델 유지보수
• 정규화 및 비정규화 설계
• 데이터베이스 정의
• 용량 계획
• 데이터 증가량 모니터링
• 데이터베이스 직접 수정

정형 데이터 환경에서는 문제가 발생하면 데이터 모델이나 데이터베이스를 직접 수정하는 직접 통제 방식이 가능합니다.

---

생성형 AI 시대에는 비정형 데이터가 핵심이다

생성형 AI 시대에는 상황이 크게 달라졌습니다.

기업 데이터의 상당수는 이미 문서, 이메일, 보고서, 매뉴얼 등 텍스트 형태로 존재합니다.

일부에서는 기업 데이터의 최대 90%가 비정형 텍스트라고 추정하기도 합니다.

문제는 이러한 데이터는 기존의 데이터 모델만으로는 관리하기 어렵다는 점입니다.

정형 데이터와 비정형 데이터는 구조 자체가 다르기 때문입니다.

---

텍스트 데이터는 온톨로지와 분류체계로 관리한다

텍스트 환경에서는 전통적인 데이터 모델 대신 온톨로지(Ontology)와 분류체계(Taxonomy)가 중요한 역할을 합니다.

정형 데이터에서 데이터 모델이 담당하는 역할을 텍스트 환경에서는 온톨로지와 분류체계가 수행합니다.

하지만 관리 방식은 크게 다릅니다.

따라서 기존의 데이터 모델링 기법을 그대로 텍스트 데이터에 적용하는 것은 적합하지 않으며 실질적인 성과를 기대하기도 어렵습니다.

---

생성형 AI에서 가장 중요한 것은 입력 데이터 관리

생성형 AI 환경에서는 데이터 관리 방식도 달라집니다.

기존에는 데이터베이스를 직접 수정하는 방식이었다면, 생성형 AI에서는 LLM에 입력되는 텍스트를 관리하는 것이 핵심입니다.

즉,

• 업무와 관련 없는 문서 제거
• 불필요한 텍스트 제거
• 신뢰할 수 있는 데이터만 선별
• 기업 업무와 관련된 내용 중심으로 정제

이 과정을 통해 AI가 처리해야 하는 데이터 양을 줄일 수 있습니다.

또한 불필요한 연산이 감소하여 비용 절감 효과도 기대할 수 있으며, AI가 다루는 정보의 범위 역시 보다 명확해집니다.

---

ELDM이 정형 데이터와 비정형 데이터를 연결한다

생성형 AI 시대에는 정형 데이터와 비정형 데이터를 함께 관리해야 합니다.

이를 위해 활용되는 것이 ELDM(Enterprise Logical Data Model)입니다.

ELDM은

• 전통적인 데이터 모델
• 온톨로지
• 분류체계

를 하나의 기업 관점으로 연결하는 역할을 수행합니다.

기업의 업무가 변화하면 ELDM뿐 아니라 온톨로지와 분류체계도 함께 지속적으로 업데이트되어야 합니다.

---

외부 데이터를 활용할수록 지속적인 관리가 중요하다

생성형 AI는 기업 내부 데이터뿐 아니라 인터넷과 같은 외부 데이터도 함께 활용하는 경우가 많습니다.

이때 데이터 관리는 크게 두 단계로 이루어집니다.

1. 활용할 원문 데이터를 선별합니다.
2. 기업 업무와 관련된 정보만 다시 추려냅니다.

이후에도 업무 환경과 시장 상황은 계속 변화하기 때문에 온톨로지와 분류체계 역시 지속적으로 관리하고 갱신해야 합니다.

---

생성형 AI에서는 직접 통제가 아닌 간접 통제가 이루어진다

정형 데이터에서는 데이터베이스를 직접 수정하여 원하는 결과를 만들 수 있습니다.

하지만 생성형 AI에서는 LLM 자체를 같은 방식으로 수정하기 어렵습니다.

대신 입력되는 데이터를 관리함으로써 AI의 결과를 제어하게 됩니다.

즉, 생성형 AI 시대의 데이터 관리는 입력 데이터의 선택과 정제를 통한 간접 통제가 핵심이라고 볼 수 있습니다.

---

데이터 관리 조직도 함께 진화하고 있다

데이터 관리 조직 역시 기술 발전에 맞춰 변화해 왔습니다.

다음과 같은 흐름으로 발전했습니다.

• 애플리케이션 개발자
• 데이터베이스 설계자
• 데이터베이스 관리자(DBA)
• CIO(Chief Information Officer)
• CDO(Chief Data Officer)

과거에는 시스템 운영이 중심이었다면, 현재는 기업 전체 데이터를 하나의 관점에서 관리하고 활용하는 방향으로 역할이 확대되고 있습니다.

---

물리적 중앙집중에서 의미론적 중앙집중으로

과거의 중앙집중은 데이터를 하나의 메인프레임이나 데이터베이스에 모으는 것이 목적이었습니다.

하지만 오늘날 데이터는

• 클라우드
• 기업 시스템
• 개인 PC
• 인터넷

등 다양한 환경에 분산되어 있습니다.

이제는 데이터를 한곳에 모으는 것이 현실적으로 어렵습니다.

대신 중요한 것은 서로 다른 위치에 존재하는 데이터라도 동일한 의미로 이해할 수 있도록 만드는 것입니다.

이를 의미론적 중앙집중(Semantic Centralization)이라고 할 수 있습니다.

ELDM은 이러한 의미 체계를 기업 전체에서 일관성 있게 유지하는 핵심 수단으로 활용됩니다.

---

728x90

생성형 AI 시대의 데이터 관리는 단순히 데이터를 저장하고 운영하는 수준을 넘어 AI의 품질과 기업의 경쟁력을 결정하는 핵심 요소가 되고 있습니다.

기존에는 정형 데이터를 중심으로 데이터베이스를 직접 관리하는 것이 중요했다면, 이제는 비정형 텍스트를 선별하고 정제하며 기업의 의미 체계를 유지하는 역할이 더욱 중요해지고 있습니다.

특히 온톨로지와 분류체계, ELDM을 활용해 정형 데이터와 비정형 데이터를 하나의 관점으로 연결하고, LLM에 입력되는 데이터를 지속적으로 관리하는 체계는 생성형 AI의 신뢰성을 높이는 기반이 됩니다.

앞으로 기업의 데이터 관리 경쟁력은 단순히 얼마나 많은 데이터를 보유하고 있는지가 아니라, 데이터를 얼마나 일관된 의미로 관리하고 AI가 활용할 수 있도록 품질을 유지하는지에 의해 결정될 것입니다.

300x250

https://williaminmon.substack.com/p/data-management-in-the-age-of-ai

DATA MANAGEMENT IN THE AGE OF AI