AI 시대의 데이터 관리, 왜 이제는 데이터보다 '의미'를 관리해야 할까?

AI 시대, 데이터 관리의 역할은 어떻게 달라지고 있을까?

생성형 AI가 기업 업무에 빠르게 도입되면서 데이터 관리의 중요성이 이전과는 다른 차원으로 확대되고 있습니다. 과거에는 데이터를 저장하고 관리하는 것이 핵심이었다면, 이제는 AI가 신뢰할 수 있는 데이터를 사용할 수 있도록 관리하는 것이 가장 중요한 과제가 되었습니다.

특히 생성형 AI는 입력되는 데이터의 품질에 따라 결과의 신뢰도가 크게 달라집니다. 아무리 뛰어난 LLM(Large Language Model)을 사용하더라도 잘못되거나 불필요한 데이터가 입력되면 정확한 답변을 기대하기 어렵습니다.

이번 글에서는 데이터 관리가 어떻게 발전해 왔는지 살펴보고, 생성형 AI 시대에는 데이터 관리 방식이 어떻게 변화하고 있는지, 그리고 기업이 왜 데이터 자체보다 데이터의 의미(Semantics)를 관리해야 하는지 알아보겠습니다.

반응형

---

애플리케이션 개발의 일부였던 데이터 관리

초기 컴퓨터 시스템에서는 데이터 관리라는 개념이 지금처럼 독립적인 업무가 아니었습니다.

애플리케이션 개발자가 요구사항을 분석하고 프로그램을 작성하는 과정에서 함께 데이터 구조를 정의했습니다. 즉, 데이터 설계 역시 개발 과정의 일부에 불과했습니다.

당시에는 다음과 같은 업무를 한 사람이 함께 수행했습니다.

• 요구사항 분석
• 프로그램 개발
• 테스트
• 데이터 구조 설계

기업 차원의 데이터 관리 조직이나 전문 직무는 존재하지 않았으며, 데이터는 애플리케이션을 위한 부속 요소로 여겨졌습니다.

---

트랜잭션 시스템이 데이터 관리의 전문화를 이끌다

기업 시스템이 확대되면서 상황은 달라졌습니다.

트랜잭션 처리(Transaction Processing)가 중요해지면서 단순히 데이터를 저장하는 것을 넘어 다음과 같은 요소들이 함께 고려되어야 했습니다.

• 응답 속도
• 시스템 가용성
• 트랜잭션 무결성
• 안정적인 데이터 처리

이러한 요구사항을 만족시키기 위해 데이터베이스 설계자(Database Designer)라는 전문 역할이 등장했고, 이후 데이터베이스가 증가하면서 여러 데이터베이스를 관리하는 데이터베이스 관리자(DBA)의 역할도 필요해졌습니다.

이 시점부터 데이터 관리는 하나의 독립적인 업무 영역으로 자리 잡기 시작했습니다.

---

데이터가 많아질수록 '어떤 데이터를 믿을 것인가'가 문제였다

기업 시스템이 늘어나면서 동일한 데이터가 여러 애플리케이션에 반복 저장되는 문제가 발생했습니다.

예를 들어 고객 정보가 다음과 같이 각각 다른 시스템에 존재할 수 있습니다.

• 영업 시스템
• 고객관리 시스템(CRM)
• ERP
• 회계 시스템

시간이 지나면서 각 시스템의 데이터가 서로 다른 값을 가지게 되었고, 기업은 데이터를 많이 보유하는 것보다 어떤 데이터가 정확한지 판단하는 문제를 해결해야 했습니다.

이 문제는 단순히 새로운 시스템을 추가하거나 기술을 도입한다고 해결되지 않았습니다. 오히려 데이터가 늘어날수록 불일치도 함께 증가했습니다.

이를 해결하기 위한 아키텍처적 접근이 바로 데이터 웨어하우스(Data Warehouse)였습니다.

운영 데이터를 분석용 데이터와 분리하여 관리함으로써 데이터 무결성을 확보하려는 방식입니다.

---

정형 데이터 환경에서는 데이터 모델이 핵심이었다

정형 데이터 환경에서는 데이터를 체계적으로 관리하기 위해 데이터 모델(Data Model)이 중심 역할을 수행합니다.

데이터 모델은 현재 필요한 데이터뿐 아니라 앞으로 필요한 데이터까지 추상화하여 설계합니다.

이를 기반으로 다음과 같은 작업이 이루어집니다.

• 데이터베이스 설계
• DDL(Data Definition Language) 작성
• 데이터베이스 생성
• 데이터 변경 및 유지보수

또한 데이터 관리자는 기업 환경 변화에 맞춰 지속적으로 데이터 모델을 수정합니다.

대표적으로 다음과 같은 요소를 고려합니다.

• 경제 변화
• 시장 변화
• 경쟁 환경
• 법률 및 규제
• 기술 발전

데이터베이스 설계 시에는 정규화를 기본 원칙으로 적용하지만, 트랜잭션 성능 향상이 필요한 경우에는 비정규화를 적용하여 성능과 데이터 구조 사이의 균형을 맞추는 역할도 수행합니다.

---

생성형 AI 시대에는 비정형 데이터가 중심이 된다

기업 데이터는 더 이상 정형 데이터만으로 구성되지 않습니다.

기업이 보유한 데이터의 상당수는 문서, 이메일, 보고서, 계약서 등 텍스트 형태의 비정형 데이터입니다. 일부에서는 기업 데이터의 최대 90%가 텍스트라는 추정도 제시되고 있습니다.

이러한 데이터는 기존 데이터베이스처럼 테이블과 컬럼으로 관리하기 어렵습니다.

즉, 정형 데이터와 비정형 데이터는 관리 방식 자체가 근본적으로 다릅니다.

---

텍스트 데이터는 데이터 모델 대신 온톨로지와 분류체계가 필요하다

정형 데이터에서 데이터 모델이 수행하던 역할은 텍스트 환경에서는 온톨로지(Ontology)와 분류체계(Taxonomy)가 담당합니다.

두 방식은 목적은 비슷하지만 접근 방법은 다릅니다.

정형 데이터	비정형 데이터
데이터 모델	온톨로지 / 분류체계
DBMS 기반 관리	텍스트 기반 관리
테이블 구조	의미 중심 구조

따라서 기존 데이터 모델링 기법을 텍스트 데이터에 그대로 적용하는 것은 적절하지 않으며, 실질적인 성과를 얻기도 어렵습니다.

---

생성형 AI에서 가장 중요한 것은 입력 데이터의 품질

생성형 AI 환경에서는 데이터 관리 방식이 크게 달라집니다.

과거에는 데이터베이스를 직접 수정하여 데이터를 관리했다면, 이제는 LLM에 어떤 데이터를 입력할 것인지 관리하는 것이 핵심입니다.

가장 중요한 업무는 다음과 같습니다.

• 원문 텍스트 검토
• 불필요한 데이터 제거
• 업무와 관련 없는 문서 제외
• 필요한 정보만 선별

이러한 작업은 단순히 데이터 품질을 높이는 것뿐 아니라 다음과 같은 효과도 제공합니다.

• AI 응답 정확도 향상
• 처리 비용 절감
• 검색 범위 명확화
• 기업 업무에 맞는 결과 생성

즉, 생성형 AI에서는 입력 데이터 관리 자체가 AI 품질 관리라고 볼 수 있습니다.

---

ELDM이 정형 데이터와 비정형 데이터를 연결한다

생성형 AI 시대에는 정형 데이터와 텍스트 데이터를 하나의 관점에서 이해해야 합니다.

이를 위해 활용되는 것이 ELDM(Enterprise Logical Data Model)입니다.

ELDM은 다음을 연결하는 역할을 수행합니다.

• 기존 정형 데이터 모델
• 텍스트 기반 온톨로지
• 기업 전체의 데이터 의미

또한 기업의 업무가 변화하면 온톨로지와 분류체계도 함께 지속적으로 수정되어야 합니다.

즉, ELDM은 단순한 데이터 구조가 아니라 기업 전체의 데이터 의미를 통합하는 기준이 됩니다.

---

LLM은 직접 통제하는 것이 아니라 간접적으로 관리한다

기존 데이터베이스에서는 문제가 발생하면 데이터 모델이나 데이터베이스를 직접 수정할 수 있었습니다.

하지만 생성형 AI에서는 LLM 자체를 같은 방식으로 제어하기 어렵습니다.

대신 다음과 같은 방식으로 결과를 관리합니다.

1. 입력할 원문 텍스트를 선택한다.
2. 업무와 무관한 내용을 제거한다.
3. 필요한 정보만 정제한다.
4. LLM에 입력한다.

즉, 생성형 AI 환경의 데이터 관리는 직접 통제가 아닌 입력 데이터의 선택과 정제를 통한 간접 통제라고 할 수 있습니다.

---

데이터 관리 조직도 함께 진화하고 있다

데이터 관리의 중요성이 커지면서 조직 내 역할도 지속적으로 발전했습니다.

시대	주요 역할
초기	애플리케이션 개발자
트랜잭션 시대	데이터베이스 설계자
데이터 증가	데이터베이스 관리자(DBA)
기업 정보 통합	CIO(Chief Information Officer)
AI·데이터 중심	CDO(Chief Data Officer)

초기에는 개발 업무의 일부였던 데이터 관리가 이제는 기업 전체 데이터를 통합하고 활용하는 전략적 기능으로 자리 잡았습니다.

특히 정형 데이터와 비정형 데이터를 함께 이해하고 관리하는 역량이 더욱 중요해지고 있습니다.

---

물리적 중앙집중에서 의미론적 중앙집중으로 변화

과거에는 중앙집중이란 데이터를 하나의 메인프레임이나 데이터베이스에 모으는 것을 의미했습니다.

하지만 현재는 데이터가 다음과 같이 다양한 환경에 분산되어 있습니다.

• 기업 내부 시스템
• 개인 PC
• 클라우드
• 인터넷

이처럼 데이터를 하나의 장소에 모으는 것은 현실적으로 어렵습니다.

대신 중요한 것은 어디에 저장되어 있든 동일한 의미로 데이터를 이해하는 것입니다.

이를 의미론적 중앙집중(Semantic Centralisation)이라고 하며, ELDM은 이러한 공통 의미 체계를 유지하는 핵심 수단으로 활용됩니다.

---

728x90

생성형 AI 시대의 데이터 관리는 더 이상 데이터를 저장하고 관리하는 수준에 머물지 않습니다.

이제 데이터 관리의 핵심은 AI가 신뢰할 수 있는 데이터를 제공하고, 기업 전체에서 데이터를 동일한 의미로 이해하도록 만드는 것입니다.

과거에는 데이터베이스와 데이터 모델을 직접 관리하는 것이 중심이었다면, 생성형 AI 환경에서는 입력 텍스트를 선별하고 정제하며, 온톨로지와 ELDM을 활용해 정형 데이터와 비정형 데이터를 연결하는 역할이 더욱 중요해지고 있습니다.

앞으로 기업의 데이터가 더욱 다양해질수록 물리적인 데이터 통합보다 의미를 통합하는 데이터 관리 체계가 경쟁력을 좌우하는 핵심 요소가 될 것으로 기대됩니다.

300x250

https://williaminmon.substack.com/p/data-management-in-the-age-of-ai

DATA MANAGEMENT IN THE AGE OF AI