TabFM: 학습 없이 바로 쓰는 제로샷 테이블 데이터 파운데이션 모델

이 글은 TabFM이라는 새로운 테이블 데이터 전용 파운데이션 모델을 소개합니다. 기존의 분류·회귀 모델이 가진 한계, 특히 반복적인 학습과 튜닝의 부담을 어떻게 해결하는지, 그리고 제로샷(in-context learning)이라는 접근이 왜 의미 있는 변화인지 설명합니다. 또한 TabFM의 동작 원리, 학습 방식, 성능 검증 결과, 그리고 향후 활용 가능성까지 전반적으로 정리합니다.

반응형

---

테이블 데이터와 기존 머신러닝의 한계

테이블 데이터는 기업 데이터 인프라의 핵심입니다. 고객 이탈 예측, 금융 사기 탐지, 수요 예측 등 수많은 핵심 업무가 테이블 기반 분류·회귀 문제로 귀결됩니다.

이 영역에서는 오랫동안 AdaBoost, 랜덤 포레스트, XGBoost 같은 트리 기반 지도학습 모델이 사실상 표준이었습니다. 성능은 뛰어나지만 실제 적용 과정은 간단하지 않습니다.

• 데이터셋마다 다른 하이퍼파라미터 튜닝
• 도메인 지식이 필요한 피처 엔지니어링
• 새로운 데이터가 올 때마다 반복되는 학습 파이프라인

이 과정은 데이터 과학자에게 큰 시간적·운영적 부담이 됩니다.

---

제로샷과 In-Context Learning의 등장

최근 대규모 언어 모델(LLM)의 발전은 새로운 패러다임을 보여줬습니다. 대표적인 특징이 제로샷 예측과 In-Context Learning(ICL) 입니다.

ICL은 모델 파라미터를 업데이트하지 않고, 입력 프롬프트 안에 예시와 지시만 제공해 새로운 작업을 수행하는 방식입니다. 이 접근은 “새로운 문제 = 새로운 학습”이라는 고정관념을 깨뜨렸습니다.

TabFM은 바로 이 개념을 테이블 데이터로 확장합니다.

---

TabFM이란 무엇인가

TabFM은 테이블 데이터 분류와 회귀를 위해 설계된 제로샷 파운데이션 모델입니다.
Google Research 연구진이 개발했으며, 테이블 예측 문제를 ICL 문제로 재정의합니다.

핵심 아이디어는 단순합니다.

• 별도의 모델 학습 없음
• 하이퍼파라미터 튜닝 없음
• 복잡한 피처 엔지니어링 없음

대신, 학습용 행과 예측 대상 행을 하나의 입력 컨텍스트로 제공하고, 단 한 번의 추론(forward pass)으로 결과를 생성합니다.

---

TabFM의 동작 원리

테이블 데이터는 자연어와 달리 2차원 구조이며, 행이나 열의 순서가 의미를 바꾸지 않습니다. TabFM은 이 특성을 고려해 기존 ICL 모델과 다른 구조를 채택합니다.

1. 행·열 교차 어텐션

모델은 먼저 행과 열을 번갈아 가며 어텐션을 적용합니다. 이를 통해

• 피처 간 상호작용
• 샘플 간 관계

를 자연스럽게 학습합니다. 이는 사람이 수작업으로 설계하던 피처 엔지니어링을 내부 표현 학습으로 대체합니다.

2. 행 단위 압축

각 행(row)의 정보를 하나의 밀집 벡터로 압축해 표현합니다. 이 단계에서 테이블의 핵심 정보만 남기고 계산량을 줄입니다.

3. In-Context Learning 기반 추론

압축된 행 벡터 시퀀스를 Transformer가 처리합니다. 원본 테이블 전체가 아니라 요약된 표현에 어텐션을 수행하기 때문에, 대규모 데이터셋에서도 효율적인 제로샷 예측이 가능합니다.

---

대규모 합성 데이터로 학습한 이유

테이블 데이터 파운데이션 모델의 가장 큰 난관은 학습 데이터 부족입니다. 실제 산업용 테이블 데이터는 민감한 정보가 많아 공개가 어렵습니다.

TabFM은 이 문제를 합성 데이터로 해결합니다.

• 구조적 인과 모델(SCM)을 활용한 합성 테이블 생성
• 수억 개 규모의 다양한 데이터 분포 학습
• 현실 세계의 복잡한 피처 관계를 폭넓게 반영

이 방식 덕분에 TabFM은 실제로 한 번도 보지 못한 테이블에도 잘 일반화됩니다.

---

성능과 벤치마킹 결과

TabFM은 TabArena라는 벤치마크 시스템에서 평가됐습니다.
38개 분류 데이터셋과 13개 회귀 데이터셋을 대상으로, Elo 점수 기반의 정면 승부 평가를 수행했습니다.

평가된 두 가지 구성

• TabFM
  • 기본 설정
  • 튜닝이나 교차 검증 없이 단일 추론으로 예측
• TabFM-Ensemble
  • 교차 피처, SVD 피처 추가
  • 32개 모델 앙상블
  • 분류 문제에서는 Platt scaling으로 보정

결과적으로 TabFM은 강하게 튜닝된 기존 지도학습 모델보다도 높은 성능을 안정적으로 기록했습니다.

---

실무 적용과 향후 활용

TabFM의 가장 큰 장점은 접근성입니다. 모델 학습 경험이 없어도 바로 사용할 수 있기 때문입니다.

앞으로 TabFM은 Google BigQuery에 직접 통합될 예정입니다. 사용자는 단순한 SQL 문 하나로 고급 분류·회귀 예측을 수행할 수 있습니다.

AI.PREDICT(
  MODEL `tabfm_model`,
  TABLE my_table
)

이 방식은 머신러닝을 데이터 엔지니어링과 분석 워크플로우 안으로 자연스럽게 끌어옵니다.

---

728x90

TabFM은 테이블 데이터 예측을 학습 중심 작업에서 추론 중심 작업으로 전환합니다.
복잡한 피처 설계와 반복 학습 없이도, 제로샷으로 높은 품질의 예측을 제공한다는 점에서 큰 의미가 있습니다.

이 모델은 단순히 성능 개선을 넘어,

• 머신러닝의 진입 장벽을 낮추고
• 데이터 활용 속도를 높이며
• 테이블 데이터 분석의 패러다임을 바꾸는 신호

로 볼 수 있습니다.
TabFM은 앞으로 테이블 기반 머신러닝이 나아갈 방향을 분명하게 보여주는 사례입니다.

300x250

https://research.google/blog/introducing-tabfm-a-zero-shot-foundation-model-for-tabular-data/?utm_source=linkedin&utm_medium=social&utm_campaign=social_post&utm_content=gr-acct&fbclid=IwY2xjawSx-bRleHRuA2FlbQIxMABicmlkETFyeHU1cXZtTmZWemFIVmN6c3J0YwZhcHBfaWQQMjIyMDM5MTc4ODIwMDg5MgABHpRoXx51vyUwAgbh2xmhz5h4MRhDn6cgVKmgQnntwm7IqHtIxv9oGVlDGsmK_aem_96E0K2innVu8eCKdrB3W0Q

Introducing TabFM: A zero-shot foundation model for tabular data