tf.Transform : 데이터 전처리를 위한 라이브러리

tf.Transform을 사용한 머신러닝을 위한 전처리

실제 데이터세트에 머신러닝을 적용하는 많은 노력은 신경 네트워크와 같은 표준 머신러닝 모델에 적합한 형식으로 데이터를 전처리하는 것입니다. 이 전처리는 형식 간 변환, 텍스트 토큰화 및 형태소 분석, 어휘 생성, 정규화와 같은 다양한 수치 연산에 이르기까지 다양한 형태를 취합니다.

오늘 우리가 발표하는 tf.Transform은 TensorFlow 그래프의 한 부분으로 실행할 수 있는 방법으로 파이프라인을 내보내는 동안, 사용자는 사전 처리 파이프 라인을 정의하고 이를 사용하여 대규모 데이터 처리 프레임워크를 실행할 수 있습니다. 사용자는 모듈식 Python 함수를 작성하여 파이프 라인을 정의하고, tf.Transform은 대규모의 효율적이고 분산된 데이터 처리를 위한 프레임워크 인 Apache Beam과 함께 실행됩니다.

 

 

Tags:

tf.Transform

TensorFLow

전처리

Python

Beam