Apache NiFi 소개 및 Tensorflow 연동

Apache NiFi는 NSA(National Security Agency)에서 Apache에 기증한 Dataflow 엔진입니다. 복잡해지는 기업의 시스템들에서 신속하고, 유실없는 데이터 전송은 점점 더 중요해 지고 있습니다. 빅데이터 시스템도 마찬가지로 데이터의 전송 경로가 더 복잡해지고, 실시간 처리가 중요해지는 시점에 Apache NiFi는 훌륭한 솔루션입니다. 여기서는 NiFi의 소개와 설치에 대해서 알아보도록 하겠습니다.

본 글은 저자가 경험을 통해 작성한 글로 오류가 있을 수 있습니다. 오류 또는 다른 의견이 있으신 분은 댓글을 통해 교류했으면 좋겠습니다. 또한 NiFi의 컴포넌트 및 개념에 해당하는 것은 영어로 표기했으며, 이미지는 nifi.apache.org에 있는 것을 사용했습니다.

 

소개
Apache NiFi는 시스템 간 데이터 전달을 효율적으로 처리, 관리, 모니터링하기 위한 최적의 시스템이다. NiFi는 다음과 같은 특징을 가지고 있으며, 이러한 특징들 때문에 복잡한 시스템 간의 데이터 이동에 NiFi를 이용하여 쉽고, 안전하게 개발 할 수 있다.

– Dataflow를 쉽게 개발할 수 있고, 시스템 간의 데이터 이동과 내용을 볼 수 있는 기능과 UI를 제공한다.
– 실시간 데이터 전송에 필요한 유용한 기능을 제공한다.
– 강력한 자원과 권한 관리를 통해 멀티테넌시(Multi-tenant, 여러 조직이 자원을 공유해서 사용)를 지원한다.
– 데이터가 어느 시스템으로부터 왔는지 추적할 수 있다.
– 국내에는 크게 사용하는 곳이 없지만, 해외에서는 충분한 사례가 있다.
– 오픈 소스이면서, 호튼웍스의 기술 지원을 받을 수 있다.
– 여러 NiFi 시스템 간 통신을 지원한다(Site-to-site).

 

 

NiFi 소개 및 설치 페이지
http://www.popit.kr/apache-nifi-overview-and-install/

Nifi와 Tensorflow 연동
tensorflow를위한 특별한 프로세서는 별도로 NiFi에는 없지만, ExecuteStreamCommand를 사용하여 TensorFlow 바이너리를 호출하는 셸 스크립트를 호출할 수 있습니다 . 이 작업을 수행하는 다른 방법으로는 사용자 지정 프로세서를 만드는 방법이 있습니다

실시간 트위터 트윗의 이미지를 처리하는 NiFi & Tensorflow 예제
https://community.hortonworks.com/…/hdf-20-flow-for-ingest-…

Tags:

NiFi

TensorFlow