1. 들어가며
최근 ‘빅데이터 분석’, ‘4차산업혁명’, ‘인공지능’ 등과 같은 단어가 사람의 입에 자주 오르내리고 있다. 과거 광산에서 금맥을 찾는 것처럼 수많은 데이터에서 가치있는 정보를 찾고자 무한경쟁을 하고 있다.
[가치 있는 것을 찾는 방식의 변화]
최근 사물인터넷(IoT) 활용도 증가 등으로 인해 반도체 수요 증가하면서 관련 회사가 호황을 누리고 있다. 그러나 미래에는 설치된 수많은 기기에서 끝없이 쏟아져 들어오는 데이터가 전하는 정보를 분석하여 미래를 예측하고 대응방안을 도출하는 정보 분석 기업이 농업, 어업, 국방 등 각 분야에서 정상을 선점 할 것이다.
이번 시간에는 IoT기기 활용 사례와 데이터 분석에 앞서 입수되는 센서 데이터를 품질진단 시 고려해야 할 점은 무엇인지 살펴보고자 한다.
2. IoT 데이터 활용
IoT기기 활용 사례 중 필자가 관심이 있는 농업분야의 활용사례를 살펴보자.
2.1. 토양분석 데이터 활용 사례
[토양분석 센서 데이터를 활용하는 기업 (Veris Technologies)]
미국 기업인 『베리스 테크롤리지(Veris Technologies)』는 토양분석 장비를 판매하고 또 토양분석 센서 데이터를 분석하여 농가에 컨설팅하는 기업이다.
토양 데이터 분석은 트랙터 뒤에 연결된 측정 장비가 농지를 지나면서 전류 전도도, 빛 반사량, 토양샘플을 분석하여 양분보유량(EC), 유기물(OM), 산도(pH)을 측정한다. 이 회사는 측정된 데이터를 GPS의 지형(경사, 곡률) 정보와 융합하여 토양상태 이미지맵(지도)와 컨설팅 보고서를 농가에 제공한다.
토양의 양분보유량(EC) 측정은 앞바퀴에서 전류를 토양에 흐르게 하면 뒷바뀌에서 토량이 얼마나 많은 전류를 흐르게 하는지 센서로 측정하는데 점토와 같은 더 작은 토양 입자가 모래 입자보다 더 많은 전류를 전달하기 때문에 토양조직을 맵핑하는데 효과적인 방법이라고 한다.
유기물(OM) 측정은 '쟁기'가 2.5-7.6cm의 깊이에서 있을 때 바닥에 있는 사파이어 창에서 두 종류의 파장을 초당 한 번씩 비춰 반사율로 측정하고 산성(pH) 측정은 100미터 간격으로 시료를 채취하여 분석한다.
그러나 수집된 데이터의 20% ~ 30%는 오류 데이터라고 한다. 왜냐하면 전극에 묻은 흙을 제대 씻어내지 못하거나, 땅이 건조하거나, 쟁기가 일정한 깊이에 있지 않아 태양광의 간섭을 받을 경우 오류 데이터가 발생 한다고 한다.
이와 같은 문제점을 보완하기 위해 해당 기업은 2010년부터 데이터처리센터(DPC)를 운영하고 있으며 이곳에서는 수집한 데이터를 상관 분석, 오류데이터 교정을 실시한 후 토양지도와 컨설팅 보고서를 농가에 제공한다.
[토양분석 데이터를 활용 사례]
농가는 이렇게 분석된 정보를 기반으로 토양에 따라 적합한 품목을 선택하고 씨앗 파종량, 필요한 비료와 살포량, 제초제 잔량, 석회 살포 필요지역 등을 파악하여 최소의 비용으로 최대의 효과를 만든다.
2.2 시설원예 데이터 활용 사례
[시설원예 솔루션 수출 기업 (PRIVA)]
네덜란드 기업인 『프리바(PRIVA)』는 “식물이 원하는 바를 해준다”라는 스로건 하에 온실의 토양, 물, 영양분, 기온, 습도, 일사, 일조, 공기순환 등 각종 센서에서 수집한 빅데이터를 작물의 품질과 비교 분석하여 작물별 최적화된 재배조건을 담은 통합관리 시스템과 시설원예 장비를 세계로 수출한다.
프리바(PRIVA)는 1959년 농업용 온실에 필요한 난방시스템을 수입 판매하는 가족 경영 형태의 단순한 무역회사에서 시작해, 1977년 원예 농업과 온실 운영을 총체적으로 관리하는 컴퓨터를 출시해 작물이 필요로 하는 조명, 온도, 수준, 영양요소까지 총체적으로 관리하는 시스템을 출시, 전문기업으로 성장했다. 그리고 농업용 온실 환경을 조절하는 역량을 활용해 1983년 도심에 있는 다양한 빌딩을 관리하는 시스템을 개발하며 네덜란드 공공 건물의 상당 부분에 내부 환경 관리 및 조절 서비스를 제공하기도 한다.
통합 시스템은 온실 기온, CO2량, 광량 시간, 공기 습도, 공기순환 상태, 용수량, 양분 투여량 등을 제어하고 데이터를 집적한다. 또한 카메라를 통해 식물의 증산활동을 분석하고 작물 활동을 시각화하여 농가에 제공한다.
참고로 공기 순환 장치는 기계식이 아니라 디지털 장치로 온실의 상태에 따라 공기 흐름은 조절하여 온실 기후를 평등하게하고 공기 이동으로 잎을 건조시켜 곰팡이 발생을 줄이고 있다. 또한 작물 생명의 근원인 물은 빗물, 지하수, 노천수를 활용하며 UV살균, pH조정, 영양분 공급 단계를 거쳐 작물의 무게에 따라 물의 양을 조절하며 제공하고 배수된 물은 분석 후 재활용한다.
[시설원예 스마트팜 국내 활용 사례]
이같은 장비와 소프트웨어를 우리나라 일부 농가에서도 도입하여 연간 많은 라이선스 비용을 지불하여 사용하고 있다. 우리나라도 작물별 최적의 재배환경을 구축하기 위하여 기업('씨드림' 등)과 농업기술센터에서 각종 시설에서 작물별 재배환경 데이터를 지속적으로 축적하여 분석하고 있다.
[저장된 IoT 데이터는 믿을 만 한가?]
그렇다면 기계장치에서 입수된 IoT센싱 데이터는 믿을 만 한가?
그러나 현실은 센서장비 고장, 네트워크 기기 오류, 장비 고장, 외부요인 등으로 인해 오류 데이터가 수집되고 있다.
3. IoT센싱 데이터 품질관리 사례(기상관측)
[IoT센싱 데이터 품질관리 사례(기상관측)]
IoT 센싱데이터의 품질진단 방법과 품질확보 방안을 오래 동안 연구하고 체계화된 ‘기상관측 데이터 품질관리’ 사례를 통해 살펴보고자 한다.
세계기상기구의 지구 관측 시스템(Global Observing System)은 위성관측자료 공유, 타국에 기상자료 제공, 각 국의 관측소 정비 등을 실시하고 기상자료처리 시스템은 기상분석, 자료처리, 불량자료 수정 등 업무를 수행한다.
[자동기상관측시스템(AWS)의 관측 센서 구성]
기상관측을 실시하는 많은 관측센서 중 자동기상관측소(AWS Automatic Weather Station)는 무인관측 시스템으로 기온, 강수, 풍향, 풍속, 일조, 일사, 기압, 지중온도 등을 관측한다.
많은 기상관측 센서 중 일부인 자동기상관측소(이하 AWS)에서 수집된 관측 데이터는 여러 가지 관점으로 진단하여 데이터의 품질을 확보한다.
[IoT 데이터 품질관리 – 유효 범위 진단]
첫째 유효 범위 진단이다.
만일 측정된 기온값이 영상 30℃라면 정상 데이터일까?
기온 관측 값만 보고 판단한다면 우리나라의 기온값 유효 범위인 -30℃~40℃에 속하기 때문에 정상적인 데이터라고 판단할 수 있다. 그러나 관측일자가 2월1일 이라면 이 데이터는 오류 데이터이다. 이정도 기준은 겨울, 봄가을, 여름으로 분류한 매우 포괄적인 기준이며 이를 세분화하면 지역, 일자, 시각 별 유효값을 보유하여 관측 데이터의 품질을 진단할 수 있다.
[IoT 데이터 품질관리 - 내적 일치성 진단]
둘째 내적 일치성 진단이다.
예를 들어 특정 속도록 바람이 불었으면 방향이 있어야 하고 일정시간 이상의 햇빛(일조) 들었다면 햇볕(일사)의 세기가 관측되어야 한다. AWS가 수집하는 기상관측 데이터만 보더라도 강수량과 습도, 강수량과 일사, 강수량과 일조, 강수와 기온 , 풍향과 풍속 등 관측 데이터 간 상관성을 고려하여 데이터 간 일치성을 진단한다.
[IoT 데이터 품질관리 - 공간성 진단]
셋째 공간성 진단이다.
풍속 값이 “0”이면 정말 바람이 불지 않았을까?
만일 관측 장비가 해당 공간에 하나만 설치되어 있다면 그렇게 판정 할 수 있다. 그러나 사람의 말도 이사람 저사람 말을 들어 봐야 하듯이 관측센서의 고장이나 관측 장비에서 수집 장비 간 연결선의 접촉 불량 등으로 인해 관측이 안 될 수도 있기 때문에 복수의 장비로 관측하여 관측 값의 품질을 확보한다.
넓게는 강남구 AWS에서 강수량이 관측되지 않았는데 강남구를 기준으로 삼각지점에 있는 광진구, 서초구, 송파구의 AWS에서 강수량이 관측되었다면 강남구의 강수량 관측기 데이터의 품질을 진단해야 한다.
공간성 진단은 유효값의 정밀도를 높이기 위해서도 필요하다.
앞서 설명한 시설원예 재배 장소의 실내 온도도 관측 센서도 상층부, 중간부, 하층부, 출입구, 재배지 가운데 등 위치에 따라 다를 수 있기 때문에 평균 기온값의 정밀도를 높이기 위해서라도 복수의 장비를 설치하여 데이터를 관측해야 한다.
[IoT 데이터 품질관리 – 관리 데이터 진단]
넷째. 관리 데이터 진단이다.
IoT 데이터는 기계적 데이터이다. IoT데이터를 수집하는 이유는 단순하게 현재 상태를 파악하고 현재 심은 작물을 재배하는데 활용하기 위해서만은 아니다. 수집된 데이터를 기반으로 최적의 상태를 파악하거나 미래를 예측하고 판단할 수 있는 정보를 만드는 것이 더 중요하다.
따라서 이와같은 가치있는 정보를 만들기 위해서는 사람이 관리하는 데이터와 접목해야 한다. 즉 재배작물의 품목, 품종, 위치, 수량, 시기, 수확량 등 데이터와 함께 센터데이터를 분석해야만 이를 기준으로 다음에 재배할 때 활용할 수 있는 정보를 만들 수 있다. 아무리 센싱데이터의 품질을 확보했다고 해도 무엇을 어디에서 재배했는지 정보가 없거나 얼마나 수확했는지 정보가 없다면 활용도가 크게 낮아진다. 따라서 활용도를 높이기 위해서는 사용자 관리데이터의 품질을 확보해야 한다.
[IoT 데이터 품질관리 – 시사점]
정리해보면
유효범위 값 확보를 위한 동일한 위치, 시각, 환경의 고품질 데이터 축적
오·결측 데이터 검증 및 유효 값의 정밀도 향상을 위한 복수 장비 운영
상관성 있는 관측 데이터 간 융·복합 검증을 위한 데이터 검증규칙 확보
데이터 기반의 장비 상태 정보제공을 위한 실시간 검증체계 구축
데이터 분석 시 시행착오를 최소화 할 수 있도록 품질진단 결과를 데이터에 표시(TAG)하는 오류 데이터 이력관리
수집 데이터의 20%이상 오·결측 데이터 확인 시 통계 데이터 생성을 허락하지 않는 등의 통계 데이터 정확성 확보를 위한 데이터 분석기준 정의
잘못된 데이터가 외부로 제공되어 2차 오류가 발생할 수 있기 때문에 이를 방지하기 위해 확인된 오류에 대하여 내·외부 활용자에게 검증 결과 공유
4. 맺음말
[IoT 데이터에서 고가치 정보를 캐내고 싶다면?]
최고의 맛 집 요리사가
음식의 기본을 재료의 품질이라고 말하는 것처럼
IoT데이터에서 고가치 정보를 확보하기 위해서는
데이터 품질이 기본이라는 것을 잊지 말아야 할 것이다.
'비투엔 기술기고' 카테고리의 다른 글
| [기고] 누군지는 잘 모르지만, 뭘 좋아하는 지는 가장 잘 아는 비식별고객 정보 (0) | 2018.01.30 |
|---|---|
| [기고] 클라우드에서 “엣지(Edge)”로 (0) | 2018.01.24 |
| [기고] 데이터 프로파일링의 이해 (0) | 2017.11.17 |
| [기고] 4차 산업혁명 시대의 공공데이터 품질관리 (0) | 2017.11.07 |
| [기고] 고객 데이터 모델 사례 (0) | 2017.10.27 |