R – 데이터 종류 3

    Special Values 데이터 상세 NULL Empty value is.null(~) NA Not Available (missing value, 결측치), is.na(var1) mean(~, na.rm=T) : NA 값은 계산에서 제외 var1[!complete.cases(var1),] #— var1에서 NA 데이터가 포함된 레코드 제외 var1[is.na(!var1$field1), ] #— var1에서 field1이 NA인 데이터 레코드 제외 na.omit(data) #— NA가 포함된 행 제외 na.pass(data) #— NA 여부에 상관없이 처리 na.fail(data) #— NA […]

R – 데이터 종류 2

  R 데이터 종류별로 분류하여 보았습니다.   기본형 데이터형 상세 numeric (수치형) Integer, Double numeric(25) logical (논리형) 상수 : TRUE, FALSE 변수 : T, F logical(25) character (문자형) "~", '~' character(25) paste(var1, var2, sep = " ") : sep를 사용하여 두 문자열을 결합   구조형 동일한 자료형을 가지는 데이터를 가짐 데이터형 상세 Scalar (스칼라) 하나의 기본형 데이터를 가지는 […]

RSA 암호화, 복호화 모듈

  RSA 방식을 사용한 암복호화 모듈 입니다.   public class UtilCrypto { public static KeyPair rsaKey = null; public static KeyPair getRsaKeyPair() { if (rsaKey == null) { rsaKey = makeRsaKeyPair(); } return rsaKey; } public static Key getRsaPublicKey() { if (rsaKey == null) { getRsaKeyPair(); } return rsaKey.getPublic(); } public static Key getRsaPrivateKey() { […]

DES 암호화, 복호화 모듈

  DES 방식을 사용한 암복호화 모듈 입니다.   public class UtilCrypto { public static Key desKey = null; public static Key getDesKey() { if (desKey == null) { desKey = makeDesKey(); } return desKey; } public static void setDesKey(Key desKey) { UtilCrypto.desKey = desKey; } public static Key makeDesKey() { KeyGenerator generator = null; try […]

R – 데이터 종류 1

  R에서 사용하는 데이터와 변수를 정리해 보았습니다. 데이터 속성 비율식 (Ratio) < 구간식 (Interval) < 순서식 (Ordinal) < 명명식 (Nominal) 데이터 속성 상세 명명식 (Nominal) 명목척도 이름으로 구분되는 자료, 예) 성별 순서식 (Ordinal) 서열척도 순서가 있는 명명식, 예) 소득의 상, 중, 하 구간식 (Interval) 간격척도 순서의 간격을 측정할 수 있는 순서식, 예) 온도 비율식 (Ratio) […]

[무료세미나] 데이터분석 전문가로 가는길

http://www.dbguide.net/offline.db?cmd=seminar 일시 : 2014년 2월 7일 금요일 13:30 ~ 17:30 장소 : 한국과학기술단체총연합회 국제회의실

Flume Agent 실행해 보기

Flume 개요 라는 글을 작성 했는데 예제 하나를 올려 달라는 요청이 있어서 예제를 올립니다. Flume 설치 폴더 : /nas/appl/flume/ 아래 Flume Agent의 사례는 Linux의 명령을 주기적으로 실행하고 실행된 결과(표준 출력)를 수집하고 file 채널을 통해 트랜잭션을 관리하고 최종적으로 수집된 데이터를 지정한 폴더에 파일로 저장하는 Agent의 사례 입니다.   예제에서 사용할 폴더를 생성 합니다. mkdir /nas/appl/flume/storage mkdir […]

Flume 개요

Flume은 Hadoop 빅데이터 환경에서 준 실시간으로 데이터 수집을 위해서 사용 됩니다. 기본적으로 제공하고 있는 Source, Channel, Sink는 설정을 통해서 간단하게 사용할 수 있으며 구성이 간단하므로 Customize을 통한 확장이 용이 합니다. Flume Architecture Source 데이터를 수집 합니다. Interceptor 수집한 데이터를 변경 또는 삭제 합니다. 종류 – 삽입 : Timestamp, Host, Static, UUID 종류 – 변형/삭제 : Morphline, Regex […]

하둡 업무 영역과 Architecture

하둡의 업무 영역과 각 구성요소의 Architecture를 그려 보았습니다. 전체 관점에서 하둡을 이해하는데 도움이 됩니다.   Hadoop 업무 영역   HDFS Architecture   MapReduce Architecture   YARN Architecture    

빅데이터 개요

빅데이터의 정의 기존 데이터에 비해 너무 방대해 일반적으로 사용하는 방법이나 도구로 수집, 저장, 처리, 분석, 시각화 등을 하기 어려운 정형 또는 비정형 데이터의 집합 초점 정의 데이터 규모 (맥킨지, 2011.5) 기존 데이터베이스 관리 도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 데이터 업무 수행 방식 (IDC, 2011.6) 다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, […]