Beom

40여개의 계열사 사이트를 매일 로그인 해보고 로그인이 정상적으로 되는지 확인하는 단순 업무를 하고 있는.. 친구를 위해 만들었던 Tool.. url 리스트를 담은 텍스트 파일을 생성하면 Java Application이 url을 읽어 CasperJS를 멀티 스레드로 띄워 접속 테스트 후 결과를 text파일로 떨궈 준다. CasperJS Script 스크립트 자체가 별로 특별한게 없다.. 간단히 살펴보면 LoginUrl을 받아...

멜웨어 탐지 엔진은 최초 URL로 부터 정해진 Depth까지 웹을 크롤링하여 수집한 Resource, URL, Contents내에 있는 악성 코드, 악성 링크 등을 탐지하는 엔진. 다중 모듈 구조로 컴파일이나 옵션 수정 없이 수집기와 분석기의 추가/삭제가 쉽다. (단순히 수집기나 분석기의 프로세스를 실행하거나 킬 하면된다.) 파일 기반의 큐를 사용하여 큐에 대기중인 데이터가 많아도 유실 없이...

다운로드 https://kafka.apache.org/downloads 에서 kafka를 다운받는다. 옵션 설정 주키퍼 config vi config/zookeeper.properties 카프카 config vi config/server.properties 서버 스타트 주키퍼 시작 bin/zookeeper-server-start.sh config/zookeeper.properties 카프카 시작 bin/kafka-server-start.sh config/server.properties 데몬 형태로 시작 할 경우에는 -daemon 옵션을 준다. bin/zookeeper-server-start.sh -daemon config/zookeeper.properties bin/kafka-server-start.sh -daemon config/server.properties 토픽만들기 bin/kafka-topics.sh –create –zookeeper localhost:2181 –replication-factor 1 –partitions 1 –topic test...

Before Installing Fluentd 설치전에 해야 할 서버 환경 셋팅 Set Up NTP 파일 디스크립터가 1024일 경우 65535로 변경 $ ulimit -n 1024 $ vi /etc/security/limits.conf root soft nofile 65536 root hard nofile 65536 * soft nofile 65536 * hard nofile 65536 Optimize Network Kernel Parameters 네트워크 파라메타 변경 $ vi...

빅데이터 흐름을 익히기 위해 아래와 같은 구조의 프로세스를 구상 중 WAS -> fluentd -> kafka -> spark Streaming -> HFDS ( or spark streaming -> Easticsearch -> Kibana ) 이중 분산로그 수집을 위해 사용 할 fluentd에 대한 정리 아래 그림은 Fluentd에 대해 한장으로 잘 표현한 그림이다. column column 자세한 내용은...