늦었지만 작년 말에 신공개 했던 닷넷 새 기능 영상을 봤더니
아파치 스파크에도 닷넷(C#, F#)을 지원한다는 영상을 보고
아파치 스파크가 뭔지 부터 조사했음..
나무위키는 설명이 없고 위키피디아에서는
|
아파치 스파크(Apache Spark)는 오픈 소스 클러스터 컴퓨팅 프레임워크이다. 원래 캘리포니아 대학교 버클리의 AMPLab에서 개발된 스파크의 코드베이스는 나중에 아파치 소프트웨어 재단에 기부되었으며 그 이후로 계속 유지 보수를 해오고 있다. 스파크는 암시적 데이터 병렬성과 장애 허용과 더불어 완전한 클러스터를 프로그래밍하기 위한 인터페이스를 제공한다. |
라고 함...
저 설명으로 알기 힘들고.. 요즘 살짝 한물 간(?) 빅데이터 프레임 워크네요...
요 며칠간 루리웹 접속도 안되고
골든 위크라서 할건 없고 한번 해보자고 생각했는데...
샘플 하나 구해볼려고 구글링 해보니..
마소에서 10분 튜토리얼이 있네요;;
상단 링크에 있습니다...
해보니까 복붙으로 끝나는 일이라 10분도 안걸림..
마소에서 제공한 소스는 대충 텍스트 파일에서 단어 체크 하는 소스
결국 빅 데이터의 꽃은 데이터를 수집하는게 주 포인트겠지만
가공용 프레임 워크...
빅데이터 프로젝트 할려고 할때 R개발자 구하기 힘들면 C#개발자를 구해도 된다는 이야기입니다..
그런데 예전 부터 생각한일이지만 일반 개인이 빅데이터 조사 할 수도 없고
결국 모아서 어디 쓸건데 감도 안잡히네요..
그런 플렌이 보였으면 스타트 업 하고 있겠지;;;;