• [잡담 - 기타] Apache Spark2021.05.07 AM 12:52

게시물 주소 FONT글자 작게하기 글자 키우기
LINK : //dotnet.microsoft.com/learn/data/spark-tutorial/intro

늦었지만 작년 말에 신공개 했던 닷넷 새 기능 영상을 봤더니


아파치 스파크에도 닷넷(C#, F#)을 지원한다는 영상을 보고


아파치 스파크가 뭔지 부터 조사했음..



 

나무위키는 설명이 없고 위키피디아에서는


아파치 스파크(Apache Spark)는 오픈 소스 클러스터 컴퓨팅 프레임워크이다. 원래 캘리포니아 대학교 버클리의 AMPLab에서 개발된 스파크의 코드베이스는 나중에 아파치 소프트웨어 재단에 기부되었으며 그 이후로 계속 유지 보수를 해오고 있다. 스파크는 암시적 데이터 병렬성과 장애 허용과 더불어 완전한 클러스터를 프로그래밍하기 위한 인터페이스를 제공한다.


라고 함...


저 설명으로 알기 힘들고.. 요즘 살짝 한물 간(?) 빅데이터 프레임 워크네요...





요 며칠간 루리웹 접속도 안되고


골든 위크라서 할건 없고 한번 해보자고 생각했는데...


샘플 하나 구해볼려고 구글링 해보니..


마소에서 10분 튜토리얼이 있네요;;


상단 링크에 있습니다...


해보니까 복붙으로 끝나는 일이라 10분도 안걸림..




01.jpg

마소에서 제공한 소스는 대충 텍스트 파일에서 단어 체크 하는 소스

 

결국 빅 데이터의 꽃은 데이터를 수집하는게 주 포인트겠지만


가공용 프레임 워크...


빅데이터 프로젝트 할려고 할때 R개발자 구하기 힘들면 C#개발자를 구해도 된다는 이야기입니다..


 



그런데 예전 부터 생각한일이지만 일반 개인이 빅데이터 조사 할 수도 없고


결국 모아서 어디 쓸건데 감도 안잡히네요..




그런 플렌이 보였으면 스타트 업 하고 있겠지;;;;

댓글 : 0 개
친구글 비밀글 댓글 쓰기

user error : Error. B.