멈추지않아

Zeppelin은?

• 대화형으로 데이터 분석을 하기위한 웹 기반 명령어 해석기이다

• Spark 또는 하둡과 연동하며, 여러 가지 언어를 사용할 수 있다

• iPython-notebook과 사용 방법이 유사하다

• 아직 인큐베이팅 단계이다

https://speakerdeck.com/vcnc/apache-zeppelineuro-deiteo-bunseoghagi

파이썬으로 된 머신러닝 오픈소스 프로젝트 중 주목할 만한 것들을 정리하였습니다. 이 중에는 익히 알고 있는 것도 있지만 완전히 생소한 것들도 있습니다. 누군가가 이렇게 정리된 리스트를 공유해 주니 이 분야에 첫발을 들이는 사람에겐 좋은 출발점이 될 수 있습니다. 간단하지만 각 리스트를 하나씩 확인해 보도록 하겠습니다. 원글의 리스트는 다음 링크를 참고해 주세요.

1. scikit-learn :
   파이썬 머신러닝 라이브러리의 대표주자라고 할 수 있습니다. 많은 도서와 아티클들이 이미 나와 있습니다. 이 프로젝트는 파이썬의 또 다른 유명한 라이브러리 Numpy 와 Scipy 를 근간으로 하고 있습니다. 두 라이브러리는 수치연산과 과학계산을 위해 만들어 졌습니다. scikit-learn 은 분류, 회귀분석은 물론 대표적인 비교사 학습인 군집화 알고리즘과 디멘젼 리덕션 등도 제공합니다. 파이썬으로 머신러닝을 시작한다면 먼저 scikit-learn 를 검토해 보지 않을 수 없습니다. scikit-learn github 레파지토리.
2. NuPIC :
   NuPIC(The Numenta Platform of Intelligent Computing)는 누멘타에서 연구 개발한 두뇌의 신피질 기능을 모방한HTM(Hiearchial Temporal Memory) 러닝 알고리즘을 구현한 것 입니다. NuPIC는 시계열 또는 연속성있는 데이터 분석에 유용하며 특히 비정상 데이터 탐지(Anomaly Detection)나 스트리밍 데이터 예측등에 활용된다고 합니다. 논문에서 상세한 내용을 확인할 수 있으며 한국어 번역도 제공하고 있습니다. NuPIC github 레파지토리.
3. Pattern :
   Pattern은 자연어처리를 포함하는 웹 마이닝 라이브러리입니다. KNN, SVM, 퍼셉트론 등을 활용하여 서포트 벡터 머신, 군집화, 분류 등을 지원합니다. 자연어처리에서 비영어권의 언어에도 문제가 없는지는 확인하지 못했습니다. Pattern github 레파지토리.
4. Pylearn2 :
   pylearn2는 머신러닝 프로젝트를 쉽게 할 수 있도록 설계된 라이브러리 입니다. 이 프로젝트는 Theano를 바탕으로 하고 있습니다. Pylearn2 github 레파지토리
5. Ramp
   Ramp는 빠른 프로토타이핑을 위한 머신러닝 라이브러리입니다. pandas 기반의 경량 프레임워크로 scikit-learn 이나 rpy2 같은 기존의 파이썬 머신러닝 라이브러리나 통계 툴들과 연결해서 사용할 수 있습니다. Ramp는 여러 기능과 알고리즘, 데이터 변환을 빠르고 효과적으로 처리하기 위한 간단한 서술형 문법을 제공합니다. Ramp github 레파지토리](https://github.com/kvh/ramp)
6. MILK
   Milk는 감독학습(supervised)에 의한 분류(classification) 문제에 포커싱을 맞춘 머신러닝 툴킷입니다. SVMs, k-NN, 랜덤 포레스트(random forest), 결정 나무(decision tree) 같은 알고리즘을 지원합니다. 또 변수 선택(feature selection)을 지원합니다. 이런 분류기들은 다양한 문제를 해결하기 위해 여러 방식으로 조합되어 사용될 수 있습니다. 비감독학습(unsupervised) 알고리즘으로는 k-means 클러스터링과 어피니티 프로퍼게이션(affinity propagation)을 제공합니다. Milk github 레파지토리
7. skdata
   skdata 는 머신러닝과 통계를 위한 샘플 데이터셋을 제공하는 라이브러리입니다. 널리 알려진 컴퓨터 비전(computer vision)이나 자연어 처리 같은 예제(toy problem)를 파이썬에서 쉽게 사용할 수 있도록 도와줍니다. skdata github 레파지토리
8. mlxtend
   이 라이브러리는 매일 매일 반복적으로 일어나는 데이터 사이언스 작업들을 위한 유용한 툴을 제공합니다. mlxtend github 레파지토리
9. machine-learning-samples
   아마존 머신러닝을 이용하여 만든 샘플 어플리케이션들 입니다. machine-learning-samples github 레파지토리
10. REP
    REP은 일관성있고 재현가능한(reproducible) 데이터 중심(data-driven) 연구를 수행하는데 필요한 환경을 제공합니다. 여기에는 TMVA, Sklearn, XGBoost, uBoost 같은 여러 종류의 구현을 감싸고 있는 통합 분류기가 있습니다. 하나의 클러스터에 대해 동시에 여러개의 분류기를 학습시킬 수 있으며 인터렉티브한 그래프도 제공합니다. REP github 레파지토리

<출처: https://adside.wordpress.com/2015/06/15/%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-top-10/>

아나콘다

-> 사용자가 설치를 쉽게 할 수 있도록 하는 통합 환경 설치 툴

-> python 및 python에서 많이 사용하는 라이브러리를 같이 설치해주면서 가상환경 구축도 도와주는 패키지다

해당 주소로 이동하여 다운로들 받는다.

https://www.continuum.io/downloads

2. Anaconda Prompt  를 실행

3.  GPU 버전은 cuda 설치가 필요하다!! 주의

4. 아나콘다 프롬프트에서 아래 명령어 실행

pip는 python의 패키지 관리자로써,  python에서 사용하는 모듈을 아주 손쉽게 설치할 수 있도록 해줍니다!!!

1. get_pip.py 다운로드
아래의 링크에서 get_pip.py를 다운로드
https://pip.pypa.io/en/latest/installing/

2. 다운로드한 파일을 찾아서 실행

다운로드한 "get_pip.py"를 파이썬 IDE로 실행한다.

3. 실행(Run)

파이썬 IDE가 열리면 "메뉴 Run > Run Module (F5)" 를 선택하여
실행을 한다.

4. 기다리기

시간이 좀 걸릴 것이다...

100%까 될때까지 기다리기

****** 사용방법 *******
( 예> numpy 패키지 설치하기 )

텐서플로우(TensorFlow) 설치하기(총 4가지)

1. 텐서플로우(TensorFlow) 설치하기(CPU only ubuntu)

   + 1-1 Pip Installation

   + 1-2 Virtual Installation

http://solarisailab.com/archives/295

2. 텐서플로우 설치

 : 윈도우(Windows) 환경에서 Docker를 이용해서 텐서플로우(TensorFlow) 설치하기

http://solarisailab.com/archives/384

3. 텐서플로우 설치(GPU 버전)

: 텐서플로우(TensorFlow) GPU버전(tensorflow-gpu) 설치하기

http://solarisailab.com/archives/1581

20대 시절, 군대기간을 통틀어 읽은 책들 속에서 엑기스만 노트에 적어두었던 내용을 블로그로 옮긴다.

위인전, 자서전, 자기계발, 성공, 습관 등의 주제에 관심이 많았던 탓에 100개 가량의 문장을 얻을 수 있었다.

사실 이 것을 다 행하거나 받아드리는 것은 부처님이나 이미 성공한 위인들에 해당하는 일일 것 같다...

이것을 적었을 당시의 나와 서른이 넘은 지금의 나를 놓고 보았을 때,

아래의 내용을 체크해보니 감회가 매우 새롭다....

1. 먼저 다가가라.

2. 승부 근성이 없는 사람을 멀리하라.

3. 예외를 인정하지 말라 (자기합리화, 의무를 져버리지마라)

4. 장기적인 관점으로 항상 생각해라

5. 오늘 목표는 "00"이다로 시작. (하루의 시작)

6. 의심과 두려움 , 욕망, 자존심, 무기력, 슬픈, 비판 이것은 지금 내가 고치고 체크 해야할 항목이다.

7. 자기 자신을 사랑하자.

8. 모든 것이 중요하다.

9. 나는 마음먹은 것은 무엇이든 할 수 있다.

10. 하루종일 무엇에 집중할 것인가?

11. 모든 사람이 나와 같지 않다. 서로 다른 견해를 이해하라 (고정 관념)

12. 실패를 실패로 받아들이지 않는 사람이 되자, 무언가를 터득할 것이다.

13. 모든 것에 감사하는 마음으로 해석하는 사람이 되자

14. 누군가 항상 나를 바라보고 있다. 나는 본보기가 되어야한다.

15. 나는 참으로 하늘이 선택한 사람인가보다.

16. 주위 사람이 나에게 반하도록 만들자.

17. 자신의 삶을 통제하지 못하는 만큼 불행해진다.

18. 어떤 일로도 다른 사람을 비난하지 말자.

19. 첫 인상이 중요하다. (첫 대면에 관심을 기울여라)

20. 미루는 습관을 버려라

21. 책임을 떠맡아라. 책임 지는 것을 즐겨라 (주도적으로 일하라)

22. 최후의 순간이 온것을 가정하라.

23. 일을 즐기는 사람이 되라.

24. 언제어디서든 메모하는 습관

25. 아침에 주로 전략적인 결정을 하라.

26. 자기 보상의 원칙을 정하고 활용하자.

27. 팀워크를 구축하라.

28. 내가 가지고 싶은 것을 이미지화 하자

29. 핵심 리스트(협력자 명단)을 뽑아 마케팅하라

30. 미래 이력서 쓰기

31. 대인관계를 위한 행동 계획서(전화, 만남)을 구성하라

32. 내 인생을 구체적으로 설계하라.

33. 습관을 형성하라, 자신이 제일 약한 부분부터 습관을 창조하라

34. 매일매일 소소한 이벤트를 만들라

35. 역할 모델(위인)을 설정하고, 매일밤 그들을 상상속 회의에 초대하라.

36. 다른 사람의 가치와 자질을 하나씩 훔쳐보자

37. 책을 읽고 일상 속에서 매일 교휸을 적용하자

38. 재정에 관한 뛰어난 조언자를 곁에 만들어라.

39. 수년내 100만 달러를 모을 결심을 하고 구체적인 계획을 짜라.

40. 업무의 중요도에 따라 ABCDE로 나누어라

41. 자신만의 성공 비결을 만들어라.

42. 유머를 기억하고 기록하라.

43. 인상적인 자신만의 인사말을 만들어라.

44. 내 인생의 철학을 집대성하고 철칙을 세워라.

45. 독서 목록을 만들고, 관리하라.

46. 두려워하는 것을 가장 먼저 시작하라.

47. 경쟁 업체와 인물을 연구하고 공부하라.

48. 다른이를 컨트롤 하는 방법을 익혀라

49. 시대 변화를 파악하자.

50. 투자 원칙을 세워라

51. 밑바닥 부터 시작하라.

52. 모든 이들을 만족 시키는 시스템을 완성해보라.

53. 실패가 불가능한 것처럼 행동하라. 그러면 그렇게 된다.

54. 나의 가장 이상적인 삶을 그려라

55. 다른이의 가슴에 욕구를 불러일으켜라

56. 미소를 지어라

57. 시간을 통제하라 , 늘 시간 개념을 가져라

58. 늘 냉정하게 사고하자.

59. 언제, 어디서나, 누구에게나 배워라.

60. 모든 것이 다 나의 책임이다.

61. 나만의 유행어를 창조하라.

62. 몰입하라!

63. 영광을 다른사람에게 돌려라

64. 마케팅 능력을 길러라.

65. 사람에게 투자하는 방법을 익혀라

66. 모임을 만들고, 참여하라

67. 먼 곳의 친구를 사귀자.

68. 자서전을 써라.

69. 목소리가 중요하다, 나약한 이미지를 경계하라

70. 말하는 것 처럼 경청하라.

71. 자신의 아이디어를 말하면서, 상대방으로 하여금 그 아이디어가 자신의 것으로 느끼게끔 하라.

72. 공부라고 생각하지 말고, 놀이라고 생각하라.

73. 꾸준히 운동하라.

74. 집안에서 가장 잘 보이는 곳에 나의 목표를 표시하라

75. 판단력은 가장 값진 보석이다.

노트에 적어두었던 것을.... 유실될 것을 염려하여 적어본다.

공부의 기술

1. 20분 마다 과목을 바꾼다.

2. 노트는 간략하게 필기

3. 노트 필기는 다시 볼 것을 염두하고 필기.

4. 전문 용어랑 친해지자.

5. 포토 그래픽 메모리: 기억을 영상으로 떠올리고 저장하라

6. 초두 효과: 어려운 것을 항상 먼저하자! 기억에 오래 남는다.

7. 지금 눈앞에 보이는 대상과 암기할 대상을 연결하자.

  > 책상을 벗어나야 하는 이유

8. 공부하고 문제지를 만들자

=====================================================

#upload_form.php

<form name="fo" method="post" enctype="multipart/form-data" action="upload_ok.php">
<input type="file" name="filename"><br><input type="submit">
</form>


=====================================================

#upload_ok.php

<?php
require_once("../../include/dbcon.inc.php");    //db 접속
require_once 'Comn/reader.php';

 $upfile_name =  $_FILES[filename][name]; // 실제 파일명
 $temp_file = $_FILES[filename][tmp_name]; // 임시 파일명
 $upload_dir = $_SERVER['DOCUMENT_ROOT']."/cs/upload/data/";  //저장 경로

move_uploaded_file($temp_file, $upload_dir.$upfile_name);// 경로로 xls저장

$file = $upload_dir."/".$upfile_name;

$data = new Spreadsheet_Excel_Reader();
$data->setOutputEncoding('euc-kr');
$data->read($file);

error_reporting(E_ALL ^ E_NOTICE);
$f_arr = array("","name","age","tel","mobile","add");  //저장할 필드 배열

for ($i = 1; $i <= $data->sheets[0]['numRows']; $i++) {
 if($i != 1){  //엑셀파일의 첫줄은 필드 데이터들이 아닌 컬럼명으로 되어 이부분은 그냥 continu하도록 하기 위한 조건
    ${'data'.$i} = "";
    for ($j = 1; $j <= $data->sheets[0]['numCols']; $j++) {
            if($j == 1){//쿼리의 처음 부분에는 ,를 빼기위한 조건.
                $chumbu = "";
            }else{
                $chumbu = ",";
            }
            ${'data'.$i} .= $chumbu." ".$f_arr[$j]." = '".$data->sheets[0]['cells'][$i][$j]."'";

    }

    mysql_query("insert into DELIVERY set ".${'data'.$i});
 }
}

echo "<script>alert('저장되었습니다.');</script>";exit;

?>

http://kslovee.tistory.com/entry/extJs-File-Upload1