공간정보와 인터넷지도

올해 국토교통부에서 발주한 공적개발원조(ODA: Official Development Assistance) 사업과 관련해서 세번째 우즈베키스탄을 다녀왔습니다.

우즈베키스탄은 변이 바이러스로 인해 위험국가로 지정되어 있습니다. 그런데, 거의 모든 사람이 마스크를 끼는 우리나라와는 달리 그 나라에서는 마스크를 끼는 비율이 그다지 높지 않습니다. 그나마 처음 갔을 때는 한 30%정도 끼고 다니는 것 같더니, 이번에는 10%도 안되었습니다. 우즈베키스탄에서는 하루에 1천명정도 감염된다고 하는데, 우리나라처럼 철저한 추적조사를 하지 않기 떄문에 훨씬 많은 사람이 감염되었을 거라고 추정하는데, 우리 일행이 만난 공무원들도 마스크를 전혀 끼지 않았습니다. (처음 방문했을 때는 몇명 끼고 있었는데, 이번엔 정말 아무도 안끼더군요) 

첫번째 출장은 6월로 총 14일간의 일정이었습니다. 그때 국토부 담당자께서 우리 일행이 귀국했을 때 자가격리하지 않도록 해주겠다하여 서류를 제출했지만, 우즈베키스탄에서 변이 바이러스가 발생하는 바람에 승인을 받지 못했고, 그래서 꼼짝없이 14일간 자가격리를 해야 했습니다.

그때는 델타변이가 문제가 될 때 즈음이라 출장가기 직전에 잔여백신으로 미리 백신을 한 번 맞고 출국을 했습니다. 한번이라도 맞아둬야 혹시 감염이 되었을 경우에도 증상이 완화된다고 알고 있었기 떄문입니다.

해외를 다녀오려면 출발전에 PCR 검사를 받고 영문 음성확인서를 받아야 비행기 탑승이 가능하고, 해외에서 귀국하기 전에도 PCR 음성확인서를 받아야 합니다. 공항에서 나와서는 대중교통을 이용하지 못하고, 방역 택시를 타고 이동해서 보건소에 들러 PCR 검사를 받고 집으로 가서 자가격리를 해야 하고요, 자가격리가 끝나기 하루전에 최종적으로 다시 PCR 검사를 받아야 하고요. 따라서 총 4번에 걸쳐 PCR 검사를 받아야 하는데, 물론 항상 음성만 나왔습니다.

두번째 출장은 9월말이었습니다. 백신을 두번 다 맞은 상태였지만, 그때는 상황이 변하지 않았기 때문에 자가격리 면제신청 자체를 하지 않았고, 총 10일간의 출장후 14일간 자가격리하였죠. 물론 PCR 검사는 역시 4번 받아야 했구요.

이번 세번쨰 출장은 11월 중순에 출발해 오늘 아침에 도착한 일주일간의 일정이었습니다. 그런데, 백신 접종률이 70%를 넘어가 방역조치가 완화되면서 다시 자가격리면제 신청을 헀고, 이번에는 신청이 받아들여졌습니다. 아래가 격리면제서입니다. 귀국하기 2-3일 전 우즈베키스탄 대사 명의로 자가격리면제서를 받아서 편한 마음으로 비행기를 탈 수 있었죠. 비행기를 내리자마자 전철을 타고 집에 가야겠다... 계속 방역택시만 탔으니, 이번에는 대중교통으로 귀가해야지 하고 다짐했었습니다.

입국 심사 동안에는 아무 문제가 없었습니다. 그냥 내라는 서류 주니까 여권에 스티커를 붙여줬고, 그래서 안내하는 대로 따라서 전철을 타러 갔습니다. 그리고 열차가 도착한다고 삐리리거릴 때 모르는 번호로 전화를 받았습니다. 이게 악몽의 시작이었습니다. 우즈베키스탄은 위험국가라서 바로 귀가를 할 수 없고, 임시격리시설에서 PCR 검사를 받고 결과가 나온 뒤 방역이 되는 교통수단으로 귀가를 해야 한다는 것이었습니다. 결국 열린 전철문을 뒤로 하고 길을 되짚어 출국 게이트로 가서... 함께 출장을 간 일행들이 억류?? 되어 있는 곳으로 갔습니다.

10여분이 지나고 나서 버스를 타고 임시격리시설로 이동했습니다. 신세계 백화점에서 멀지 않은 곳에 있는 소테츠호텔즈더스프라지르 서울명동이었죠. 크기는 비즈니스 호텔 수준으로 아기자기 하지만 싱글침대 두개랑 화장실이 있는 정도였습니다. 서울 시내 한복판에 있어, 아마도 코로나 사태전에는 외국인 관광객을 대상으로 짭짤하게 영업을 했을 듯 싶은 호텔이었습니다. (현재는 완전히 격리전용으로 사용되는지 휴업중으로 나옵니다.)

도착하니 정말 갑갑해 보이는 방역복을 입고 있는 방역요원이 간단히 안내를 하고, 각자 방을 하나씩 배정받았습니다. 절대로 밖으로 나와서는 안된다는 다짐을 받았고요. 처음에는 당일로 검사 결과가 나와서 그날 저녁 귀가할 수 있다고 해서 짐도 안풀었는데, 검사 결과가 늦게 나와서 다음날 8:30에 방역택시를 타고 귀가하라더군요... 뭐... 그래도 그 정도는 참을만 했습니다.  빨리 집에 가고 싶기는 하지만, 어쩔 수 없다는 심정이었죠.

그런데... 잠시 후, 제가 사는 구청 담당자가 연락이 오더니 우즈베키스탄은 11월 자가격리 면제가 안된다고 집에 돌아가서 다시 격리를 해야 한다는 청천벽력같은 소리를 하는 것이었습니다. 아래가 내세운 근거였습니다. 국가 사업때문에 출국했고, 국토부/외교부로부터 격리면제서를 받았다고 해도 막무가내였습니다. 이탈을 하면 고발을 하겠다는 말도 들었습니다.

열좀 받았습니다. 국토부/외교부가 서류를 잘못 발급한 건가, 공항 검역 요원들이 처리를 잘못한 건가... 아무리 생각해도 말이 안되는 상황이었거든요. 차라리 자가격리 면제가 안된다고 했다면 공항에서 방역택시를 타고 집으로 갔지, 왜 임시 격리시설까지 와서 고문을 당하겠냐고 항의해도 마찬가지였죠.

그래서 먼저 여기 격리시설 상황실에 전화를 했습니다. 자기네는 모른다고 하더군요. 당연하겠죠. 그래서 알려준 1339 질병관리청으로 전화를 했습니다. 상담원이 몇가지를 물어보더니, 자기는 잘 모른다고 알아보고 전화를 준다고 했습니다. 얼마후 온 소식은 자가격리 면제 불가랍니다. 물론 근거는 위에 있는 사이트와 동일하고요. (제가 그때는 열받은 상태라 기억을 못했는데, 공항 방역도 질병관리청 소관일텐데, 왜 현장과 다르게 처리하느냐고 물어봐야 했네요.) 좀더 더 자세히... 이 말이 안되는 상황을 설명하면 다시 알아보겠다고 하는데, 잠시후에는 불가. 그래서 높은 분 연결해 달라고 했더니 결국 불가라고 하더군요.

그런데... 저하고 함께 출장을 가서 함께 격리되어 있던 (물론 얼굴은 못보는) 동료들에게 연락을 해보니, 모두 해당 구청으로부터 연락을 받았고 다 격리 면제로 처리되었다고 하더군요. 참... 어이가 없었습니다.  그래서 다시 우리동네 구청에 연락을 했습니다. 자세히 설명하니 보건소에 알아보겠다고 하더니 잠시후 자가격리 면제라고 다만 사람이 많은 곳으로는 되도록 가지 말라고 하더군요. 헐... 처음에 저에게 전화를 했던 그 구청 공무원 덕분에 거의 한시간을 혼자 열받아했던 거였습니다. 

제가 도움을 받은 동료에게 감사 인사를 하고 넋두리를 했습니다. 그런데 그 분은 내일 아침이 아니라 오늘 밤에 나간다고 하더군요. 그래서 상황실에 연락을 해봤죠. 그랬더니... 검사결과는 11시쯤 나온다고 하고 12시에는 나갈 수 있다고 해서 당연히 방역택시 예약을 변경했습니다. 

ㅎㅎㅎㅎ 그래서 이제 몇시간 후면 집에 갈 수 있습니다. 날라갈 것 같애요. 그런데... 처음 저에게 연락을 했던 구청 공무원과 질병관리청 담당 팀장은 어떻게 하는 게 좋을까요? 혹시 이 글 읽으시면 댓글로 의견 부탁드립니다.

민, 푸른하늘

올해 우즈벡으로 세번째 출장왔습니다. 제가 수행하고 있는 국토교통부 발주 ODA 사업 때문입니다. 저는 전체 사업중 아주 작은 일부만 담당하고 있는데, 다른 교수님들은 모두 자가격리 때문에 출장이 힘들어서 할 수 없이 제가 세번다 출장에 따라오게 되었습니다. 이번 마지막 출장은 정말 오기 싫었는데 할수 없이... ㅠㅠ

출장 혹은 여행 올때 챙겨야 할 것중 가장 중요한 중 하나가 핸드폰 로밍입니다. 요즘 연결이 끊어지면 엄청 힘들잖아요. 맨 처음 출장 올 때는 당연히 통신사 제공 로밍을 사용했습니다. 하루에 1만원 정도로 기억합니다만, 통화/문자/데이터가 대부분 충분하게 사용할 수 있습니다.

두 번째 출장 올 때는 통신사 제공 무료 로밍을 사용했습니다. 속도가 100kbps 정도이고 대략 카톡 사용할 정도라고 했는데, 어차피 WIFI 도 중간중간 있을테니 그냥 견뎌보자 하는 마음이었습니다. 그 결과.... 한마디로 힘들었습니다. 문자는 문제가 없는데 이미지는 아주 느려서... 전송중 에러가 발생하기 일쑤였습니다. 다시는 경험하고 싶지 않은 정도 라고 말씀드릴 수 있겠네요. 

그런데, 같이 출장 온 동료중 한분은 처음부터 현지 U-sim 카드를 사용하고 있었습니다. 저는 불편할 것 같기도 하고, 제 핸드폰에 USIM을 갈아끼우면 전화/문자가 아얘 연결이 안될테니 사용하기 힘들다고 생각했었죠. 그런데... 가만히 생각해보니, 저는 해외 나올 때마다 핸드폰을 하나더 가지고 다닌다는 게 생각났습니다. 제가 삼성 기어360을 사용해 360도 파노라마 사진을 촬영하는데, 이게 예전 삼성 핸드폰에만 연동하기 때문에(신형 삼성 핸드폰은 안드로이드 보안 정책이 바뀌어서 안된답니다.ㅠㅠ) 여분으로 꼭 챙겨두고 있기 때문입니다.

아니... 그렇다면 여분의 핸드폰에 현지 USIM 사드를 꽂고 사용하면 되겠네? 

유레카!!!!

왜 예전엔 생각을 못했는지 저도 이해가 안갑니다만, 어쨌든 이번 출장에는 우즈벡 현재 USIM 카드를 사용하기로 결정했습니다. 그래서 도착한 다음 날, 예전부터 현지 USIM 카드를 사용해왔다는 동료분과 함께 USIM 카드를 구입하러 나섰습니다.

구입은 어렵지 않았습니다. Beeline이라는 우즈벡에서 제일 큰 통신사 대리점? 에 찾아가서, 영어는 할 줄 모르는 직원을 배정받았어도 핸드폰 보여주고 "유심"이라고만 하니 다 알아듣고 처리해 주더군요. (반드시 여권을 챙겨가야 합니다!!!) 가격은 2만숨. 우리나라 돈으로 2천원 정도입니다. 우리나라 통신사 바꿀 때 유심비를 7000원 받은데, 그것도 안되는 돈으로 총 3GB 데이터를 사용할 수 있게 된 겁니다. 정말 싸네요. ㅎㅎ 다음부터는 (적어도 저개발국에 갈 경우에는) 현지 USIM을 적극적으로 사용해야겠다고 결심했습니다.

그런데... 문제가 발생했습니다. 저는 아무 문제가 없는데, 같이 간 동료분이 아무리 폰을 리부팅해도 안된다는 메시지만 뜨는 겁니다. 그래서 영어가 조금 되는 지원부? 직원에게 물어봤는데... 핸드폰이 락이 걸렸다는 겁니다. 지난 번 출장때도 사용했는데 무슨소리냐? 그럼 지난번 USIM 카드에 충전해서 사용하면 되느냐? 여러가지로 물어보니, 핸드폰 자체에 락이 걸린거라, 자기네는 해결할 수 없고 센트랄 오피스에 가서 락을 풀어야 한다는 거였습니다.

그래서 할 수 없이 "Yandex Go" - Uber 비슷한 앱입니다. - 로 택시 아닌 자가용을 호출해서 37000 숨(3700원)을 주고 찾아 갔습니다. 그런데 아무리 봐도 Beeline Central Office 는 없고... 대신 Central Post Office 그러니까 중앙 우체국만 있더군요. 센트랄 오피스라고 해서 통신사인줄 알았더니 우체국.... 저 혼자였으면 포기했을 것 같네요.\

아무튼 그렇게 들어가서 보니... IMEI를 등록해야한다는 거였습니다. 제 핸드폰에 온 문자를 살펴보니 한달 내? 로 IMEI를 등록해야 한다는 내용이 있더군요. 그런데 같이 간 동료분은 그걸 무시하고 등록을 하지 않았기 때문에 핸드폰에 락이 걸린 거였구요. 

머.. 그래서 등록했습니다. 저는 54000숨, 같이 간 동료분은 67000숨을 내고 등록했습니다. 다음번 우즈벡을 오게 되더라도 문제 없을 것 같습니다. 다시 오게 될 가능성은 매우 낮은 것 같지만요. ㅎㅎㅎ

결국... 한달 3GB 무선 데이터 사용에 20000 숨 + 54000 숨 해서 약 7400원으로 사용하게 되었네요. 저는 생각지도 않게 54000 숨을 추가 지출한 셈이지만, 그래도 다른 방법보다는 매우 저렴하다는 걸 아실 수 있을 겁니다.

누군가... 현지 USIM을 사용할 경우, 이런 과정이 필요할 수도 있다... 는 걸 아시고 (다른 나라는 IMEI 등록이 필요 없을 수도 있지만요) 시행착오를 줄였으면 하는 마음으로 기록 남깁니다.

아래는 오늘 등장한 장소를 표시한 지도입니다. 참고하시길~~

민, 푸른하늘

이 절에서는 여러분의 첫번째 EPUB 이북을 생성하고, Sigil 사용법을 배운다.

Sigil의 기능에 대한 자세한 사항은 "기능" 장을 참고하라.

먼저 EPUB를 만들 때 무엇이 필요한지에 대해 간략하게 알아보기위해, 여러분이 해야할 작업을 순서대로 나열하면 다음과 같다.

• (EPUB 문서가 없을 경우) 문서를 HTML로 변환하여, Sigil로 불러들인다.
• 저자(Author), 제목(Title)을 비롯한 자세한 사항을 입력한다.
• 표지 그림을 추가한다.
• 목차(Table of Contents)를 생성한다.
• 생성한 이북이 EPUB 표준에 적합한지 검증한다.
• Sigil에서 형태 등 모든 것을 테스트한다.
• 실제 이북 리더에서 테스트한다. - 어떤 리더에서는 작동되지만, 다른 리더에서는 작동되지 않는 경우가 있다.

EPUB 이란?

EPUB 이북을 생성하고 싶다면, 먼저 EPUB이 무엇이고, Sigil을 사용하면 무엇이 좋은지 알아보는 것이 좋을 것이다.

EPUB은 책을 표시하기 위한 표준 파일 포맷이며, Sigil은 EPUB을 생성하는데 사용되는 프로그램이다. Sigil를 사용하면 여러분이 워드프로세서로 생성한 책을 읽어들여, 표준 EPUB 파일로 변환할 수 있다. 이렇게 간행된 파일은 이북 리더에서 읽을 수 있다. 또한 기존의 EPUB 파일을 정리하거나 포맷을 바꾸는데도 사용할 수 있다.

EPUB 파일을 얼마나 깨끗하게 정리할 지는 자신에게 달려있다. 그냥 이북의 포맷만 맞추는 정도라면 Sigil을 사용해서 금방 이북 리더용으로 변환할 수 있다. 하지만, 출판을 위해 포맷을 정리할 경우라면, Sigil을 사용해 이북에 필요한 모든 자세한 사항을 쉽게 변경할 수 있다.

일반적인 워드프로세서의 문서를 편집할 경우, 대부분 파일이 1개일 것이다. 이 파일에는 문서에 관한 모든 정보가 포함된다. 하지만, EPUB은 약간다르다. 1개의 파일에 모든 정보를 담는 대신, 각 장, 이미지, 목차 등 문서를 구성하는 각각의 부분을 별도의 파일로 저장한다. 하지만, 이처럼 여러개의 파일을 다른 사람과 공유하기는 쉽지 않으므로, 실제로는 확장자가 .epub인 하나의 압축 zip 파일로 저장한다. 즉, EPUB 파일은 여러분의 책을 구성하는 모든 파일을 포함하는 zip 파일일 뿐이다.

Sigil은 EPUB 파일을 열고 생성할 수 있으며, EPUB에 포함된 모든 파일(본문, 목차 등)을 편집하고, 재배열하고 형태를 바꿀 수 있다.

자신의 문서를 Sigil에 복사하거나 불러들이면, EPUB 파일의 일부가 된다. 책을 Sigil에 저장하면, 문서는 EPUB 파일로 저장된다.

참고로, Sigil은 예전 EPUB 2 표준 또는 새로운 EPUB 3 표준 모두를 지원하도록 설계되어 있다. 오래된 이북 리더들은 EPUB 2 만 지원하지만, 새로운 EPUB 3 버전에 Guide와 NCX만을 추가하고 EPUB 2 기능에는 제한함으로써, EPUB 3는 완전한 하위 호환성을 갖는 EPUB 3 파일을 생성함으로써, 모는 이북 리더에서 잘 작동할 수 있다.

EPUB 3 이북은 오른쪽방향(Left-To_Right) 및 왼쪽방향(Right-To_Left) 문서를 지원하며, 오디오, 비디오, 내 외부 자원 등을 지원할 뿐 만 아니라, 멀티미디어 오버레이, Themantic role labelling, 대화식 기능을 위하여 일부 javascript까지 지원 함으로써 더 나은 접근성을 지원한다.

파일 준비

이미 EPUB 파일이나 HTML 파일이 있다면, 혹은 Sigil 에서 문서를 직접 만들 예정이라면 이 단계를 건너 뛰어도 된다.

워드 프로세서로 생성한 문서를 사용해 EPUB 문서를 만들 경우, 가장 먼저 해야할 일은 자신의 문서를 HTML로 변환하여 Sigil로 읽어 들이는 것이다. 일부 프로그램에서는 문서를 EPUB 파일로 생성할 수 있다. HTML 출력을 정리하는 기능이 있는 애드온이 있는 프로그램도 있다. HTML을 사용할지, EPUB을 사용할지 (혹은 일반 Text를 사용할지)는 자신의 프로그램에 달려있다. 여러가지 방법을 테스트해봐서 가장 최적의 방법을 찾아야 한다.

Sigil은 이러한 변환과는 관련이 없지만, 파일을 Sigil로 변환할 때 필요한 조언을 나열한다.

워드 문서

MS Word 에서 File->Save As Filtered HTML 메뉴를 사용하라 아니면 MS Word Macro @MobileRead를 사용하라.

이 두가지 모두 MS Word에서 HTML로 내보낼 때 발생하는 추가 코드의 양을 줄이는 것으로, 여러분의 HTML 파일을 Sigil 에서 편집할 때 더 깨끗하고 간단해 진다. MS Word는 (별로 필요하지 않아 언젠가는 지우고 싶어할) 여분의 코드를 엄청나게 많이 추가하므로, 가능한한 코드를 깨끗하게 만들 필요가 있다. Word 또는 어떤 다른 워드 프로세서를 사용하더라도, 일부분을 강조하거나 큰 폰트를 사용하는 등 따로따로 편집하는 것이 아니라, 스타일을 사용해야 한다. EPUB에서도 스타일이 매우 중요한 개념이기 때문이다.

인터넷에는 MS Word 파일을 EPUB 포맷으로 변환해주는 사이트가 많다. 아래는 몇몇 예시이다.

• https://www.epubble.com/word-to-epub-tutorial/
• https://justpublishingadvice.com/how-to-convert-word-to-epub/

Microsoft 와 Apple용으로 제작된 무료 앱도 많다.

• 윈도 : https://www.microsoft.com/ko-kr/p/word-to-epub-converter/9nr7rm5fv3sx?activetab=pivot:overviewtab
• 애플 iOS : https://apps.apple.com/us/app/the-document-converter/id1081041948?mt=12

LIBREOFFICE ODF/ODT

LibreOffice 앱은 MS Word와 마찬가지로 ODT 파일을 html로 저장하는 기능이 있다. File->Save a Copy(단, 필터를 HTML Document (Writer) (.html)로 설정) 또는 File->Exprot(단, 필터를 XHTML(.html, .xhtmml)로 설정)

EPUB 용으로 사용할 경우, Save a Copy 명령을 사용하는 것이 좋다. Export 명령보다 깨끗한 결과물을 만들어 내며, 문서 형태를 위한 데이터가 적기 때문이다. Save a Copy 명령은 또한 이미지를 링크로 만들지만, Export는 이미지 데이터를 파일내에 포함(embed)시키기 때문이다.

특별히 EPUB과 관련된 정보는 존재하지 않지만, LibreOffice 온라인 문서는 여기를 참고하라.

DOCXIMPORT 플러그인

MS Word 파일에서 직접 EPUB 문서를 생성하려면, DiapDealer에서 개발한 DOCXImport 플로그인을 사용할 수 있다. 이 플러그인을 추가하면, 어떤 docx 문서를 html로 Sigil에 내보낼 수 있다. DOCXImport 플러그인 매뉴얼을 참고하라. (플러그인 설치는 Manage Plugin 장을 참고하라)

이 플러그인을 실행하려면, Plugins->Input->DOCXImport 메뉴를 클릭하면 된다.

파일을 선택하기 전, EPUB의 버전을 선택하거나, 자체 Style Map 혹은 StyleSheet를 사용할지를 선택할 수 있다.

그 다음 "DOCX File to import"을 클릭하고 변환하고자 하는 DOCX 파일을 선택한다.

현재 작업내용이 대체된다는 경고가 나타난다.

이제 파일이 변환되고 Sigil에서 편집할 수 있다.

텍스트 파일

텍스트 파일은 특별히 HTML로 변환할 필요가 없다. Sigil은 .txt 파일을 직접 열 수 있기 때문이다.

텍스트 파일은 EPUB으로 변환하기 좋지 않지만, 불필요한 HTML 태그가 잔뜩붙어 있는 포맷보다는 더 낫다. 특히 다른 포맷을 사용할 때 많은 문제가 있었다면 텍스트 파일이 편할 수 있다. 깨끗한 문서에 스타일을 추가하는 것이, 변환된 파일을 정리하는 것보다 빠를 수 있다.

기타 포맷

LibreOffice를 비롯한 기타 수많은 워드프로세서들도 HTML로 저장하거나 내보내는 기능이 있으며, 심지어는 EPUB으로 저장하는 기능이 있는 경우도 있다. MS Word와 마찬가지로 인터넷에서 다양한 정보를 찾을 수 있을 것이다.

Calibre와 같은 소프트웨어를 사용하면 다른 포맷도 HTML이나 EPUB으로 저장할 수 있다. Calibre의 경우, 대부분의 이북 포맷을 처리할 수 있고 많은 플랫폼상에서 동작하며 이북 라이브러리가 내장되어 있다. 아울러 Pandoc의 경우, 문서 변환 전용 어플리케이션으로서, EPUB2, EPUB3, docx, odt, 기타 다양한 Markdown 변종을 포함한 엄청나게 많은 문서 포맷을 지원한다. Pandoc은 무료, 오픈소스, 다중 플랫폼 앱으로서, Haskell(GHC)로 작성되어 있다.

참고로, 자동으로 파일을 변환하면, 필요 없는 코드들이 많이 추가된다. 개인적인 목적으로 변환할 경우에는 크게 문제가 되지 않지만, 전문적인 목적으로 변환하거나, EPUB에 쓸데 없는 코드를 가능한 한 줄이려면  자동 변환을 하지 않는 것이 좋다.

Sigil로 파일 열기

HTML 또는 EPUB 파일이 준비되었다면, Sigil로 불러와야한다. EPUB 파일이 있을 경우에도 여기에 있는 내용을 따라하면 Sigil에 대해 빠르게 파악할 수 있을 것이다.

Sigil 시작

Sigil을 시작하면 아래와 같이 여러개의 윈도로 구성된 스크린이 나타난다.

왼쪽 "Book Browser"윈도에는 EPUB에 포함된 모든 파일이 나타나고, 가운데에는 현재 선택된 파일의 코드를 수정할 수 있다.

아래는 EPUB 파일을 읽어 들였을 때의 모습이다.

Book Browser 윈도에 있는 파일명을 더블 클릭하면 이 파일이 열린다.

파일 불러오기

Sigil에 HTML이나 EPUB 문서를 불러오려면, 아래 아이콘을 클릭하거나, File->Open (Cntl+O)를 선택한다.

그 다음 파일 매니저에서 원하는 파일(예: testbook.html)을 선택한다. 그러면 해당 파일이 "Book Brower" 윈도내의 "Text" 폴더 내로 들어가고, 가운데 있는 Code View 윈도에 그 파일이 열린다. 

이제 HTML 파일이 EPUB 파일의 일부가 된다. 즉, 이제부터의 편집은 HTML 파일 자체가 아니라, EPUB 문서를 편집하게 되는 것이다. 아울러 Sigil에서 파일을 열면 "Book Browser" 윈도내에서 볼 수 있는 것처럼, EPUB 포맷에 필요한 여러가지 다른 파일들이 추가로 생성된다.

EPUB 파일 저장하기

파일을 Sigil에 불러들였으면, 먼저 저장하는 것이 좋다.

파일을 불러들인 후에는 (HTML 파일을 읽어 들였을 때에도) EPUB 포맷이 되므로, Sigil에서 저장하면 EPUB 포맷의 파일로 저장된다. (필수 정보가 빠져있을 경우에도 EPUB으로 저장됨)

파일을 저장하려면 아래의 아이콘이나, File->Save(Cntl+S)를 선택하면 된다.  (File->Save As, File->Save A Copy 명령을 사용하는 방법도 있다.)

HTML 파일을 읽어 들였을 경우에는 파일명이 지정되지 않았으므로, 파일명을 입력하는 다이얼로그가 나타난다. 확장자는 .epub으로 지정된다.

이제 여러분의 파일은 EPUB 포맷이 되었다. 하지만, 추가 정보를 입력해야 한다.

저자(Author)와 제목(Title) 입력

이북의 실제 내용과 더불어, EPUB에는 제목, 저자 등과 같은 상세 정보를 포함한다. 이러한 정보는 Sigil에서 입력할 수 있다.

이북의 상세정보(메타데이터 라고 함)를 입력하려면, 아래의 메타데이터 아이콘을 누르거나, 메뉴에서 Tools->Metadata Editor를 선택한다.

다음과 같이 메타데이터 창이 나타난다.

EPUB에서 필수적인 정보는 제목(Title), 저자(Author), 및 언어(Language)이다. 기본적으로 메타데이터 에디터는 위 그림과 같이 언어와 제목 필드를 포함한다.

언어를 바꾸러면 Language 행에서 값(Value)열 (현재 English로 되어 있는 부분)을 더블클릭한다. 드롭다운이 나타나면 원하는 언어를 선택하면 된다.

제목(Title) 행의 값(Value) 열을 더블클릭하면 해당 필드를 편집할 수 있다. 아래의 예에서는 책의 제목을 "Alice in Wonderland"로 입력하였다.

저자를 입력하려면, 먼저 우측의 메타데이터 추가(Add Metadata) 버튼을 누르고 목록에서 저자(Author)를 선택한다.

그러면 아래와 같이 창작자(Creator) 필드가 추가된다. 이 필드에 저자인 Lewis Carroll을 입력한다.

다음으로 창작자의 구체적인 역할을 입력한다. Role 행의 [Place value here] 를 더블클릭하면 목록이 나오는데, 여기에서 저자(Author)를 선택한다.

Creator 아이템에 File-As 속성을 추가한다. 이는 선택사항으로서, 저자명을 정렬하는 방식을 지정한다. 우측의 속성 추가(Add Property)를 클릭하고 File-As 속성을 선택한다.

새로 추가된 File-As 속성에 Carroll, Lewis를 입력한다.

이제까지 입력한 메타데이터의 결과는 아래와 같다.

정보 입력이 끝났으니 OK 버튼을 누르고, EPUB 파일을 다시 저장한다.

표지 이미지 추가

모든 이북에는 표지가 있는 게 좋다. Sigil을 이용하면 쉽게 표지를 추가할 수 있다. 먼저 표지에 사용할 이미지(그리고 필요한 허가)가 필요하다. 이미지의 크기는 마음대로이지만, 아래는 일반적으로 참고할 만한 크기이다.

• 킨들 다이렉트 출판 – 2,560px × 1,600px (1.6:1 비율)
• 소설과 논픽션 – 2,560px × 1,600px (1.5:1 비율)
• 그림 책 – 2,800px × 3,920px (1.4:1 비율) 또는 3,000px × 3,600px (1.2:1 비율)
• 오디오 북 – 3,200px × 3,200px (1:1 비율)

출판사와 협의하여 목표로하는 기기가 어떤 것인지, 종이책 크기는 어떤지 등에 협의하는 것이 좋다.

표지 이미지를 추가하려면 도구->표지 추가(Tools->Add Cover) 를 선택한다. 그러면 아래와 같은 윈도가 나타난다.

이 윈도에는 이미 추가되어 있는 이미지들이 나타나지만, 현재는 아무 이미지도 없어서 빈 화면만 나타난 것이다. 이 화면에서 "기타 파일(Other Files)" 버튼을 누르면, EPUB 파일에 이미지를 추가하면서 바로 표지로 지정할 수 있다.

파일매니저 윈도에서 원하는 이미지를 선택하고 OK를 누른다. 그러면 Sigil은 해당 이미지를 EPUB에 추가한 후, 표지 이미지로 지정한다. 아울러 책 맨 앞에 html 파일을 생성하고, 표지 이미지를 삽입한다.

그 결과 "책 찾아보기(Book Browser)" 목차의 Text 폴더에  cover.xhtml 파일이 추가되며, Images 폴더에 cover.img 이미지가 추가된다. 

작업이 완료되면 다시 저장(Save) 아이콘을 눌러준다.

장(Chapter) 생성

일반적으로 HTML 파일을 불러들이면, 모든 텍스트와 장이 하나의 파일로 들어가게 된다. 이것도 물론 허용되지만, EPUB에서는 각장을 별도의 파일로 넣는 것이 일반적이다. 기기에 따라서는 파일 크기의 제한이 있을 수 있으며, 파일이 작으면 표시도 빨라지고 편집도 쉬워진다.

장당 하나의 파일 생성하기

파일을 분리하는 가장 쉬운 방법은 새로 파일을 생성하고자 하는 곳에 커서를 둔 뒤, 아래의 아이콘 (커서위치에서 나누기(Split At Cursor))버튼을 누르는 것이다.

예를 들어 새로운 페이지에서 장을 분리하려는 경우, 장 제목 맨왼쪽, 해당 줄의 맨 앞에 커서를 클릭한다.

그 다음 "커서위치에서 나누기(Split At Cursor)" 아이콘을 클릭하면 텍스트가 두 부분으로 분리된다. 이제 커서가 있던 지점 이후의 모든 내용이 Section0001.xhtml이라는 새로운 파일로 분리됨을 알 수 있다.

이상과 같은 작업을 반복하면, 어떤 부분도 새로운 파일로 저장되고, 새로운 페이지가 되도록 설정된다.

파일 이름을 바꾸러면 "Rename" 절을 참고하라. 이 절에는 Chapter_1, Chapter_2와 같이 여러개의 파일을 한꺼번에 이름을 변경하는 방법도 있다. 

장(Chapter) 식별하기

EPUB은 독자들이 이북의 전체적인 구조를 파악하기 쉽도록 목차(TOC, Table of Contents)를 제공할 수 있다. Sigil은 여러분의 이북에서 자동으로 목차를 추출해서 생성하고 표시한다. 

Sigil에서 목차(Table of Contents) 맨 오른쪽 윈도에 별도로 표시된다.

장(Chapter) 표시하기

목차를 생성하려면, 어떤 것이 장의 이름인지 알려주어야 한다. 그냥 각각의 장들 제목을 선택한 후, 툴바 버튼을 이용해 장 heading임을 표시하면 된다.

장 이름중에서 어떤 곳이든 클릭한다. 그 다음 h1 을 누르면 가장 높은 수준의 장으로 표시된다.

이를 반복하면 나머지 부분도 장으로 표시할 수 있다.

h2, h3 등의 다른 헤딩 레벨을 사용하면 하위 장을 생성할 수 있다. 장 제목으로 설정된 부분을 다시 일반 텍스트로 돌리려면 단락 버튼을 누르면 된다.

목차 생성하기

Sigil에서 목차를 생성하려면 이전 절에서 설명한 방식으로 입력된 장 이름이 식별되어 있어야 한다. 모든 장의 heading을 표시했다면, 목차 생성 아이콘 또는 Tools->Table of Contents->Generate Table of Contents를 선택한다. 그러면 아래와 같은 다이얼로그가 뜬다.

이 다이얼로그를 이용하면 어떠한 heading을 목차에 포함시킬 것인지 결정할 수 있다. 

결정이 끝나면 OK 버튼을 누른다. 목차(Table of Contents) 윈도가 갱신되고 목차가 나타나게 된다. 

목차에서 클릭을 하면 그 지점으로 옮겨가게 된다. 표제(heading)을 수정하면 다시 목차를 갱신해야 한다. 완료되면 다시 저장한다.

링크와 노트 추가하기

Sigil을 사용하면 텍스트를 다른 부분(장 이름 혹은 노트 등)에 쉽게 링크할 수 있다. 이를 통해 독자들은 링크를 사용해 식별된 텍스트로 즉시 접근할 수 있다.

IDs

Sigil에서 링크를 만들기 위해서는 먼저 링크가 가고자 하는 텍스트에 ID(유일한 명칭)을 생성해야 한다. 다만, 링크 대상이 이북 맨 처음일 경우에는, 새로운 아이디를 만들 필요없이 파일명을 대상 ID로 사용하면 된다. 

 ID 생성

ID를 생성하려면, 먼저 원하는 부분을 선택한 후, 아래의 ID 추가(Insert ID) 아이콘을 클릭하거나, Insert->ID 명령을 선택하면 된다.

그러면 다음과 같이 ID 다이얼로그가 나타나며, 여기에 이름을 입력한다.

링크

링크는 ID 를 가리키는 방법이다. 독자가 ID를 클릭하면 ID가 있는 위치로 이동된다. Sigil에서 링크를 생성하려면, 원하는 부분을 선택한 후, 링크 추가(Insert Link) 아이콘을 누르거나, Insert->Link를 선택하면 된다.

그러면 대상을 선택하라는 다이얼로그가 뜨며, 윈도에 기 입력한 ID가 나열된다. 

나열되어 있는 ID는 여러분이 입력한 것과 다르게 보인다. 이를 이해하기 위해서는 ID가 어떤 형태로 표현되는지 이해할 필요가 있다.

• Filename.html : 이는 링크 대상을 파일명으로 지정하는 것으로서, 이를 클릭하면 해당 파일의 맨 꼭대기로 이동된다. 목차(Table of Contents)는 이를 이용하여 생성하는 것이다.
• Filename.html#name1 : 어떤 파일에 포함된 특정 ID를 가리킨다. 이러한 방식의 아이디를 링크 대상으로 사용하면, 해당 파일속에 포함된 ID로 정확히 이동된다.
• #ID1 : 그냥 ID만을 사용할 경우, 해당 ID가 링크와 동일한 파일 내에 존재한다고 간주한다.

새로 만든 링크를 클릭해보면 ID가 있는 곳으로 이동된다. 뒤로(Back)버튼을 누르면 링크가 있는 곳으로 되돌아 갈 수 있다.

역 링크

대부분의 이북에는 뒤로(Back)버튼을 사용해 원래 링크된 텍스트로 되돌아갈 수 있다. 하지만, 뒤로(Back)버튼이 없는 이북을 고려하여 원래의 위치로 되돌아갈 수 있는 링크를 생성할 수 있다. 이를 역 링크(Reverse Linking)라고 한다.

역 링크도 일반 링크와 다르지 않다.; 즉, 출발지에서 목적지로 가는 ID와 링크를 만들고, 반대쪽으로 목적지에서 출발지로 가는 ID와 링크를 만들어야 한다는 뜻이다. 결국 원래의 텍스트와 대상 텍스트에 각각 ID와 링크를 생성해야 한다. 

예를 들어 책의 맨뒤에 역링크 노트를 추가하려면 다음과 같이 수행한다.

• 책 맨뒤에 원하는 노트를 선택하고 ID(예 note1)를 부여한다.
• 연결시킬 이북 텍스트를 선택하고 ID(예 text1)를 부여한다.
• 동일한 선택 텍스트에 대해, 노트의 ID에 대한 링크를 생성한다.
• 마지막으로 해당 링크로 이동하여, 마지막 노트에 대해 text1에 대한 링크를 생성한다.
• 이제 링크를 클릭하면 원래의 텍스트로 되돌아간다.

Lec 08-1 딥러닝의 기본 개념 : 시작과 XOR 문제

https://www.youtube.com/watch?v=n7DNueHGkqE

• 인간의 궁극적 목적 : 대신 생각해주는 기계

• Matmul 과 multiply는 완전히 다른 개념. 주의할 것
• 그냥 곱을 할 경우, broadcasting이 적용됨.
• Broadcasting
• shape가 다른 행렬에도 4칙연산이 가능하도록 확장시켜주는 것
• 편리하지만, 잘못된 연산이 발생할 우려가 있음.

• Reduce mean

• Reduce sum

• Argmax

• Reshape ***

• Reshape(squeeze, expand)

• One hot

• Type Casting 

• Stack

• Ones and Zeros like

• Zip

Lec 07-1 학습 rate, Overfitting, 일반화(Regularization)

https://www.youtube.com/watch?v=1jPjVoDV_uo

• Learning_rate : 이제까지는 임의의 값을 사용했음
• 이 값을 크게 할 경우, 진동하거나 발산(overshooting)할 수 있음.
• 아주 작은 값을 사용할 경우, 시간이 너무 많이 걸리고, local minimum에서 정지
• 어떤 값이 좋은가는 특별한 법칙은 없다. 0.01로 시작하고, 나오는 cost 값에 따라서 줄이거나 늘리는 방법을 사용하면 된다.

• Data(X)의 전처리. (Gradient descent용)
• 아래와 같이 x1, x2의 범위가 차이가 크면, 왜곡된 형태가 되어 데이터 처리가 힘들 수 있다.

• 이 경우, 아래와 같이 중심을 원점에 일치시키거나(zero-centered), 각변수가 차지하는 범위가 비슷하도록(normalize) 해준다.
  

• 표준화(Standardization) 방법

$$ x_j^\prime = \frac{x_j - \mu_j}{\sigma_j} $$

• python code : X_std[:,0] = (X[:,0] -X[:,0].mean() / X[:,0].std()

• Overfitting
• 학습데이터에는 정말 잘 맞지만, 실제 데이터로는 잘 안맞는 경우. 예를 들어 아래그림에서 모델2는 학습데이터에서는 100%이지만 실 데이터에서는 문제가 생길 수도 있음.

• Overfitting을 줄이는 방법 
• 학습데이터를 늘려라
• feature의 수를 줄여라
• Regularization (일반화)
• Weight를 큰 숫자를 사용하지 말라 (구부리지 말라.) 아래와 같이 Cost function 에 $ \lambda \sum W^2 $를 추가하여 Weight 항이 작아질 수록 Cost가 작아지도록 하는 방법을 사용한다. 이때, $ \lambda $ 는 Regularization Strenth라고 하여, 작은 값을 사용하면 일반화를 중요하지 않게 생각한다는 의미이다.

• l2reg = 0.001 * tf.reduce_sum(tf.square(W) 를 cost 함수에 추가한다

Lec 07-2 Training/Testing 데이터셋

https://www.youtube.com/watch?v=KVv1nMSlPzY

• 머신러닝의 성능 평가방법
• training set을 사용하여 평가하는 방법? - 거의 100%에 가까울 것임.
• 70%를 training set으로 하여 학습하여 모델을 만들고, 남은 30%를(test set) 사용하여 평가해야
• 경우에 따라선 데이터셋을 Training/Validation/Testing 세트로 구분하여 사용.
• Validation set는 $\alpha, \lambda $를 평가하는 데 사용

• Online Learning : training set가 너무 많아서 한꺼번에 처리할 수 없을 때.
  
• 큰 데이터를 일정갯수로 잘라서 학습시킴. 
• 나중에 새로운 데이터가 추가되더라고 갱신만 하면 되는 잇점.

• 정확도 측정
• 실제 $Y$ 값과, $ \bar Y$ 를 비교
• 이미지 인식 분야는 95%-99% 수준에 달함.

Lab 07-1 training/test dataset, learning rate, normalization

https://www.youtube.com/watch?v=oSJfejG2C3w

• 소스코드 : https://github.com/hunkim/DeepLearningZeroToAl

Learning_rate의 문제. 

• 위의 프로그램에서 learning_rate를 1.5로 주면 발산한다.
  
• 위의 프로그램에서 learning rate를 1e-10으로주면 정지한다.

Non_normalized inputs

• 아래 그림에서, xy의 3열은 다른 열에 비해 100배 이상이다. 이로 인해, 분포가 그 아래에 있는 것처럼 한쪽만 짜부라든 모양이된다.
  
• 이러한 데이터를 그냥 돌려보면, 모델 학습이 안될 가능성이 높다. 밖으로 튀어나가기 십상이기 때문에

Normalized  inputs

• 아래와 같이 MinMaxScaler 등을 이용해서 정규화시키면 분포가 일정해져서 결과가 잘 나온다.

Lab 07-2 Meet MNIST Dataset

https://www.youtube.com/watch?v=ktd5yrki_KA

• 소스코드 : https://github.com/hunkim/DeepLearningZeroToAll

• MNIST 데이터셋이란 - 우편번호 자동 처리를 위해 만들어 놓은 손글씨 모음 데이터셋

• 28*28 =784 픽셀. 

실행결과

Epoch :  0001 cost = 2.890159705
Epoch :  0002 cost = 1.087193211
Epoch :  0003 cost = 0.857237154
Epoch :  0004 cost = 0.751001975
----
Epoch :  0014 cost = 0.475028615
Epoch :  0015 cost = 0.465113584
Accuracy:  0.8902

Lec 6-1 Softmax Regression 기본개념

https://www.youtube.com/watch?v=MFAnsx1y9ZI

• 복습
• H(x) = WX 와 같이 Linear Regression으로부터 출발한다. 그러나, 이런 $WX$ 형태의 단점은, 출력이 $-\infty \lt H_L(x) \lt~\infty$ 이므로, 0이냐 1이냐를 고르는 문제에서는 적합하지 않다.
• 그래서 $z = H_L (X)$라고 놓고, 이 값을 0부터 1로 압축할 수 있는 $g(z)$ 함수를 사용하여 해결한다. 

• 이제 $\bar{Y_A}$ $\bar{Y_B}$ $\bar{Y_C}$ 에 각각 sigmoid 함수를 적용하면 되지만...

Lec 6-2 Softmax Classifier의 cost 함수

https://www.youtube.com/watch?v=jMU9G5WEtBc

• Logistic Classifier를 사용하면, 출력이 $ {\begin{bmatrix} 2.0 & 1.0 & 0.1 \end{bmatrix}}^T $ 와 같은 형태가 되는데, 이것보다 $ 0 \lt \bar{y} \lt 1 $ 이고, 그 값의 합이 1이 되는 (확률처럼) 되는 것이 좋다. 이것이 Softmax 함수이다.

• Softmax 함수 : $$ S(y_i ) = \frac {e^{y_i}}{\displaystyle \sum_{j}^{} e^{y_j}} $$
• 적용방법 : $ \bar y $에 소프트맥스를 적용한 $ S(y) $ 하면 확률이 되는데, 여기에 "One-Hot encoding"을 적용하여 (Tensorflow에서는 argmax) 하나를 선택한다. 

• Cost 함수...는 Cross-Entropy 함수 : $ \displaystyle - \sum_{i} L_i \log(S_i ) $를 사용함.
  

• 이 함수가 적절한 함수인가? $\displaystyle  -\sum_{i} L_i \log(S_i ) = \sum_{i} (L_i ) * ( -\log (\bar {y_i}) ) $ 에서 맨 오른쪽은 예전에 본 것처럼, $\bar {y_i}$가 1일때는 0이 되고,  $\bar {y_i}$가 0이면 매우 큰수가 된다.
• 이야기를 간단하기 위해, $Y=L= (\begin{bmatrix} 0, 1 \end{bmatrix})^T $ 와 같이 A,B 둘중 어느것인지를 고르는 문제라고 하자. (이 경우엔 실측이 B임) 
•  $\bar{Y}= (\begin{bmatrix} 0, 1 \end{bmatrix})^T $ 로 예측된 경우(예측이 맞음)
• $\begin{bmatrix} 0\\ 1 \end{bmatrix} \bigodot -\log \begin{bmatrix} 0\\ 1 \end{bmatrix} = \begin{bmatrix} 0\\ 1 \end{bmatrix} \bigodot \begin{bmatrix} \infty\\ 0 \end{bmatrix} = 0$ 이 된다. cost가 작으므로 OK.
•  $\bar{Y}= (\begin{bmatrix} 1, 0 \end{bmatrix})^T $ 로 예측된 경우(예측이 틀림)
• $\begin{bmatrix} 0\\ 1 \end{bmatrix} \bigodot -\log \begin{bmatrix} 1\\ 0 \end{bmatrix} = \begin{bmatrix} 0\\ 1 \end{bmatrix} \bigodot \begin{bmatrix} 0 \\ \infty \end{bmatrix} = \infty $ 이 된다. cost가 크므로 OK.
• $Y=L= (\begin{bmatrix} 1, 0 \end{bmatrix})^T $ 일 경우에도 마찬가지임. 

• Losistic의 cost 함수와 Cross-entropy 함수가 모양으로는 달라보이지만, 실제로는 동등함.

• 여러개의 training set이 있을 때 cost 함수는...전체의 거리를 구한뒤 합하여 평균하면 된다.

$$  L = {1 \over N} \displaystyle \sum_{i} D( S (W X_i + b) , L_i ) $$

• Gradient descent 를 사용함. (cost 함수가 concave 하므로) 미분 $ - \alpha \Delta L (w_i , w_w )$ 은 구하지 않는다.

Lab 06-1 TensorFlow로 Softmax Classification 구현하기

https://www.youtube.com/watch?v=VRnubDzIy3A

• 소스코드 : https://github.com/hunkim/DeepLearningZeroToAll
• Softmax를 Tensorflow로 구현하려면... tenforflow 함수인 softmax를 쓰면 됨. 

• Cost function 을 구현하려면..  $ Y \log( \bar Y ) $를 사용하면 됨.
  
• Cost 최소화는 동일.

Lab 06-2 TensorFlow로 Fancy Softmax Classification 구현하기

https://www.youtube.com/watch?v=E-io76NlsqA

• 소스코드 : https://github.com/hunkim/DeepLearningZeroToAll

• 복습 : Softmax 구현방법
• 다음과 같은 형태로 적용하였음
• hypothesis = tf.nn.softmax(tf.matmul(X, W) + b)
  cost = tf.reduce_mean(-tf.reduce_sum(Y* tf.log(hypothesis), axis =1))

• softmax_cross_entropy_with_logits 을 사용하는 방법
  
• cost = tf.reduce_mean(-tf.reduce_sum(Y* tf.log(hypothesis), axis =1)) 대신으로 간단하게 사용하여 깔끔하게 다음처럼 사용 (여기에서 Y는 one_hot이어야 함)
• logits = tf.matmul(X,W) +b       이라고 정의하고 이를 사용하여 처리함.
  hypothesis = tf.nn.softmax(logits)
  
  cost_i = tf.nn.softmax_cross_entropy_with_logits(logits = logits, labels = Y_one_hot)
  cost = tf.reduce_mean(cost_i)
  
• 예제 : 동물의 분류
• 표에서 마지막 열은 분류(0-6), 나머지는 특성(다리의 수, 털의 여부, 알을 낳는지 여부 등등..)

• 읽어보는 방법은 동일
• xy = np.loadtxt('data-04-zoo.csv', delimiter=',', dtype=np.float32)
  x_data = xy[:, 0:-1]
  y_data = xy[:, {-1]]
• Y data에 대해서 알아보기
• Y= tf.placeholder("tf.int32", [None, 1])    # Y의 column 수는 1임. 그런데, 파일에서 읽은 데이터는 $ {\begin{bmatrix} 0, 3, 0, 0, ..., 5 \end{bmatrix}}^T $ 으로서, 우리가 원하는 one_hot 데이터가 아님.
• Y_one_hot = tf.one_hot(Y, nb_classes)     # nb_classes=7 (0부터 6까지). 그런데 이렇게 실행시키면 에러가 발생. tf.one_hot은 입력의 rank가 N 이면, 출력의 rank가 N+1이 된다. 
• 예를 들어 data가  $ \begin{bmatrix} 0, 3 \end{bmatrix} $ 이라고 하면(shape는 none,1) ...  one_hot의 출력은  $ \begin{bmatrix} \begin{bmatrix} \begin{bmatrix} 1 0 0 0 0 0 0 \end{bmatrix} \end{bmatrix} \begin{bmatrix} \begin{bmatrix} 0 0 0 1 0 0 0 \end{bmatrix} \end{bmatrix} \end{bmatrix} $ (Shape는 [none, 1, 7]) 이 된다. 
• 그래서 reshape를 통해 Shape가 [none, 7]인 형태, 즉, $ \begin{bmatrix} \begin{bmatrix} 1 0 0 0 0 0 0 \end{bmatrix} \begin{bmatrix} 0 0 0 1 0 0 0 \end{bmatrix} \end{bmatrix} $ 로 바꿔주어야 한다.
• Y_one_hot = tf.reshape(Y_one_hot, [-1, nb_classes])

Lec 05-1 - Logistic Classification의 가설함수 정의

https://www.youtube.com/watch?v=PIjno6paszY

• Neural network과 관계가 깊음.
• Binary Classification은 두가지 범주로 나누는 것 -> 0, 1 encoding
• Spam or Ham
• Show or Hide
• 주식 Buy/Sell

• Linear Regression으로 가능한가?
• 예를 들어 0.5 정도 이하면 Fail로 두면 될텐데, 50과 같은 값으로 인해, (대칭이 이루어지지 않아) 합격/불합격 선이 바뀌게 될 수 있다.
• 또한 출력이 0 이하나 1 이상으로 나올 수 있다.... 별로 좋지 않다.

• 그래서 Logistic Hypothesis 가 필요. (출력 범위가 0에서 1까지)
• 아래와 같은 logistic(sigmod) 함수를 사용하면 됨.
• $$ g(z) = \frac{1}{\left(1+e^{-z} \right)} $$
• 어떠한 z에 대해서도 0 < g(z) <1 가되는 특성이 있음.

Lec 5-2 Logistic Regression의 cost 함수

https://www.youtube.com/watch?v=6vzchGYEJBc

• 이 Sigmoid 함수에 대한 cost 함수는 오른쪽과 같이 local 극소점이 많은, 울퉁불퉁한 형태이다.
• $$ cost(W,b) = {1 \over m} \sum_{i=1}^m \left( H ( x^{(i)} ) - y^{(i)} \right)^2$$
• 따라서, 이러한 cost 함수를 사용할 수 없다.

• cost 함수는... 실제값과 예측값이 같으면 cost값이 작아지고, 다르면 cost가 커져야 한다. 그래서 다음과 같은 cost 함수를 사용한다.

$$\begin{matrix}cost(W) = {1 \over m} \sum c(H(x), y) \\
   (H(x), y) = \begin{cases} -log(H(x) &: y=1\\ -log(1-H(x)) &: y=0 \end{cases} \end{matrix} $$

• 이 cost 함수는 다음과 같은 특성이 있다. 
  
• y=1 이고, H(x)=1 일때... 즉 예측이 맞으면 cost(1) => 0
  
• y=1 이고, H(x)= 0 이면...즉 예측이 틀리면 cost(0) => 엄청커짐.
• y=0 이고, H(x)=0 이면... 즉 예측이 맞으면 cost(0) => 0
• y=1 이고, H(x)=1 이면... 즉 예측이 틀리면 cost(0) => 엄청커짐.
• 이 cost 함수도 오목한 형태여서, GradientDescent 알고리듬을 적용할 수 있다.

• 결론 : cost 함수는 아래와 같다.
• 맨 아래식에서 y=1 이면 앞의 항만 남고, y=0 이면 위의 항만 남아서 결론적으로 중간에 있는 식과 동일해진다.

$$ \begin{matrix} cost(W) &=& {1 \over m} \sum c(H(x), y) \\
C(H(x), y) &=& {\begin{cases} -log(H(x)) &: y=1\\ -log(1-H(x)) &: y=0\end{cases}} \\
C(H(x), y) &=& -y log(H(x)) - (1-y) log (1-H(x)) \end{matrix}$$

• Gradient descent algorithm 적용
• 미분이 필요하지만 생략. 아래와 같이 적용만 하면 됨.

Lab 05 : TensorFlow로 Logistic Classification을 구현하기

https://www.youtube.com/watch?v=2FeWGgnyLSw

• 소스코드 : https://github.com/hunkim/DeepLearningZeroToAll
• 복습 : Logistic Classification의 Hypothesis, Cost Function

$$\begin{matrix} Hypothesis &:& H(x) = \frac{1}{1+e^{-W^T X}} \\
Cost &:& - cost(W) = {1 \over m} \sum \left[ y log (H(x)) + (1-y) (log (1- H(x)) \right] \\
Gradient &:& W := W - \alpha {\partial \over {\partial W}} cost (W) \end{matrix}$$

예제 돌려보기.

파일에서 불러올 때

data-03-diabetes.csv

더 많은 데이터로 테스트 하고 싶을 경우, https://www.kaggle.com 을 가볼 것.

Lec 04 - 다변수(Multi-variable) Linear Regression

https://www.youtube.com/watch?v=kPxpJY6fRkY

• 복습
• 선형 회귀분석을 위해서는 1) 가설(Hypothesis)를 세우고, 2) 비용(Cost/Loss) 함수를 만든 뒤, 3) Gradient descent 알고리듬을 적용한다.
• 비용함수를 결정하고, 이를 최소로 줄이는 W, b를 찾는 것이 학습을 시키는 과정이다.
• 단변수 회귀분석에서는, X=[x1, x2, .... , xn],  Y=[y1, y2, ... , yn] 의 형태가 됨.
• 다변수 회귀분석은
• X=[[x11, x12, .... , x1m],[x21, x22, .... , x2m], ..., [xn1, xn2, .... , xnm]], Y=[y1, y2, ... , yn] 형태가 됨.

• 가설(Hypothesis)의 행렬 표현
  

• Instance 가 여러개 있을 경우에도 행렬 표현은 동일
  

Lab 04-1 다변수 Linear Regression

https://www.youtube.com/watch?v=fZUV3xjoZSM

• 테스트 소스코드가 있는 곳 : https://github.com/hunkim/DeepLearningZeroToAll

• 행렬을 사용하지 않을때의 코드

• 행렬을 사용할 때의 코드

Lab 4-2, 파일에서 데이터 불러오기

https://www.youtube.com/watch?v=o2q4QNnoShY

• 파일에 데이터를 작성하고 읽어서 처리.

• Queue Runners : 파일이 아주 커서 한꺼번에 돌리기 힘들 때 사용하는 방법
• A,B,C 와 같은 여러개의 파일을 읽어올 수 있다.
• 이 파일이름들을 Queue에 쌓는다.
• Reader 로 연결해서, 디코딩하여 Queue에 쌓는다.
• 이 Queue에서 부분씩 잘라내어 학습을 시킨다. 
• 이 과정은 Tensorflow가 책임을 진다.

• 사용법은 간단. 세가지 단계
  
1. 파일 이름들을 나열함으로써, filename_queue 를 만든다.
2. Reader를 연결한다.
3. 디코딩 한다. (여기에서는 csv 이므로... decode_csv. (default 값을 정해줌.

• 그다음에 배치로 넘겨줌
• x_data, y_data 대신에 x_batch, y_batch로 만들어 넘겨주고
• coord 있는 부분은 그냥 쓴다고 생각하면 됨.

data-01-test-score.csv

Lec 03 - Linear Regression 의 cost 최소화 알고리듬의 원리

https://www.youtube.com/watch?v=TxIVr-nk1so

• 복습 : 선형회귀분석 모델의 가설(Hypothesis)과 비용함수(Cost function)

• 설명을 위해 H(x) = W(x)로 두고 진행
• W=1 일때의 cost(W)는?
• cost(W) = 1/3( (1x1 -1)^2 + (1x2 - 2)^2 + (1x3 -3)^2 ) =0
• W=0 일때의 cost?
• cost(W) = 1/3( (0x1 -1)^2 + (0x2 -2)^2 + (0x3 -3)^2 ) = 1/3 (1+4+9) = 4.67
• W=2 일때... cost = 4.67... 많은 값에 대해 cost()의 그래프를 그리면

• 널리 사용되는 알고리듬이 Gradient descent 알고리듬. (경사를 따라 내려가는 알고리듬)
  
• cost 함수 최소화에 사용
• 많은 minimization 문제에서 사용됨
• 주어진 cost 함수 cost(W,b)에 대해, 이를 최소화시키는 W, b를 찾는 것.
• 비용함수의 변수가 많은 일반적 경우 cost(w1, w2, ... wn) 에도 적용할 수 있다.
• 이 알고리듬은 초기값이 무엇이든 수렴하는 장점이 있음.
• 기울기는 편미분으로 구함
• 즉, 한번 반복할 때마다, 아래와 같은 값으로 새로 바꿔 넣어줌. (여기에서 alpha 는 running rate)
• 아래 그림에서 맨 아래에 있는 것이 Gradient Descent Algorithm

• 비용함수가 아래와 같다면, 초기값에 따라 다른 해가 구해진다.
  

• 하지만, Linear Regression 의 경우, cost 함수가 convex 이기때문에 초기값에 관계없이 해를 구할 수 있다.
  

• Cost function을 설계할 때, convex 인지를 반드시 확인해야 한다. 확인할 수만 있다면 편하게 GDA를 사용할 수 있다.

Lab 03 - Linear Regression의 비용함수 최소화를 TensorFlow로 구현하기

• matplotlib 설치하기 -> http://matplotlib.org/users/installing.html 에서 확인.
• python -mpip install -U matplotlib 으로 설치하면 모든 dependency가 해결됨

• 이번에 사용한 Hypothesis
• $H(x) = W \cdot x \\
  cost(W) = {1 \over m} \sum_{i=1}^m (Wx^{(i)} - y^{(i)} )^2 $
• 먼저 cost 함수를 그려보자.

• 그 결과는 아래와 같음 W=1 일때 cost가 최소가 된다. 즉,"경사면따라 내려가기" 알고리듬을 적용하기 좋은 모양.

• Gradient Descent를 자세히 살펴보자.
• 수식 : $ W := W - \alpha {1 \over m} \sum_{i=1}^m ( W x^{(i)} - y^{(i)} ) x^{(i)} $

• 아래는 Gradient Descent를 수동으로 갱신시키는 방법임.
• learning_rate = 0.1 부터 4줄이 해당부분임.

위의 GradientDescent는 간단하게 미분가능하지만, 그렇지 않은 것들도 많다. 그냥 Optimizer를 사용하면 미분하지 않고서도 해결해준다. 즉, 아래는 위의 식과 동일

• Optional.... 계산된 Gradient를 "약간" 변경시킨 뒤 다시 적용시키는 방법...
• optimizer.compute_gradients()
  
• optimizer.apply_gradients()
• 오른쪽 결과에서 2,3 번째 값과, 네번째 값이 동일함을 알 수 있다.

Lec 02 - Linear Regression의 가설(Hypothesis)과 비용(cost) 설명

https://www.youtube.com/watch?v=Hax03rCn3UI

• 시험성적 예측 (supervised learning) 선형 회귀분석
• x(hours), y(score) ->[[10,90], [9,80], [3,50], [2,30]] 의 경우.
• regression 모델로 training 시킴
• 예
• (x,y) ->[[1,1], [2,2], [3,3]] 의 경우
• 가설(Hypothesis) : linear regression.
• 최적의 선을 찾는 것이 학습과정
• 선형 회귀분석의 가설 : H(x) = Wx + b 에서, 가장 좋은 W와 b 를 찾아야 함.
• 어떤 가설이 좋은지를 찾는다는 것은, 실제 데이터와, 가설 H(x)에 의한 점과의 거리가 가까울 수록 좋은 모델임. 
• 이렇게 거리를 측정하는 것을 Cost Function, Loss Function 이라고 함. 대부분 두 값의 차이의 제곱을 구하게 됨

•  Cost function 의 정의

• 이 cost 함수는 W와 b 의 함수가 되는데, cost를 최소로 줄여주는 W, b를 찾는 것이 학습임.
  

Lab 02 TensorFlow로 간단한 linear regression을 구현하는 방법

• 테스트 소스코드가 있는 곳 : https://github.com/hunkim/DeepLearningZeroToAll
• 복습 : Linear Regression의 Hypothesis와 cost function.

• TF 연산을 사용하여 그래프를 Build
  
• Hypothesis

• Cost function

• GradientDescent : Minimize. 현재는 그냥 이렇게 쓴다고만 생각할 것.

• 그래프를 실행/갱신 한뒤, 결과를 출력

• 결과

=========

• Placehoder를 사용할 경우

Lec 00 - 머신/딥러닝 수업의 개요와 일정

https://www.youtube.com/watch?v=BS6O0zOGX4E

• 알파고의 충격. 
• Dr. Andrew Ng 님의 주장 - 머신러닝을 잘 이해하는 것이 슈퍼파워를 가지는 것.
• 그렇지 못한 사람에 비해 앞서나갈 수 있다.
• 누가 봐야 하나
• 머신러닝에 대해 이해하고 싶은 사람
• 수학이나 컴퓨터 공학에 대해 잘 모르는 사람
• 기본적인 이해 만으로 머신러닝을 블랙박스처럼 사용하고 싶은 사람
• Tensorflow 와 Python을 사용하고 싶은 사람.
• 목표
• 머신러닝 알고리듬에 대한 기본적인 이해
• Linear regression, Logistic regression (Classification)
• Neural networks, Convolutional Neural Network, Recurrent Neural Network
• 머신 러닝 도구를 사용한 문제해결
• Tensorflow와 Python
• 수업 구조
• 10분짜리 강좌
• Tensorflow를 사용한 프로그래밍 실습
• Acknowledgement
• Andrew Ng's ML class
• https://www.coursera.org/learn/machine-learning
• http://www.holehouse.org/mlclass/
• Convolutional Neural Networks for Visual Recognition
• http://cs231n.github.io/
• Tensorflow
• https://www.tensorflow.org 
• https://github.com/aymericdamien/TensorFlow-Examples
• 스케줄
• 머신러닝 기본 컨셉
• 선형회귀분석(Linear Regression)
• 로지스틱회귀분석(Logistic regression) (Classification)
• 다변수(Vector) 선형/로지스틱 regression
• 신경망(Neural networks)
• 딥러닝
• CNN
• RNN
• Bidiretional Neural networks

Lec 01 - 머신러닝 용어와 개념

• 기본 개념
• 머신러닝 이란 무엇인가
• 학습이란 무엇인가?
• 감독 학습
• 무감독 학습
• Regression 이란 무엇인가?
• 분류(Classification)이란 무엇인가?
•  머신러닝이란...
• 명시적(explicit) 프로그래밍은 한계가 있음
• 예) 스팸필터 : 법칙이 너무 많아서 프로그래밍하기 힘듦
• 예) 자동 주행 : 법칙이 너무 많음
• 머신러닝 : "명시적으로 프로그램하지 않고 (자료 또는 현장에서) 컴퓨터가 학습할 수 있도록 하는 분야" - Arthur Samuel (1959)
• 감독/무감독 학습
• 감독 학습
• label이 정해져있는 예제(labeled example, training set)를 사용하여 학습.
• 예: 고양이, 개, 머그, 모자 등을 사람들이 미리 제공 (labeled example)
• 무감독 학습 : un-labeled data. 데이터를 보고 스스로 학습
• 예: 구글뉴스 그루핑.
• 예: Word Clustering. 비슷한 단어 모으기.
• 감독 학습
• 대부분의 문제 형태임. 이 코스에서 주로 다룰 내용.
• 이미지 분류(Image labelling) - 이미지 태그를 사용하여 학습
• 이메일 스팸필터 : labelled 이메일로부터 학습
• 시험점수 예측 - 기존이 시험점수와 투자 시간관계를 사용한 학습
• Training data set 이란??

• 머신러닝의 일반적과정은, X(특징, feature) -> Y로 답(label)이 정해져있는 여러 데이터셋을 ML에 제공하고, 이를 기반으로 학습하면 모델이 생성되는데, 여기에서 모르는 Xtest와 같은 새로운 데이터를 ML에 물어보면 이에 대한 답을 제공해 주는 과정이다. 여기에서 답이 정해져 있는 데이터셋을 training data set이라고 한다.
  
• AlphaGo 의 경우
• AlphaGo는 수많은 기보를 학습하여 바둑선수가 돌을 두면, 그에 대응하는 답을 제공하는 형태로, 감독 학습이다. 여기에서 입력한 기보들이 Training data set이다.
• 감독 학습의 유형 - 대개 아래와 같은 세가지 유형으로 구분됨
• 공부한 시간에 근거한 시험점수 예측 - regression (범위가 있음)
• training set X : 공부시간, Y : 점수
• (10, 90), (9, 80), (3, 50), (2, 30)
• 이 경우, ML 모델은 Regression. 학습을 시킴
• 그렇다면 x=7 이면 점수는? 이라는 문제에 대해 Y=75 라고 답이 나온다.
• 공부한 시간에 근거한 합격/불합격 - binary classification (두가지로 분류)
• training set X : 공부시간, Y: 합격여부
• (10, P), (9 :P), (3, F), (2, F)
• 공부한 시간에 근거한 학점 (A,B,C,D,F) - multi-label classification (label이 많음)
• training set X : 공부시간, Y: 합격여부
• (10, A), (9 : B), (3, C), (2, F)

Lab 01 TensorFlow 기본

https://www.youtube.com/watch?v=-57Ne86Ia8w

• 구글에서 만든 인공지능(Machine Intelligence)을 위한 오픈소스 소프트웨어 라이브러리
• TensorFlow외에도 다른 라이브러리 많음. 그러나 절대적으로 TensorFlow 사용자가 많음

• Hello Tensorflow!

• Computational Graph

• Tensorflow를 실행시키는 것은 기존의 프로그램과는 달리... 
• 첫번째 그래프를 build 하고, 
• 두번째 sess.run(op)를 통해서 그래프를 실행시키면
• 그래프에 있는 변수를 갱신하거나, 값을 반환하게 된다.

• Placeholders (상수가 아닌 변수로 사용할 때)

• 모든 것이 Tensor다. (Everything is Tensor)
• Tensor의 Rank

• Tensor의 Shape
• 각각의 element에 몇개 들어 있는가...

• 예를 들어, t=[[1,5], [4,2], [4,4], [3,2]]의 shape는 [2,4] 이다.
• Data Type

Lab1 : TensorFlow 기본

TensorFlow 설치

- https://www.tensorflow.org/install/

- Anaconda 설치후, Anaconda Prompt 를 실행한 후 나머지 실행

- GPU 버전의 경우, 별도의 conda environment 를 설치한 후 실행

>>  import tensorflow as tf

TensorFlow 실행 예제

TensorFlow 실행 단계

- TensorFlow operations를 사용하여 그래프를 build

- graph(operations)를 실행시킨다. -> sess.run(op)

- 그러면 그래프에 포함된 변수가 갱신된다.

Placeholer를 사용하여 노드만들기. 필요시 실 데이터로 교체 가능. 함수??

Tensor : array...

- Ranks - 몇차원? 0:scalar, 1: vector, 2:matrix, 3:3-tensor(cube) 

- Shapes -  [[1,2], [3,4], [4,5]] -> [3,2]

- Types - DT_FLOAT, DT_DOUBLE, DT_INT8, DT_INT16, DT_INT32 ...

Lab2 : Linear Regression

Lab3  : Minimizing Cost

===

저는 이북을 구글 플레이북으로 읽고 있습니다. 제가 2014년에 정리해 둔 글을 보면 제가 왜 구글 플레이북이 쓸만하다고 생각하는지를 아실 수 있는데, 그 이후에도 여러가지 유혹이 있었음에도 불구하고, 다른 이북 프로그램이 구지 필요하다고 생각하지 않고 잘 사용중에 있습니다. 

다음은 구글 플레이북에서 사용할 수 있는 기능들입니다.

• 오프라인에서 읽기
• 페이지 북마크, 텍스트 강조표시, 메모 추가
• 우아한 3D 페이지 회전
• 휴대전화, 태블릿, 컴퓨터에서 북마크, 메모 및 읽기 위치 동기화
• 도서 내 검색, 사전 사용, 지리 정보 찾기, 웹 검색결과 찾기, 페이지에 위키백과 표시 
• 맞춤 텍스트 도서에 글꼴, 글꼴 크기, 레이아웃 선택
• 주간, 야간, 세피아 읽기 모드 선택
• 게시자가 허용하는 경우 텍스트 음성 변환으로 책 읽기
• PDF 또는 EPUB 파일을 라이브러리에 업로드할 수 있습니다

머... 지금봐도 그다지 새로운 기능이 추가된 것도 없고... 그냥 잘 사용중이라고 뿐이 말씀드릴 게 없네요.

===

오늘 정리할 내용은 텍스트 파일을 이북으로 변환하는 방법입니다. 원래 구글 플레이북에서는 epub 형식과 pdf 형식을 지원하지만, 소설책과 같이 주로 글씨로 이루어진 문서의 경우, pdf를 사용하면 불편하여, 반드시 epub 형식으로 변환해야 합니다.

문제는 인터넷에서 찾을 수 있는 text 파일이 문단처리가 되어 있지 않은 자유로운? 형식이라, 그냥 epub으로 변환할 경우, 아주 읽기 불편합니다.  예를 들어, 아래는 김용의 서검은구록 (이 책은 정식 전자책으로는 판매되고 있지 않습니다)이라는 소설의 text 파일을 아무런 조치 없이 변환한 결과입니다.text 파일의 한 줄이 한 문단으로 변환되는 바람에 이런 결과가 생기는 것입니다. 

그래서... text파일을 변환하기 전에 몇가지 처리를 해야합니다.

첫번째는 CRAutoFix 입니다. 구글에서 검색하면 쉽게 찾을 수 있습니다. 2010년 베타버전 뿐이 없었습니다만, 정식버전은 없는 것 같습니다. 이 프로그램은 구두점 등을 확인하여 줄단위로 되어 있는 문서를 문단단위로 바꿔줍니다. 

예를 들어, 아래와 같은 문서를

아래와 같이 여러줄을 묶어서 한줄로 이어주는 것입니다.

이 과정에서 문법을 고려한다고 하는데... 어느정도 적용되는지는 잘 모르겠네요.

아래한글에서도 텍스트문서를 읽어들이면 문단단위로 읽기 기능이 있는데, CRAutoFix 쪽이 훨씬 자연스러운 것 같습니다.

===

그 다음에는 아래 한글에서 필요한 편집을 합니다. (아래 한글을 사용하지 않는 분은 그냥 Microsoft Word에서 직접 작업을 하셔도 됩니다.) 물론 편집을 하지 않아도 보는데는 지장 없지만, 그래도 몇가지만 만지면 꽤 깔끔해 집니다. 이때 글자크기나 문단 형태를 변경하거나 필요하면 맞춤법 검사 등도 유용합니다.

첫 쪽에 그림을 넣어주면 그 그림이 대표 이미지가 됩니다.(시험을 해보니, 작은 그림은 소용이 없고, 500pixel 정도 이상의 그림을 넣어주어야 되는 것 같습니다.) 

제목처리가 필요하다면, 그냥 글자모양, 문단 모양만 바꾸지 말고, 'heading 1' 이라는 제목의 스타일로 지정하면, 전자책 내에서도 제목으로 나타납니다. 아래는 그 예입니다.

또 '새쪽으로 (^Enter)" 처리를 해두면 쪽 바꾸기로 저장됩니다. 특히 제목등이 시작되는 곳에서 새쪽 처리를 해주면 편합니다.

아무튼 익숙한 방식으로 편집하시면 됩니다. 

===

그 다음에는 아래 한글에서 .docx 형식으로 저장합니다. 

다음으로 아래 사이트에 들어가서 이 파일을 변환합니다. 파일 선택을 해주고 제목과 저자를 입력한 후, 아래쪽에 있는 [Convert file]을 선택해 주면 됩니다.

https://ebook.online-convert.com/convert-to-epub

잠시 기다리면 업로드가 된 후, 파일을 변환해주는데, 적당히 저장해 주면 됩니다.

마지막으로 https://play.google.com/books/uploads 으로 들어가 epub 파일을 올려주면 끝입니다.

아래는 현재의 제 구글 플레이북 서재 모습입니다. 이중에는 구입한 책도 있고, 위에서 말한 과정을 통해 업로드시킨 파일도 있습니다. 

===

이상 간략한 epub 파일 변환방법이었습니다.

민, 푸른하늘