SweetPotato1024 (52) 썸네일형 리스트형 list 안에 dict 꺼내서 xlsx로 출력하기 import pandas as pd def main(): population = [ { "서울특별시": 9414, "부산광역시": 3306, "경기도": [ { "수원시": 1191, "고양시": 1077 } ] } ] population_sort = {} for item in population: for location, val in item.items(): if location == "경기도": for sub_item in item["경기도"]: for city, num in sub_item.items(): population_sort[city] = num else: population_sort[location] = val print(population_sort) # dict를 xlsx로 출력하기 d.. json.dump json.dump(데이터 저장된 변수, 파일 포인터, ensure_ascii=False, indent=4) ensure_ascii=False 파일 작성된 그대로 써준다. True는 한글일 경우 16진수로 써주기 때문에 False로 입력해야 한다. * 글자가 깨지면 atom에서 인코딩을 EUC-KR로 바꿔주기 indent=4 들여쓰기해서 예쁘기 정렬하기 sort_keys=True 정렬해서 출력하기. 딕셔너리 키를 기준으로 from () import () 차이 import () as () from (모듈명) import(함수명/클래스명) from (패키지명) import (모듈명) -> 코드에 라이브러리 따로 작성하지 않아도 된다 -> (함수) 자리에 * 사용하면 모든 함수 사용한다는 뜻이다. 해당 라이브러리의 모든 함수를 사용할 수 있다. import (라이브러리/모듈) as (별칭) import (패키지명) as (별칭) -> 코드에 (변수) 항상 작성해야 한다. -> 파이썬에 이미 만들어진 라이브러리의의 파일들을 사용할 수 있다. -> 라이브러리를 호출하고, 모듈을 별칭으로 정해서 해당 모듈의 함수와 클래스를 사용한다. -> dir(라이브러리) : 해당 라이브러리가 지원하는 함수를 확인 할 수 있다. import pandas as pd m = pd.head() pd.소모듈이름.함수이.. Python HTML BeautifulSoup URL 뒤에 robots.txt https://wanderlog.com/robots.txt Beautiful Soup documentation https://www.crummy.com/software/BeautifulSoup/bs4/doc/# 맥은 기본적으로 막고 있어서 해지하는 코드 입력 terminal Relation Extraction Relation Extraction (RE) Entity Pair의 Relation 판별 Entity Pair : Subject and Object Entity 인식하고 Pair의 Relation 판별 Entity Link (EL) Entity 인식하고 Knowledge base와 Link 비구조화된 텍스트 정보 -> 구조화 -> Knowledge Graph(KG) 텍스리펀은 KBQA https://github.com/RUCAIBox/Awesome-KBQA GitHub - RUCAIBox/Awesome-KBQA: Paper list of KBQA Paper list of KBQA. Contribute to RUCAIBox/Awesome-KBQA development by creating an accoun.. BLEU score (Bilingual Evaluation Understudy Score) 기계번역 성능 측정 BLEU: a Method for Automatic Evaluation of Machine Translation https://aclanthology.org/P02-1040.pdf 통계적 언어 모델인 n-gram을 기반으로 모든 단어를 고려하지 않고, 이전에 등장하는 단어들 중 일부만 고려한다. 유니그램 count clip - max 반복 수 Brevity penalty 간략히 번역하면 승 BERT KoBERT KorBERT KorQuAD BERT 영어 33억개 단어로 pretrain 된 Machine Translate Model KoBERT https://github.com/SKTBrain/KoBERT KorBERT https://aiopen.etri.re.kr/service_dataset.php KoQuAD https://korquad.github.io/ 한국어 Machine Leading Comprehension dataset 102,960개 47,957개 Wikipedia article에서 정답 찾기 macOS 단축키 이모티콘 특수문자 Character view ⌃⌘space 전체 스크린샷 ⌘⇧3 일부 스크린샷 ⌘⇧4 띄워진창 스크린샷 ⌘⇧4space 한자 ⌥↩ 휴지통 ⌘⌫ 브라우저 새창 ⌘t 브라우저창 종료 ⌘w 창 전환 ⌘tab JAVA 변수 variable 변수타입 [변수] 하나의 값을 저장하기 위한 메모리 공간 형태: 변수타입 변수이름; 종류: 클래스 변수, 인스턴스 변수, 지역변수 상수(constant): 한 번만 값을 저장 가능한 변수 형태: final 상수타입 상수이름; 리터럴(literal): 그 자체로 값을 의미하는 것 (=상수) (=값) (변수타입은 노타 그림) JAVA eclipse macOS 단축키 자동완성 단축키 목록 command shift 엘 코드 저장 command s 코드 폰트 사이즈 변경 command + - 줄 삭제 command d 되돌리기 command z 한줄 복사 command option 아래화살표or위화살표 첫번째줄까지 블럭 command shift 위화살표 마지막줄까지 블럭 command shift 아래화살표 멀티컬럼 편집 command option a + 커서 확인 후, shift 위아래화살표 해제 command option a 위치 변경 option 위아래화살표 들여쓰기 tab shift tab 자동들여쓰기 : command i 주석 command / /* 여러줄주석 */ 단축키 변경 eclipse preferences general keys 자동완성 control space 자.. JAVA 프로그램 작성 : textedit eclipse [textedit] 1. 응용프로그램 - textedit - txt 파일 만들기 2. jdk 있는 폴더에 work 폴더 만들고, 1번에서 만든 txt 파일 넣기 3. iTrems cd /Users/jwa/.sdkman/candidadtes/java/8.0.332-zulu/work ls hello.txt javac.exe 자바 컴파일러 : 사람이 작성한 문장을 기계어로 번역 -> .java 파일이 .class 파일이 된다 java.exe 자바 인터프리터 : 클래스 파일 실행 class : 자파 프로그램 단위 (터미널에서 파일 불러오기 javac Hello.java 실행하기 위해서 환경변수 설정 변경하기) [eclipse] JAVA API 설치 java api download 검색 java development kit 8 documentation - oracle (www.oracle.com) commad shift . -> 폴더에서 숨겨진 파일 보기 open -> 더블클릭 . -> 현재경로 open . -> 현재경로 보기 where java -> java 경로 보기 (오라클에서 다운로드 받은 doc을 jdk에 넣으라고 하는데 뭔말인지 모르겠음) 그냥 이클립스에서 doc 열어서 보기 (그럼 api 설치는 뭐지?) macOS M1 JAVA eclipse 설치 [openJDK] https://sdkman.io/install terminal curl -s "https://get.sdkman.io" | bash source "$HOME/.sdkman/bin/sdkman-init.sh" sdk version SDKMAN 5.15.0 [JAVA] sdk install java 8.0.332-zulu sdk upgrade java sdk use java 8.0.332-zulu sdk current java echo $JAVA_HOME [eclipse] aarch64 Python: function class module package library function < class < module < package < library Module (파일) 프로그램에서 함수와 클래스를 파일로 만들어 사용한다. 파이썬에 내장되어 있어 가져와 사용할 수 있고, 직접 만들 수도 있다. Package(폴더) 서브패키지와 관련있는 모듈끼리 한 디렉토리에 모아 놓는다. 계층적인 디렉토리 구조를 가지고 있다. Library 함수나 모듈이 모인 집합체이다. 외부 라이브러리 : pandas(데이터 분석), numpy(다차원 배열과 행렬), Matplotlib(시각화), Scikit-learn 등 설치해야 한다: pip install 라이브러리명 Python 데이터 분석을 위한 라이브러리 및 도구 1. pandas https://flyaround.tistory.com/146?category=862785 Pandas : Panel data science https://pandas.pydata.org/ 대용량 데이터(행과열) 시각화 분석 using Python 판다스 10분 한글 번역 https://dandyrilla.github.io/2017-08-12/pandas-10min/ flyaround.tistory.com python-dateutil : datetime의 확장 pytz : 파이썬 타임존 six : 파일 하나로 PyPI에서 다운로드 가능, Python2와 Python3에서 수정없이 작동하는 코드베이스 지원 2. TensorFlow 3. pytorch 4. Keras 요즘 안써요 Google Colab 코랩 구글 클라우드 환경에서 파이썬을 작성하고 실행할 수 있는 에디터 (동시 작성 가능) 교육과 연구 목적으로 개발된 프로그램 주피터 노트북을 변형하고 보완해 데이터 분석이 가능하다 장점 파이썬 설치 안해도 됨 무료 (프로버전은 유료) GPU 환경지원으로 머신러닝 딥러닝 학습 가능 데이터 분석에 사용되는 라이브러리 및 도구 지원 : TensorFlow, Pytorch(Keras), pandas 단점 프로버전 따로 있음 타임아웃 (90분동안 인터렉션 없을때, 12시간 세션) ----------------------------------------------------------- 사용방법 1. 구글계정 만들기 없으면 공유 링크 받았을 때, 코드 확인은 가능하지만 실행은 못함 2. 코랩 들어가서 새 파일 만들기 .. 이전 1 2 3 4 다음