여니의 프로그래밍 study 225

[파이썬] 구글 뉴스 웹 스크래핑 해보기

참고 출처 : 실무자를 위한 파이썬 100제 더보기 import requests from bs4 import BeautifulSoup base_url="https://news.google.com" search_url=base_url+"/search?q=python&hl=ko&gl=KR&ceid=KR%3Ako" resp=requests.get(search_url) html_src=resp.text soup=BeautifulSoup(html_src,'html.parser') #뉴스 아이템 블록 선택 news_items=soup.select('div[class="xrnccd"]') print(len(news_items)) print(news_items[0]) print("\n") #각 뉴스 아이템에서 링크,제..

[파이썬] 웹 스크래핑 (검색어를 url 코드로 변환)

참고 출처 : 실무자를 위한 파이썬 100제 urllib은 파이썬 표준 라이브러리 중 하나로 HTTP 요청, 파싱과 관련된 하위 패키지들이 존재하며, URL 파싱과 관련된 것은 다 urllib.parse에 들어있다. 1. URL 문자열 파싱하기 > urlparse()를 사용하면 URL 해석이 가능하다. urllib.parse.quote >> 인자로 주어진 문자열에서 특수문자를 문자열로 변환해서 반환해준다.

[주피터 노트북] pdf 파일로 저장하기 : 오류발생 -> 해결

pdf로 저장하려고 하니 이런 오류가 뜸.. 그래서 저기 나와 있는 링크를 접속해 들어가서 https://miktex.org/download Getting MiKTeX a. Register GPG key sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys D6BC243565B2087BC3F897C9277A7293F59E4889 b. Register installation source Ubuntu 20.04 LTS (Focal Fossa): echo "deb http://miktex.org/download/ubuntu focal universe" miktex.org MiKTeX 다운로드 해줌 다운로드 파일에 pdf 다운 끝!

[파이썬] 웹 스크래핑 하는 방법

참고 출처 : 실무자를 위한 파이썬 100제 ## 웹 서버에 요청하고 응답하는 과정 Request : 사용자가 웹서버에게 웹 페이지 정보를 달라고 요청하는 과정이다. Response : 웹 서버가 웹 페이지 정보를 보내는 과정을 응답이라고 함. 1. Request의 get()함수를 사용하여 웹 서버에 GET요청을 보낸다. 2. 파이썬 홈페이지의 URL을 저장한 변수를 함수의 매개변수로 전달한다. 3. 웹 서버가 응답한 내용을 resp 변수에 저장한다. 4. 응답 결과를 출력한다. ## 웹 페이지 소스코드 확인하기 1. request 모듈 불러오기 2. url 변수에 파이썬 홈페이지 url 저장 3. 웹 서버에 get 요청을 보내고, 응답한 내용을 변수 resp에 저장한다. 4. HTML 소스 코드를 확인..

[github] github 블로그 만들기 & git 명령어 정리

create repository -> username.github.io 명으로 레파지토리 생성하기 1. on create a new repository on the command line -> git bash 에 입력하면, README 파일 생성 www.zerocho.com/category/Git/post/581042fdcae2d100152ceae6 (Git) Github 사용하기, remote, clone, push, pull 안녕하세요. 이번 시간에는 지난 번의 commit을 바탕으로 Github를 사용해보겠습니다! 우선 깃허브를 사용하려면 회원가입부터 해야합니다. 링크 Sign up이 회원가입이고, Sign in이 로그인입니다. 무 www.zerocho.com index.html 파일 생성방법 ec..

[#11장] 모듈과 패키지

참고 문헌 : 처음 시작하는 파이썬 1. 모듈과 import문 모듈을 임포트하는 방법 : import 파이썬파일명 - 2. 필요한 모듈만 임포트하기 : from 파이썬파일명 import 함수 => 이 함수를 who_cares()함수로 임포트 from fast import pick as who_cares() place=who_cares() 2. 패키지 1. 패키지 : .py파일을 포함한 하위 디렉터리 디렉터리 안에 디렉터리를 여러 깊이로 사용할 수 있다. 2. 모듈 탐색 경로 - 파이썬 인터프리터가 보는 모든 위치를 보려면 표준 sys 모듈을 임포트해서 path 리스트를 살펴본다. 이것은 파이썬이 임포트할 모듈을 찾기 위해 탐색하는 디렉터리 이름 및 zip 아카이브 파일의 리스트이다. 파이썬은 임포트할 파..

[소스트리] 작업하던 프로젝트를 소스트리를 이용해서 깃허브에 연동시키는 방법 (+100MB 이상 파일 push error) & git 파일 삭제

소스트리 & 깃허브 연동하기 1. 먼저 깃허브에 올릴 프로젝트를 git init 명령어를 수행해서, .git 폴더가 생성되도록 처리하기 --> 2. Add a repository에서 탐색 버튼을 눌러서 프로젝트 경로 찾기 추가 버튼 클릭 3. 프로젝트와 소스트리 연동 성공 이제 깃허브랑 연동시키기! 4. 오른쪽 상단에 설정버튼을 누른다. 5. 추가 버튼을 눌러서 URL/ 경로에 깃허브 주소를 적는다. (레파지토리 주소) 6. PUSH 작업해주면 끝!! 깃허브에 들어가서 확인해보기 제대로 깃허브와 연동이 이루어졌는지 ! ! ? push가 되지 않는다...? 에러 메세지를 읽어보니, 용량이 100MB이상이라 그렇다는... (깃허브는 100MB이상의 파일을 올릴 수 없대요 ㅠㅠ) 그래서 쪼개서 해야한다고 하더..

[깃허브] 소스트리, 깃(git) 사용법 정리

깃 : 모든 파일의 변경사항을 추적하는 것 (장점) 깃의 최강점 : 같은 파일에 대한 각기 다른 버전을 보관할 수 있다. **** 각기 다른 파일에 해당 변경사항을 바로 모두 적용할 수 있도록 해준다. 여러 사람들과 작업할 때 같은 파일을 가지고 여러명이서 작업을 할 수 있다. 나의 파일과 깃 히스토리를 공유하는데, 이 때 사용하는 게 깃허브 클라우드에 있는 깃 제공자 = 깃허브, 내 컴퓨터에서 깃 히스토리를 가져와서 깃허브 웹사이트에 푸쉬하고 에디터는 이를 가져올 수 있게 된다. 우리 모두의 깃 기록을 깃허브 클라우드에 올릴 수 있다. 깃허브, 깃랩,, 여러개의 저장소 클라우드가 있지만 깃허브가 가장 중요하다. 깃 사용법 Git, IDE(Visual studio code), SourceTree git ..