0914 [웹 프로그래밍 A-Z 기초강의~4주차] TIL

<3주차>

- 웹스크래핑(크롤링)

    -python의 bs4 라이브러리를 활용하여 할 수 있다.

 

<기본코드>

import requests from bs4 import BeautifulSoup 

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

data = requests.get('크롤링 하고싶은 url',headers=headers)

# HTML을 BeautifulSoup이라는 라이브러리를 활용해 검색하기 용이한 상태로 만듦

# soup이라는 변수에 "파싱 용이해진 html"이 담긴 상태가 됨

soup = BeautifulSoup(data.text, 'html.parser')

# soup에서 원하는 부분을 추출하여서 사용하면 된다. 

 

-Database: RDBMS / No-SQL

    -RDBMS : 테이블 형태의 데이터로 정형화 되어있다. 정형화  되어있기 때문에 일관성이 있고, 데이터분석에 용이할 수는 있으나 중간에 데이터를 추가하는 등의 일은 힘들다. ex) mysql, ms-sql

    -No-SQL: 데이터가 딕셔너리 형태로 자유로운 형태를 지닌다. 따라서 자유로운 형태의 데이터 적재에는 유리하지만 일관성이 부족하다는 단점이 있다. ex) mongoDB

 

-mongoDB: NoSQL 중의 하나. 

 

-pymongo package: python에서 mongoDB를 사용할 수 있도록 도와주는 패키지이다.

 

<mongoDB 사용코드>

# 저장 - 예시

doc = {'name':'bobby','age':21} db.users.insert_one(doc)

# 한 개 찾기 - 예시

user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력)

same_ages = list(db.users.find({'age':21},{'_id':False}))

# 바꾸기 - 예시

db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시

db.users.delete_one({'name':'bobby'})

 

<4주차>

-Flask: 파이썬 기반의 웹 프레임워크 

    -프레임워크란? 예를들면 밀키트 같은 것.

    -폴더 기본 구조: static, templates-index.html, app.py 

 

-api작성하는 순서(Get, Post) 

1. 서버-클라이언트 확인하기

2. 서버부터 만들기

3. 클라이언트 만들기

4. 완성 확인하기

 

* 실습해보면서 다시 익혀보기!