웹 개발 3주차

#프론트엔드 #FrontEnd #웹개발 #HTML #CSS #Javascript #ajax #Python #MongoDB

 

3주차 강의를 마무리하며, 파이썬, Mongo DB의 기초 및 응용에 대해서 공부해보았다.

 

파이썬이 그래도 조금이나마 더 익숙한 탓일까, 훨씬 수월한 면이 있었다.

크롤링 같은 경우는.. selector를 찾는 방식에서 혁명적인 느낌을 받았달까.
그동안 크롤링할때 selector 찾는다고 개발자 도구 전부 다 눈으로 훑었는데 ㅠㅠㅠㅠ

 

하여튼 의미있는 시간이었고, 파이썬 퀴즈 및 작업했던 코드, 지니뮤직 크롤링 코드까지 개발일지에 남겨본다.

 

** MongoDB Atlas는 스타벅스 와이파이로는 실행이 안된다. 굳이 하고자 한다면 DNS 우회 방법을 써야한다.

https://stackoverflow.com/questions/54484673/error-querysrv-enodata-mongodb-tcp-blog-cluster-0hb5z-mongodb-net-at-queryreq

 

## 기초 파이썬 문법

# 함수 예제
def is_adult(age):
    if age > 20:
        print('성인입니다.')
    else:
        print('청소년입니다.')
is_adult(30)

# 파이썬에서의 리스트
fruits = ['사과','배','배','감','수박','귤','딸기','사과','배','수박']

# 파이썬 for문, if문
count = 0
for a in fruits:
    if a == '배':
        count += 1
print(count)

# 파이썬 딕셔너리, 딕셔너리 활용
people = [{'name': 'bob', 'age': 20},
          {'name': 'carry', 'age': 38},
          {'name': 'john', 'age': 7},
          {'name': 'smith', 'age': 17},
          {'name': 'ben', 'age': 27}]

for person in people:
    if person['age'] > 30:
        print(person['name'])
        
        
### 크롤링 연습 및 몽고 DB 관련 코드

## 몽고 DB 기초 셋팅 및 활용 코드

# 몽고 DB 기초 셋팅
from pymongo import MongoClient
client = MongoClient('mongodb+srv://znuki:znuki@cluster0.mo5ena6.mongodb.net/?retryWrites=true&w=majority') // 몽고 DB 커넥션 url
db = client.dbsparta // DB 이름 바꿔줘도 됨

# 저장 - 예시
doc = {'name':'bobby','age':21}
db.users.insert_one(doc)

# 한 개 찾기 - 예시
user = db.users.find_one({'name':'bobby'})

# 여러개 찾기 - 예시 ( _id 값은 제외하고 출력) // 한개 찾기처럼 조건을 넣어줄 수 있다.
all_users = list(db.users.find({},{'_id':False}))

# 바꾸기 - 예시
db.users.update_one({'name':'bobby'},{'$set':{'age':19}})

# 지우기 - 예시
db.users.delete_one({'name':'bobby'})

# 콜렉션 삭제
db.users.drop()

## 네이버 무비 순위 크롤링 한 것을 몽고 DB에 넣는 코드
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
client = MongoClient('mongodb+srv://znuki:znuki@cluster0.mo5ena6.mongodb.net/?retryWrites=true&w=majority')
db = client.dbsparta

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://movie.naver.com/movie/sdb/rank/rmovie.naver?sel=pnt&date=20210829',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

movies = soup.select('#old_content > table > tbody > tr')

for movie in movies:
    a = movie.select_one('td.title > div > a')
    if a is not None: ## 중간에 movie 셀럭터에 None이 있었기 때문에 지우고 간다.
        title = a.text
        rank = movie.select_one('td:nth-child(1) > img')['alt']
        star = movie.select_one('td.point').text
        # print(rank, title, star) --> 파이썬 터미널에 출력
        doc = {
            'title' : title,
            'rank' : rank,
            'star' : star
        }
        db.movies.insert_one(doc)

## 지니 뮤직 순위 크롤링

import requests
from bs4 import BeautifulSoup

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}
data = requests.get('https://www.genie.co.kr/chart/top200?ditc=M&rtm=N&ymd=20210701',headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

music = soup.select('#body-content > div.newest-list > div > table > tbody > tr')

for a in music:
    title = a.select_one('td.info > a.title.ellipsis').text.replace('19금',' ').strip() ## 19금이라는 텍스트 아이콘이 있기 때문에 공백으로 바꿔줌
    artist = a.select_one('td.info > a.artist.ellipsis').text
    rank = a.select_one('td.number').text[0:2].strip() ## rank 앞에서 두글자만 끊기, 제목 공백 제거
    print(rank, title, artist)

코드를 실행하면 이런식으로 출력이 된다. ㅎㅎ