1편. 웹 크롤링의 개념과 기본 구조 정리

반복적으로 웹사이트를 방문해서 정보를 수집해야 하는 상황은 생각보다 많다.
뉴스 헤드라인을 모으거나, 쇼핑몰 가격 변동을 추적하거나, 회사 내부에서 리서치용 데이터를 정리하는 일 등이 대표적이다.

이때 사람이 직접 브라우저를 열어 복사·붙여넣기 하는 대신, 프로그램이 대신 웹페이지를 돌아다니며 데이터를 수집하도록 만드는 기술을 통상 **웹 크롤링(Web Crawling)**이라고 부른다.
이번 글은 크롤링 카테고리의 첫 글로서, 크롤링의 개념·구조·주의사항을 포괄적으로 정리하는 것을 목적으로 한다.

---

1. 웹 크롤링이란 무엇인가

1-1. 정의

**웹 크롤링(Web Crawling)**은 프로그램이 자동으로 웹 페이지에 접속하고, 링크를 따라 이동하면서 페이지의 구조와 내용을 수집하는 과정을 의미한다.
검색 엔진(예: 구글, 네이버)의 봇이 대표적인 웹 크롤러이다.

일반적인 흐름은 다음과 같이 정리할 수 있다.

1. 시작 URL 목록을 정한다.
2. 프로그램이 각 URL에 HTTP 요청을 보낸다.
3. 응답으로 HTML 문서를 받아온다.
4. HTML을 분석해서 필요한 데이터(텍스트, 링크, 이미지 주소 등)를 추출한다.
5. 새로 발견한 링크를 큐(queue)에 쌓아 두고, 다시 2번 과정부터 반복한다.

이 과정 전체를 넓은 의미의 크롤링이라 부른다.

1-2. 크롤링 vs 스크래핑

실무에서는 **크롤링(crawling)**과 **스크래핑(scraping)**을 구분해서 사용하는 경우가 많다.

• 크롤링:
  • 여러 페이지를 “돌아다니는 행위” 자체에 초점
  • 링크를 따라 이동하며 새로운 페이지를 계속 수집
• 스크래핑:
  • 특정 페이지에서 “필요한 데이터만 뽑아내는 행위”에 초점
  • HTML 구조를 분석하고 원하는 요소만 선택하여 추출

정리하면,

크롤링은 “어디를 돌아다닐 것인가”에 초점을 맞춘 탐색 과정이고,
스크래핑은 “어떤 정보를 가져올 것인가”에 초점을 맞춘 추출 과정이다.

실제 프로젝트에서는 두 개념이 함께 사용되는 경우가 대부분이다.

---

2. 크롤러의 기본 구성 요소

웹 크롤러는 구조만 놓고 보면 비교적 단순하다. 일반적으로 다음 네 가지 구성 요소로 설명할 수 있다.

1. URL 큐(URL Queue)
   • 방문해야 할 URL을 관리하는 목록
   • 새로 발견된 링크를 여기에 계속 추가
2. 다운로더(Downloader)
   • HTTP 요청을 보내고, 응답으로 HTML·JSON·이미지 등을 받아오는 역할
   • 파이썬에서는 requests 라이브러리가 대표적
3. 파서(Parser)
   • 받아온 HTML/JSON에서 필요한 데이터를 추출하는 모듈
   • BeautifulSoup, lxml 등 파서 라이브러리를 활용
4. 저장소(Storage)
   • 추출된 데이터를 저장하는 부분
   • 단순 CSV 파일, 엑셀, 데이터베이스, 노션/구글 시트 등 다양한 형태 가능

아주 단순화하면 아래와 같은 의사 코드 구조가 된다.

 

while url_queue:
    url = url_queue.pop()
    html = download(url)
    data, links = parse(html)
    save(data)
    url_queue.extend(links)

실제 구현에서는 중복 URL 제거, 속도 제어(딜레이), 에러 처리, 로그인·쿠키 처리 등 추가 요소가 붙는다.

---

3. 크롤링을 할 때 반드시 고려해야 할 것들

크롤링은 기술적으로는 어렵지 않을 수 있지만, 법적·윤리적 이슈를 반드시 먼저 검토해야 하는 영역이다.

3-1. robots.txt와 접근 허용 범위

대부분의 웹사이트는 최상단 경로(예: https://example.com/robots.txt)에 robots.txt 파일을 두고,
검색 엔진·크롤러가 접근해도 좋은 경로와 제한해야 하는 경로를 명시한다.

예시 형태:

User-agent: *
Disallow: /admin/
Disallow: /private/

• User-agent : 어떤 봇에 대한 규칙인지
• Disallow : 크롤러가 접근하지 말아야 할 경로

법적 강제력은 국가·상황에 따라 다르지만,
통상적으로 robots.txt를 존중하는 것은 기본 매너에 가깝다.

3-2. 서비스 이용약관 및 저작권

• 일부 사이트는 이용약관에서 크롤링·스크래핑을 명시적으로 금지하고 있다.
• 수집한 데이터가 저작권 보호 대상인지, 상업적 활용이 가능한지 여부도 확인해야 한다.
• 특히 대량의 데이터를 가져와 재배포하거나, 서비스의 트래픽에 부담을 줄 정도로 요청을 보내는 행위는 문제가 될 소지가 크다.

안전한 방향으로 접근하려면:

1. 가능하면 공식 API가 있는지 먼저 확인
2. 없는 경우,
   • 요청 빈도를 낮추고(딜레이 추가)
   • 로그인 정보·개인정보는 철저히 마스킹
   • 내부 분석/연구용 목적을 우선

정도가 기본적인 가이드가 된다.

3-3. 서버에 부담을 주지 않는 요청 패턴

• 크롤러가 짧은 시간에 너무 많은 요청을 보내면, 상대 서버 입장에서는 공격처럼 보일 수 있다.
• 일반적으로는 요청 사이에 수 초의 지연을 두고,
  • “한 도메인당 초당 1~2회 이하” 정도의 속도로 동작하도록 설계하는 것이 무난하다.
• 사이트 구조가 바뀌었을 때 에러가 반복 발생하지 않도록 예외 처리도 함께 고려해야 한다.

---

4. 크롤링에 자주 사용되는 기술 스택

실제 실무·개인 프로젝트에서 많이 사용되는 기술 조합을 간단히 정리하면 다음과 같다.

4-1. 파이썬 + Requests + BeautifulSoup

가장 널리 사용되는 조합이다.

• Requests
  • HTTP 요청을 간단한 코드로 보낼 수 있게 해 주는 라이브러리
• BeautifulSoup
  • HTML 문서를 파싱하고, 태그·속성 기준으로 원하는 요소를 찾는 데 활용

간단한 예시는 다음과 같다. (개념 설명용 코드)

import requests
from bs4 import BeautifulSoup

url = "https://example.com/news"
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")

titles = []
for el in soup.select("h2.article-title"):
    titles.append(el.get_text(strip=True))

print(titles)

위 코드 구조만 이해해 두면, 대부분의 정적(Static) 페이지 크롤링은 유사한 형태로 구현할 수 있다.

4-2. Selenium 등 브라우저 자동화

일부 사이트는 자바스크립트로 화면을 렌더링하기 때문에, 단순 HTTP 요청만으로는 원하는 데이터를 얻기 어렵다.
이 경우 Selenium과 같은 브라우저 자동화 도구를 사용하여 실제 브라우저를 띄운 뒤, DOM이 모두 로딩된 시점에서 데이터를 추출한다.

다만 Selenium은:

• 실행 속도가 상대적으로 느리고
• 서버/클라이언트 자원을 많이 사용

하기 때문에, 정말 필요한 경우에만 사용하는 것이 좋다.

4-3. 공식 API 우선 사용

가능하다면, 크롤링보다는 공식 API 사용을 우선적으로 검토하는 것이 바람직하다.

• API는 데이터 구조가 명확하고, 버전 관리가 이루어지며,
• 허용 범위와 호출 제한이 문서화되어 있기 때문이다.

크롤링은 어디까지나 “API가 없거나, 제공 범위가 부족한 경우의 보완 수단” 정도로 인식하는 접근이 안전하다.

---

5. 간단한 예시: 뉴스 헤드라인 수집 구조 설계

실제 코드를 상세히 다루기 전에, 구조 설계 관점에서 한 번 더 정리해 보자.
예를 들어 “특정 뉴스 사이트의 오늘 헤드라인을 모아서 CSV로 저장”하는 시나리오를 생각해 보면:

1. 목표 정의
   • 수집 대상: 메인 페이지의 헤드라인 텍스트 + 링크 URL
   • 저장 형식: date, title, url 컬럼을 가진 CSV
2. 페이지 구조 파악
   • 브라우저 개발자 도구(F12)를 열어, 헤드라인 요소의 CSS 선택자 확인
   • 예: div.main-headline > a 등
3. 요청/응답 테스트
   • Requests로 HTML 응답이 정상적으로 오는지 테스트
   • User-Agent 헤더 등을 적절히 설정
4. 파싱 로직 설계
   • soup.select("div.main-headline > a") 형식으로 제목/링크 추출
   • 날짜 정보는 오늘 날짜를 코드에서 직접 기록
5. 저장 및 스케줄링
   • 파이썬 csv 모듈로 파일 저장
   • 필요 시 크론(cron), 윈도우 작업 스케줄러, GitHub Actions 등으로 정해진 시간마다 실행

이와 같은 식으로 “목표 → 구조 분석 → 추출 로직 → 저장 방식 → 실행 주기” 순으로 정리하면,
어떤 사이트를 대상으로 하더라도 기본 설계 방식은 크게 달라지지 않는다.

---

6. 앞으로의 글 구성 예고

이번 글에서는 크롤링 카테고리의 출발점으로, 다음 내용을 정리했다.

• 웹 크롤링의 개념과 크롤링·스크래핑의 차이
• 크롤러의 기본 구성 요소(큐, 다운로더, 파서, 저장소)
• robots.txt, 이용약관, 요청 속도 등 필수적인 윤리·법적 고려 사항
• 파이썬 기반의 대표적인 기술 스택과 브라우저 자동화 개념
• 간단한 뉴스 크롤링 구조 설계 예시

다음 글부터는 보다 실무적인 관점에서,

• 파이썬 Requests + BeautifulSoup로 크롤링 실습,
• Selenium을 이용한 동적 페이지 처리,
• 크롤링 결과를 구글 시트/노션 등과 연동하는 방법,
• GPT를 활용해 크롤링 데이터를 자동 요약·분류하는 흐름

등을 단계별로 다룰 예정이다.

이번 글을 기반으로, 크롤링이 “단순히 어렵고 위험한 기술”이 아니라
규칙과 기준을 갖고 활용하면 유용한 데이터 수집 도구라는 관점을 갖고 다음 글을 이어서 보시면 좋다.