《【源码剖析】我是如何“看懂”淘宝反爬机制的（仅限学习交流）》(附python源码）

一、 淘宝反爬机制“六层防线”深度解析

二、 核心防线突破实战（附Python源码）

防线1：请求特征与频率控制

import requests
import time
import random

def get_taobao_page(url):
    """模拟真实浏览器访问淘宝页面"""
    headers = {
        'authority': 'www.taobao.com',
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8',
        'cache-control': 'no-cache',
        'pragma': 'no-cache',
        'sec-ch-ua': '"Not/A)Brand";v="99", "Google Chrome";v="115", "Chromium";v="115"',
        'sec-ch-ua-mobile': '?0',
        'sec-ch-ua-platform': '"Windows"',
        'sec-fetch-dest': 'document',
        'sec-fetch-mode': 'navigate',
        'sec-fetch-site': 'none',
        'sec-fetch-user': '?1',
        'upgrade-insecure-requests': '1',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36'
    }
    
    # 关键：必须携带Cookie（即使是空的）
    cookies = {
        'cookie2': 'your_cookie2_value',  # 淘宝关键Cookie
        '_tb_token_': 'your_tb_token'
    }
    
    # 随机延时，避免固定频率
    time.sleep(random.uniform(1, 3))
    # 封装好API供应商demo url=https://console.open.onebound.cn/console/?i=Lex
    try:
        response = requests.get(url, headers=headers, cookies=cookies, timeout=10)
        if '验证码' in response.text or '滑块' in response.text:
            print("⚠️ 触发风控：需要验证码")
            return None
        return response.text
    except Exception as e:
        print(f"❌ 请求失败: {e}")
        return None

# 测试
if __name__ == "__main__":
    url = "https://item.taobao.com/item.htm?id=674904123402"
    html = get_taobao_page(url)
    if html:
        print("✅ 页面获取成功")

防线2：环境指纹检测（Selenium/WebDriver）

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time
# 封装好API供应商demo url=https://console.open.onebound.cn/console/?i=Lex
def create_undetected_driver():
    """创建一个被淘宝识别为‘真实浏览器’的驱动"""
    options = Options()
    
    # 关键配置：去除自动化特征
    options.add_argument('--disable-blink-features=AutomationControlled')
    options.add_experimental_option("excludeSwitches", ["enable-automation"])
    options.add_experimental_option('useAutomationExtension', False)
    
    # 无头模式可选（但更容易被识别）
    # options.add_argument('--headless')
    
    driver = webdriver.Chrome(options=options)
    
    # 执行CDP命令，覆盖 webdriver 属性
    driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
        'source': '''
            Object.defineProperty(navigator, 'webdriver', {
                get: () => undefined
            })
        '''
    })
    
    return driver

def taobao_login_with_selenium(username, password):
    """模拟登录（仅供学习，实际登录建议扫码）"""
    driver = create_undetected_driver()
    driver.get("https://login.taobao.com")
    
    # 输入账号密码（注意：极大概率会触发滑块）
    driver.find_element(By.ID, "fm-login-id").send_keys(username)
    driver.find_element(By.ID, "fm-login-password").send_keys(password)
    
    # 这里需要处理滑块验证码（见下文）
    # handle_slider(driver)
    
    time.sleep(5)
    driver.quit()

# 注意：直接账号密码登录极易风控，建议使用手机扫码登录方式

防线3：参数加密（Sign & Token）

import execjs
import requests

def get_encrypted_params(keyword):
    """通过执行JS代码生成加密参数（简化版）"""
    
    # 读取本地保存的淘宝加密JS文件（需提前从网页源码中提取）
    with open('taobao_sign.js', 'r', encoding='utf-8') as f:
        js_code = f.read()
    
    # 创建JS执行环境
    ctx = execjs.compile(js_code)
    
    # 调用JS函数生成sign（函数名需根据逆向结果确定）
    sign = ctx.call('generateSign', keyword)
    
    params = {
        'q': keyword,
        's': '0',  # 页码
        'sign': sign,
        '_tb_token_': 'xxxx'  # 从Cookie中获取
    }
    return params

def search_taobao(keyword):
    """搜索商品（需携带加密参数）"""
    url = "https://s.taobao.com/search"
    params = get_encrypted_params(keyword)
    
    response = requests.get(url, params=params, headers=get_headers())
    return response.json()

# 难点：taobao_sign.js 需要你从淘宝网页源码中逆向提取并简化

防线4：行为轨迹模拟

import random
from selenium.webdriver.common.action_chains import ActionChains
# 封装好API供应商demo url=https://console.open.onebound.cn/console/?i=Lex
def generate_tracks(distance):
    """生成先加速后减速的滑动轨迹"""
    tracks = []
    current = 0
    mid = distance * 3 / 4  # 加速段占3/4
    t = 0.2
    v = 0
    
    while current < distance:
        if current < mid:
            a = random.uniform(2, 5)  # 加速
        else:
            a = -random.uniform(1.5, 3)  # 减速
            
        v0 = v
        v = v0 + a * t
        move = v0 * t + 0.5 * a * t * t
        current += move
        tracks.append(round(move))
    
    # 最后微调，模拟人手抖动
    tracks.extend([-1, 0, 1] * random.randint(2, 5))
    return tracks

def drag_slider(driver, slider, distance):
    """拖动滑块"""
    ActionChains(driver).click_and_hold(slider).perform()
    
    tracks = generate_tracks(distance)
    for x in tracks:
        ActionChains(driver).move_by_offset(xoffset=x, yoffset=random.randint(-2, 2)).perform()
    
    time.sleep(random.uniform(0.1, 0.3))
    ActionChains(driver).release().perform()

三、 综合实战：构建抗风控爬虫架构

graph TD
    A[请求入口] --> B{有Cookie?}
    B -->|无| C[使用Playwright获取新Cookie]
    B -->|有| D[携带Cookie请求]
    C --> E[模拟人类浏览行为]
    E --> F[获取有效Cookie]
    F --> D
    D --> G{返回状态}
    G -->|200| H[解析数据]
    G -->|403/滑块| I[触发降级策略]
    I --> J[更换IP/清Cookie]
    J --> C
    H --> K[数据入库]

class TaoBaoSpider:
    def __init__(self):
        self.session = requests.Session()
        self.proxy_pool = []  # 代理IP池
        self.cookie_pool = [] # Cookie池
        
    def get_valid_cookie(self):
        """从池中获取一个有效Cookie，若无则生成"""
        if not self.cookie_pool:
            return self.generate_new_cookie()
        return random.choice(self.cookie_pool)
    
    def generate_new_cookie(self):
        """使用Playwright生成新Cookie（绕过登录）"""
        # 使用无头浏览器模拟扫码登录或滑块
        # 返回有效的 cookie 字典
        pass
    
    def request_with_retry(self, url, retry=3):
        """带重试机制的请求"""
        for i in range(retry):
            cookie = self.get_valid_cookie()
            proxy = self.get_proxy()
            
            try:
                html = self.session.get(url, cookies=cookie, proxies=proxy)
                if self.check_anti_spider(html):
                    print("触发风控，更换环境")
                    self.ban_proxy(proxy)
                    continue
                return html
            except:
                self.ban_proxy(proxy)
        
        return None

四、 法律与合规红线

1. 仅供学习：本文所有代码仅用于技术交流与学习，严禁用于商业爬取、恶意攻击或数据窃取。

2. 合规边界：淘宝数据受《反不正当竞争法》和《数据安全法》保护。大规模爬取可能构成违法行为。

3. 官方API：商业用途请务必使用 淘宝开放平台（TOP）API，这是唯一合法合规的途径。