×

搜好货 item_search 接口对接全攻略:从入门到精通

万邦科技Lex 万邦科技Lex 发表于2025-10-30 09:43:57 浏览149 评论0

抢沙发发表评论

           注册账号免费测试搜好货API数据接口

搜好货作为国内领先的工业品 B2B 电商平台,聚焦机械、原材料、五金工具等工业品类,其商品搜索功能(对应item_search接口,非官方命名)是批量获取工业品货源、筛选供应商的核心工具,广泛应用于工业品采购商比价、供应链分析、市场监控等场景。由于搜好货无公开官方 API,开发者需通过页面解析实现搜索对接。本文将系统讲解接口对接逻辑、参数解析、技术实现及反爬应对,帮助开发者构建稳定的工业品搜索数据获取系统。

一、接口基础认知(核心功能与场景)

  1. 核心功能搜好货item_search接口通过关键词、分类、价格等多维度条件筛选工业品,返回符合条件的商品列表,核心字段包括:
    • 基础信息:商品 ID(item_id)、标题、主图、类目(如 “机床”“不锈钢管”)、详情页 URL、发布时间

    • 价格信息:批发价、起订量(如 “1 台起订”)、价格梯度标识(如 “10 + 台享低价”)

    • 供应商信息:公司名称、所在地(如 “山东济南”“广东佛山”)、资质认证(如 “ISO9001”)

    • 交易数据:成交记录(如 “已售 200 台”)、好评率、供货能力(如 “日产能 50 台”)

    • 筛选标识:是否现货、是否支持定制、是否包邮(工业品多为物流配送)

  2. 典型应用场景
    • 工业品采购商选品:按 “304 不锈钢管 直径 50mm” 搜索,筛选价格、起订量合适的供应商

    • 供应链分析:统计 “数控机床” 类目的价格分布、核心产地占比、起订量区间

    • 供应商筛选:按 “口罩机 + 广东 + ISO 认证” 搜索,定位优质区域供应商

    • 市场监控:跟踪 “新能源设备” 等热门品类的价格波动与新品上架

  3. 接口特性
    • 非官方性:无公开 API,依赖页面解析,页面结构变更频率低于消费电商

    • B2B 属性:数据包含大量工业品批发字段(起订量、批量折扣、定制服务)

    • 反爬机制:包含 IP 限制(高频请求封锁)、User-Agent 校验、Cookie 验证(非强制)

    • 静态为主:搜索结果嵌入静态 HTML,分页通过 URL 参数控制,动态加载内容少

    • 分页限制:默认每页 30 条,最多支持 50 页(约 1500 条结果)

二、对接前置准备(环境与参数解析)

  1. 开发环境
    • 网络请求:requests(同步请求)、aiohttp(异步批量搜索)

    • 页面解析:BeautifulSoup(HTML 静态解析)、lxml(XPath 提取,高效处理列表)

    • 反爬工具:fake_useragent(随机 User-Agent)、proxy_pool(代理 IP 池管理)

    • 数据处理:re(正则提取价格、起订量)、pandas(列表数据清洗)

    • 开发语言:Python(推荐,适合快速解析静态页面与处理反爬)

    • 核心库:

  2. 搜索 URL 结构与核心参数搜好货搜索页基础 URL 为:https://www.912688.com/search,核心参数通过 URL 查询字符串传递:
    筛选条件参数名示例值说明
    关键词q304不锈钢管 数控机床支持中文、型号(如 “XK7132”)、材质
    分类 IDcatid101(机床)、203(钢材)分类 ID 需通过解析首页分类导航获取
    价格区间(始)price_min1000最低价格(元),如1000表示≥1000 元
    价格区间(终)price_max5000最高价格(元),如5000表示≤5000 元
    地区area山东 广东供应商所在地筛选(工业品核心产地)
    起订量min_buy1 10 100最低起订量(台 / 个 / 件),如10表示≥10
    排序方式sortprice_asc(价格升序)见 “排序参数表”
    分页page1 2 ... 50页码,默认 1,最大 50
    特色筛选is_stock1(仅现货)1 - 仅显示现货商品,0 - 不限
  3. 排序参数表搜好货搜索支持多种排序方式,对应sort参数值如下:
    排序方式sort参数值适用场景
    综合推荐default默认排序,平衡相关性与供应商资质
    价格升序price_asc低价货源筛选
    价格降序price_desc高端设备筛选
    销量降序sale_desc热门商品筛选(高成交优先)
    最新发布new_desc新品监控(如新款机床)
  4. 分类 ID 获取分类 ID(catid)需通过解析搜好货首页分类导航获取,示例步骤:
    • 机床:101;钢材:203;五金工具:302;化工原料:401

    • 访问首页(https://www.912688.com/),通过浏览器开发者工具查看分类菜单 HTML;

    • 提取a标签的href(如/search?catid=101中的101即为机床分类 ID);

    • 常用分类 ID(示例):

三、接口调用流程(基于页面解析)

以 “搜索山东地区的 304 不锈钢管,价格 1000-5000 元,10 台起订,按销量降序排序” 为例,核心流程为参数组装→URL 构建→请求发送→列表解析→分页遍历
  1. URL 构建示例结合参数生成目标搜索 URL:
    python
    运行
    keyword = "304不锈钢管"catid = "203"  # 钢材分类price_min = 1000price_max = 5000area = "山东"min_buy = 10sort = "sale_desc"  # 销量降序page = 1url = f"https://www.912688.com/search?q={keyword}&catid={catid}&price_min={price_min}&price_max={price_max}&area={area}&min_buy={min_buy}&sort={sort}&page={page}"
  2. 请求头与反爬伪装需模拟浏览器请求头,提升可信度:
    python
    运行
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36",
        "Referer": "https://www.912688.com/",
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
        "Cookie": "PHPSESSID=xxx; user_id=anonymous; Hm_lvt_xxx=xxx"  # 匿名Cookie即可}
  3. 页面解析与数据提取搜索结果列表通常在 HTML 的<div class="product-list">标签内,每条商品信息包含以下核心字段:
    字段解析方式(CSS 选择器示例)说明
    商品 IDa标签的href中提取(如/chanpin/123.html123唯一标识
    标题.product-title的文本如 “304 不锈钢管 直径 50mm 无缝”
    主图.product-img imgsrc属性商品主图 URL
    批发价.price的文本(去除 “¥”)如 “2500”(元 / 台)
    起订量.min-order的文本如 “10 台起订”
    成交记录.trade-count的文本(提取数字)如 “已售 200 台” 提取 “200”
    供应商名称.company-name的文本如 “山东某钢铁有限公司”
    所在地.company-location的文本如 “山东 聊城”
    资质标签.cert-tag的文本(多个标签)如 “ISO9001”“现货”
  4. 分页处理
    • 分页通过page参数控制,前 50 页均为有效数据,超过则返回重复内容;

    • 终止条件:当前页商品数量 < 30(最后一页)或页码≥50;

    • 分页间隔:每页请求间隔 3-5 秒(随机波动),工业品平台对高频访问敏感,需严格控制频率。

四、代码实现示例(Python)

以下是item_search接口的完整实现,包含多条件筛选、分页遍历、数据解析及反爬处理:
import requests
import time
import random
import re
from urllib.parse import quote
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
from typing import List, Dict

class SouhaohuoSearchApi:
    def __init__(self, proxy_pool: List[str] = None):
        self.base_url = "https://www.912688.com/search"
        self.ua = UserAgent()
        self.proxy_pool = proxy_pool  # 代理池列表,如["http://ip:port", ...]
        self.catid_map = self._load_category_map()  # 分类ID映射表

    def _load_category_map(self) -> Dict[str, str]:
        """加载分类名称-ID映射表(简化版)"""
        return {
            "机床": "101",
            "钢材": "203",
            "五金工具": "302",
            "化工原料": "401"
        }

    def _get_headers(self) -> Dict[str, str]:
        """生成随机请求头"""
        return {
            "User-Agent": self.ua.random,
            "Referer": "https://www.912688.com/",
            "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8",
            "Cookie": "PHPSESSID=xxx; user_id=anonymous; Hm_lvt_xxx=xxx"  # 替换为实际Cookie
        }

    def _get_proxy(self) -> Dict[str, str]:
        """随机获取代理"""
        if self.proxy_pool and len(self.proxy_pool) > 0:
            proxy = random.choice(self.proxy_pool)
            return {"http": proxy, "https": proxy}
        return None

    def _clean_price(self, price_str: str) -> float:
        """清洗价格字符串(去除¥、逗号等)"""
        if not price_str:
            return 0.0
        price_str = re.sub(r"[^\d.]", "", price_str)
        return float(price_str) if price_str else 0.0

    def _clean_trade_count(self, trade_str: str) -> int:
        """清洗成交记录字符串(提取数字)"""
        if not trade_str:
            return 0
        trade_num = re.search(r"\d+", trade_str)
        return int(trade_num.group()) if trade_num else 0

    def _parse_item(self, item_soup) -> Dict[str, str]:
        """解析单条商品数据"""
        # 提取商品ID
        link = item_soup.select_one("a.product-link")["href"]
        item_id = re.search(r"/chanpin/(\d+)\.html", link).group(1) if link else ""

        # 提取核心字段
        return {
            "item_id": item_id,
            "title": item_soup.select_one(".product-title")?.text.strip() or "",
            "main_image": item_soup.select_one(".product-img img")?.get("src") or "",
            "url": f"https://www.912688.com{link}" if link.startswith("/") else link,
            "price": self._clean_price(item_soup.select_one(".price")?.text.strip() or ""),
            "min_order": item_soup.select_one(".min-order")?.text.strip() or "",
            "trade_count": self._clean_trade_count(item_soup.select_one(".trade-count")?.text.strip() or ""),
            "supplier": {
                "name": item_soup.select_one(".company-name")?.text.strip() or "",
                "location": item_soup.select_one(".company-location")?.text.strip() or ""
            },
            "tags": [tag.text.strip() for tag in item_soup.select(".cert-tag")]  # 资质标签
        }

    def _parse_page(self, html: str) -> List[Dict]:
        """解析页面的商品列表"""
        soup = BeautifulSoup(html, "lxml")
        item_list = soup.select("div.product-list > div.product-item")
        return [self._parse_item(item) for item in item_list if item]

    def item_search(self, 
                   keyword: str = "", 
                   cate: str = "", 
                   price_min: float = None, 
                   price_max: float = None, 
                   area: str = "", 
                   min_buy: int = None, 
                   is_stock: int = 0, 
                   sort: str = "default", 
                   page_limit: int = 5) -> Dict:
        """
        搜索搜好货商品列表
        :param keyword: 搜索关键词
        :param cate: 分类名称(如“钢材”)或分类ID
        :param price_min: 起始价格(元)
        :param price_max: 结束价格(元)
        :param area: 供应商地区(如“山东”)
        :param min_buy: 最低起批量(台/个)
        :param is_stock: 是否仅现货(1-是,0-否)
        :param sort: 排序方式(default/sale_desc/price_asc等)
        :param page_limit: 最大页数(默认5)
        :return: 标准化搜索结果
        """
        try:
            # 1. 参数预处理
            if not keyword and not cate:
                return {"success": False, "error_msg": "关键词(keyword)和分类(cate)至少需提供一个"}
            # 转换分类名称为ID
            if cate in self.catid_map:
                catid = self.catid_map[cate]
            else:
                catid = cate if cate else ""  # 若为ID则直接使用,为空则全类目搜索
            # 编码关键词、地区(支持中文和特殊符号)
            encoded_keyword = quote(keyword, encoding="utf-8") if keyword else ""
            encoded_area = quote(area, encoding="utf-8") if area else ""

            all_items = []
            current_page = 1

            while current_page <= page_limit:
                # 构建参数
                params = {
                    "q": encoded_keyword,
                    "sort": sort,
                    "page": current_page,
                    "is_stock": is_stock
                }
                if catid:
                    params["catid"] = catid
                if price_min is not None:
                    params["price_min"] = price_min
                if price_max is not None:
                    params["price_max"] = price_max
                if encoded_area:
                    params["area"] = encoded_area
                if min_buy is not None:
                    params["min_buy"] = min_buy

                # 发送请求(带随机延迟)
                time.sleep(random.uniform(3, 5))  # 工业品平台间隔需更长,3-5秒
                headers = self._get_headers()
                proxy = self._get_proxy()

                response = requests.get(
                    url=self.base_url,
                    params=params,
                    headers=headers,
                    proxies=proxy,
                    timeout=10
                )
                response.raise_for_status()
                items = self._parse_page(response.text)

                if not items:
                    break  # 无数据,终止分页

                all_items.extend(items)
                # 若当前页商品数<30,说明是最后一页
                if len(items) < 30:
                    break

                current_page += 1
                # 防止超过最大页数(50页)
                if current_page > 50:
                    break

            # 去重(基于item_id)
            seen_ids = set()
            unique_items = []
            for item in all_items:
                if item["item_id"] not in seen_ids:
                    seen_ids.add(item["item_id"])
                    unique_items.append(item)

            return {
                "success": True,
                "total": len(unique_items),
                "page_processed": current_page - 1,
                "items": unique_items
            }

        except requests.exceptions.HTTPError as e:
            if "403" in str(e):
                return {"success": False, "error_msg": "触发反爬,建议更换代理或Cookie", "code": 403}
            return {"success": False, "error_msg": f"HTTP错误: {str(e)}", "code": response.status_code}
        except Exception as e:
            return {"success": False, "error_msg": f"搜索失败: {str(e)}", "code": -1}

# 使用示例
if __name__ == "__main__":
    # 代理池(替换为有效代理)
    PROXIES = [
        "http://123.45.67.89:8888",
        "http://98.76.54.32:8080"
    ]

    # 初始化API客户端
    search_api = SouhaohuoSearchApi(proxy_pool=PROXIES)

    # 搜索“304不锈钢管”,分类“钢材”,价格1000-5000元,山东地区,10台起订,按销量降序,最多3页
    result = search_api.item_search(
        keyword="304不锈钢管",
        cate="钢材",
        price_min=1000,
        price_max=5000,
        area="山东",
        min_buy=10,
        sort="sale_desc",
        page_limit=3
    )

    if result["success"]:
        print(f"搜索成功:共找到 {result['total']} 件商品,处理 {result['page_processed']} 页")
        for i, item in enumerate(result["items"][:5]):  # 打印前5条
            print(f"\n商品 {i+1}:")
            print(f"标题:{item['title'][:50]}...")  # 截断长标题
            print(f"价格:{item['price']} 元 | 起批量:{item['min_order']} | 已售:{item['trade_count']}台")
            print(f"供应商:{item['supplier']['name']}({item['supplier']['location']})")
            print(f"资质:{','.join(item['tags'])} | 详情页:{item['url']}")
    else:
        print(f"搜索失败:{result['error_msg']}(错误码:{result.get('code')})")


五、关键技术难点与解决方案

  1. 工业品特有筛选条件处理(起订量、资质)
    • 起订量参数min_buy支持整数输入(如 “10” 表示≥10 台),结合min_order字段解析,适配批量采购场景;

    • 资质标签(如 “ISO9001”“现货”)通过.cert-tag选择器提取,辅助筛选优质供应商;

    • 示例代码中tags字段整合资质信息,满足工业品供应商评估需求。

    • 问题:工业品采购依赖起订量、供应商资质(如 ISO 认证)等特有维度,参数传递与解析需精准。

    • 解决方案

  2. 分页终止条件与数据有效性
    • 若当前页商品数量 < 30(默认每页条数),判定为最后一页;

    • 强制设置页码上限为 50,避免无效请求;

    • 示例代码中if current_page > 50: break逻辑防止超页请求。

    • 问题:搜好货分页无明确 “总页数” 标识,且超过 50 页后数据重复,需动态判断终止时机。

    • 解决方案

  3. 反爬机制对抗
    • 代理 IP 轮换:每 2-3 页切换代理,使用高匿代理(避免透明代理被识别),代理存活周期≥15 分钟;

    • 请求间隔控制:单 IP 每页请求间隔 3-5 秒(随机波动),模拟采购商浏览节奏(工业品决策周期长);

    • Cookie 池策略:通过多个匿名 Cookie 随机切换,降低单一标识风险;

    • 异常重试:对 403 错误,自动更换代理和 Cookie 重试(最多 2 次)。

    • 问题:工业品平台对异常访问敏感,高频请求易触发 IP 封锁(403 错误)。

    • 解决方案

  4. 数据去重与清洗
    • 基于item_id去重:用集合存储已获取的item_id,过滤重复数据(示例代码中unique_items逻辑);

    • 清洗无效数据:过滤item_id为空、标题含 “已下架”“缺货” 的商品;

    • 对规格相似商品(如同一型号不同供应商),保留价格、起订量等差异字段,辅助比价。

    • 问题:同一商品可能被供应商重复发布(不同item_id但相同规格)或因排序波动重复出现。

    • 解决方案

六、最佳实践与合规要点

  1. 系统架构设计采用 “分布式低频率采集” 架构,适配工业品平台特性:
    • 任务分发层:通过消息队列(如 RabbitMQ)分发搜索任务,控制单任务并发数≤2;

    • 采集层:多节点并行采集,每个节点绑定独立代理池,节点间请求间隔≥10 秒;

    • 存储层:用 Redis 缓存热门搜索结果(2 小时过期,工业品价格稳定),MySQL 存储历史数据(用于趋势分析);

    • 监控层:实时监控代理存活率、请求成功率,异常时通过企业微信告警。

  2. 性能优化策略
    • 异步批量搜索:使用aiohttp并发处理多关键词(如 “不锈钢管”“无缝钢管”),控制并发数≤2;

    • 按需解析:列表页优先提取item_id、价格、起订量等核心字段,详情信息通过后续item_get接口补充;

    • 热点抑制:对同一关键词 + 条件的搜索,1 小时内仅处理 1 次(返回缓存结果)。

  3. 合规性与风险控制
    • 频率限制:单 IP 日搜索请求≤200 次,单关键词日搜索≤20 次,避免对服务器造成压力;

    • 数据使用边界:不得将数据用于恶意比价、虚假宣传或商业售卖,需注明数据来源 “搜好货”;

    • 遵守 robots 协议:不爬取robots.txt禁止的路径(如/member/*用户中心)。

  4. 反爬适应性调整
    • 定期(每季度)检查搜索页结构变化(工业品平台页面变更频率低),更新解析规则;

    • 当反爬升级(如新增验证码),暂停当前 IP 并切换至备用代理池,延长请求间隔至 8 秒;

    • 建立解析降级策略:核心字段(价格、item_id)解析失败时,忽略该商品而非终止任务。

七、总结

搜好货item_search接口的对接核心在于工业品特有筛选条件的精准映射低频率高稳定性的采集策略供应商资质数据的有效提取。开发者需重点关注:
  1. 搜索参数的灵活组合(起订量、地区、资质标签),提升工业品筛选精准度;

  2. 分页终止条件的动态判断(结合商品数量与最大页码);

  3. 代理池与请求频率的严格控制(适配工业品平台用户行为特征)。

通过本文的技术方案,可构建稳定的商品搜索系统,为工业品采购商选品、供应链分析等场景提供可靠数据支持。实际应用中,需根据搜好货的反爬策略动态调整方案,平衡数据获取效率与合规性


群贤毕至

访客