网站整站扒取

请求信息

请求地址

https://api.shanhe.kim/API/网站整站扒取.php

示例地址

https://api.shanhe.kim/API/网站整站扒取.php?url=https://example.com

请求参数

参数名	类型	必填	说明
`url`	string	是	目标站点 URL，须以 http:// 或 https:// 开头
`apikey`	string	是	私有或计费接口密钥，公开接口可不传
`depth`	integer	否	站内页面爬取深度（0=仅首页，1=首页+一层链接，以此类推,最大3）
`max_pages`	integer	否	最多抓取的 HTML 页面数，最大50
`max_assets`	integer	否	最多下载的静态资源数（CSS/JS/图片/字体等），最大100
`delay`	integer	否	请求间隔（毫秒），用于降低被反爬拦截的概率，最大2000
`retry`	integer	否	请求失败时的重试次数（如 403/429/5xx），最大5
`same_origin`	string	否	保留参数，会写入返回的 meta 与报告；页面始终只爬同源，资源会下载页面中引用的跨域 CDN 文件（0/1)

状态码说明

状态码	说明
200	请求成功，服务器已成功处理了请求。
403	服务器拒绝请求，可能缺少 API 密钥或权限不足。
404	请求的资源未找到，请检查请求地址是否正确。
429	请求过于频繁，已超出速率限制，请稍后再试。
500	服务器内部错误，执行请求时遇到问题。

在线测试 GET

url *

apikey *

depth

max_pages

max_assets

delay

retry

same_origin

响应结果

// 点击「立即测试」查看返回结果

调用示例

<?php
$url = 'https://api.shanhe.kim/API/网站整站扒取.php';
$params = [
    'url' => 'YOUR_VALUE',
    'apikey' => 'YOUR_VALUE',
    'depth' => 'YOUR_VALUE',
    'max_pages' => 'YOUR_VALUE',
    'max_assets' => 'YOUR_VALUE',
    'delay' => 'YOUR_VALUE',
    'retry' => 'YOUR_VALUE',
    'same_origin' => 'YOUR_VALUE',
];
$url .= '?' . http_build_query($params);
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
$response = curl_exec($ch);
curl_close($ch);
echo $response;

import requests

url = "https://api.shanhe.kim/API/网站整站扒取.php"
params = {
    'url': 'YOUR_VALUE',
    'apikey': 'YOUR_VALUE',
    'depth': 'YOUR_VALUE',
    'max_pages': 'YOUR_VALUE',
    'max_assets': 'YOUR_VALUE',
    'delay': 'YOUR_VALUE',
    'retry': 'YOUR_VALUE',
    'same_origin': 'YOUR_VALUE',
}
response = requests.get(url, params=params)
print(response.text)

const url = new URL('https://api.shanhe.kim/API/网站整站扒取.php');
const params = {
  'url': 'YOUR_VALUE',
  'apikey': 'YOUR_VALUE',
  'depth': 'YOUR_VALUE',
  'max_pages': 'YOUR_VALUE',
  'max_assets': 'YOUR_VALUE',
  'delay': 'YOUR_VALUE',
  'retry': 'YOUR_VALUE',
  'same_origin': 'YOUR_VALUE',
};
Object.keys(params).forEach(k => url.searchParams.append(k, params[k]));

fetch(url)
  .then(r => r.text())
  .then(data => console.log(data))
  .catch(err => console.error(err));

切换接口