php 使用curl_multi_init批量请求
抓取多个URL地址是Web开发中常见的需求,使用PHP的curl库可以简化这个过程。本文将详细介绍如何使用PHP的curl库同时请求多个URL地址,并提供具体的代码案例和注释。
curl库介绍
准备工作
;extension=curl
使用curl同时请求多个URL
$urls = [ 'http://example.com/api/1', 'http://example.com/api/2', 'http://example.com/api/3', ];
接下来,我们循环遍历URL数组,使用curl库来发送请求并获取响应。
// 创建一个curl多个句柄 $mh = curl_multi_init(); // 创建一个句柄数组,用于存储每个请求的句柄 $handles = []; foreach ($urls as $url) { // 创建一个新的curl句柄 $handle = curl_init(); // 设置curl选项 curl_setopt($handle, CURLOPT_URL, $url); curl_setopt($handle, CURLOPT_RETURNTRANSFER, true); // 将句柄添加到多个句柄中 curl_multi_add_handle($mh, $handle); // 将句柄添加到句柄数组中 $handles[] = $handle; } // 执行所有请求 $running = null; do { curl_multi_exec($mh, $running); } while ($running > 0); // 获取所有请求的响应数据 $responses = []; foreach ($handles as $handle) { $response = curl_multi_getcontent($handle); $responses[] = $response; // 移除句柄 curl_multi_remove_handle($mh, $handle); // 关闭句柄 curl_close($handle); } // 关闭curl多个句柄 curl_multi_close($mh); // 打印所有响应数据 foreach ($responses as $response) { echo $response . "\n"; }
代码分析:
然后,我们使用curl_init()方法创建一个新的curl句柄,并设置其选项。这些选项包括URL地址和一个标志位CURLOPT_RETURNTRANSFER,用于指定curl请求时返回原始的响应数据。
接下来,我们使用curl_multi_add_handle()方法将每个curl句柄添加到多个句柄中。
在添加完所有句柄后,我们使用curl_multi_exec()方法执行所有请求,直到所有请求都完成。
然后,我们使用curl_multi_getcontent()方法获取每个请求的响应数据,并将其存储在一个数组中。
最后,我们使用curl_multi_remove_handle()方法和curl_close()方法分别从多个句柄中移除和关闭每个句柄,然后使用curl_multi_close()方法关闭整个多个句柄的curl会话。
最后一步,我们遍历响应数组,并使用echo语句打印每个响应。
通过上述代码,我们可以同时发送多个curl请求,并获得每个请求的响应数据。可以根据具体需求对代码进行修改,比如设置超时时间、设置其他curl选项等。
总结
本文中,我们介绍了如何使用curl库来同时请求多个URL地址。通过创建多个curl句柄,并使用curl_multi_close()方法执行所有请求,我们可以方便地进行并发请求。这对于需要同时抓取多个URL的Web开发任务非常有帮助。