代码之家 › 专栏 › 技术社区 › shinjuo

用Perl下载文件

download perl html

shinjuo · 技术社区 · 14 年前

我已经更新了我的代码,使其看起来像这样。当我运行它时,尽管它说找不到指定的链接。还有什么好方法可以测试它是否确实连接到了页面?

#!/usr/bin/perl -w
use strict;
use LWP;
use WWW::Mechanize;

my $mech = WWW::Mechanize->new();
my $browser = LWP::UserAgent->new;

$browser->credentials(
    'Apache/2.2.3 (CentOS):80',
    'datawww2.wxc.com',
    '************' => '*************'
);

my $response = $browser->get(
'http://datawww2.wxc.com/kml/echo/MESH_Max_180min/'
);

$mech->follow_link( n => 8);

(原帖)

用Perl下载小文件的最佳方法是什么?

我查看了CPAN并找到了LWP下载,但它似乎只从链接下载。我有一个网页,上面的链接每隔三十分钟就会改变一次,名称中的日期和时间也会改变一次,所以它们永远不会相同。有我可以使用的内置功能吗?Google上的每个人都说要使用wget,但如果可能的话,我有点想坚持使用perl,只是想帮助我在编程时更好地学习它。

还有一个用户名和密码可以登录到站点。我仍然知道如何使用Perl访问该站点,但我认为这可能会改变我可以用来下载的内容。

2 回复 | 直到 7 年前

Community Egal 7 年前

如您在其他问题中的评论所述: here

您可以使用相同的方法来检索 .csv 文件作为 .html 或其他基于文本的文件。

#!/usr/bin/perl -w
use strict;
use LWP::Simple;

my $csv = get("http://www.spc.noaa.gov/climo/reports/last3hours_hail.csv")
           or die "Could not fetch NWS CSV page.";

要登录,您可能需要使用 WWW::Mechanize 填写webform(查看 $mech->get() , $mech->submit_form() 和 $mech->follow_link() )

Anon. 14 年前

基本上,您需要获取页面,解析它以获取URL,然后下载该文件。

我个人会用 HTML::TreeBuilder::XPath ,编写一个快速的xpath表达式,直接转到正确的href属性节点,然后将其插入lwp。

use HTML::TreeBuilder::XPath;
my $tree = HTML::TreeBuilder::XPath->new;
$tree->parse({put page content here});
foreach($tree->findnodes({put xpath expression here}){
    {download the file}
}

推荐文章

My Car · HTML或JavaScript:当点击HTML按钮时,如何触发.txt文件的下载?

2 年前

Til Hund · PDF下载脚本仅下载部分PDF,速度较慢

6 年前

Nancy · 下载到PDF不工作

6 年前

SegFaultDev · 如何在Laravel中使用Response->download()下载文件后删除文件

6 年前

Nathan Verrilli · 如何在客户端javascript中多线程下载

6 年前

Raiper34 · 像在普通浏览器中一样下载电子文件

6 年前

Philip Svenningsen Arnevig · 如何将包/模块下载到python 3.6.0

6 年前

jmiller · 如何使用php输出图像并下载

6 年前

user9594573 · AttributeError:“YouTube”对象没有属性“get\u videos”

6 年前

Marakusa · Zip文件下载已损坏

6 年前