shell批量抓取百度首页真实网址

1、以关键词：seo为例# curl -s "http://www.baidu.com/s?i髫潋啜缅e=UTF-8&wd=seo"|grep -o -E "\"url\":\"http://www.baidu.com/link\?url=[a-z0-9A-Z_-]+\""|awk -F "\"" '{print $4}'取得自己所需要的url

2、测试一条，是否能抓取真实网址# curl -I -L -s http://www.baidu.com/link?url=8il2aAP_H9tDzpZMOPccNTiHoyw00yujefXkmQM2Gdy|grep Location|sed 's/Location://'结果显示是可行的。