plaggerのスクレイピング関連
以前、plaggerでスクレイピングをしていた時の設定の残骸を一応残す。
CustomFeed-Config配下のyaml スクレイピングしてRSSの無いサイトのRSSを作っていたっぽいが。
author: XXXXX
match: http://hoge\.hoge\.co\.jp/hoge/hoge/
extract: <td class="title_row"><a href="(.+?)">(.+?)</a>.*?</td>
extract_capture: link1 title
extract_after_hook: $data->{link} = "http://hoge.hoge.co.jp".$data->{link1}
author: XXXXX
match: http://www\.hoge\.com/hoge/hoge/hoge\.cgi
extract: <tr bgcolor="#ffffff"><td align=center>(.+?)<font color="#..00..">(.+?)
</font></td><td>\s+<a href="(.+?)">(.+?)</a></td></tr>
extract_capture: title1 title2 link1 title3
extract_after_hook: |
$data->{title} = $data->{title1}.$data->{title2}." ".$data->{title3};
$data->{link} = "http://www.hoge.com/hoge/hoge/hoge.cgi".$data->{link1};
plagger/config配下のyaml
global:
plugin_path:
- /home/hoge/plagger/assets/plugins
assets_path: /home/hoge/plagger/assets
timezone: Asia/Tokyo
log:
level: debug
plugins:
- module: Subscription::Config
config:
feed:
- http://hoge.hoge.co.jp/hoge/hoge/
- module: CustomFeed::Config
- module: Publish::Feed
config:
format: RSS
dir: /var/www/html/rss/
filename: hoge.rss
#######
global:
plugin_path:
- /home/hoge/perl/Plagger/Plugin
assets_path: /home/hoge/plagger/assets
timezone: Asia/Tokyo
log:
level: debug
plugins:
- module: Subscription::Config
config:
feed:
- http://www.hoge.com/hoge/hoge/hoge.cgi
- module: CustomFeed::Config
- module: Publish::Feed
config:
format: RSS
dir: /hoge/httpdocs/rss/
filename: hoge.rss
- module: Publish::JavaScript
config:
dir: /hoge/httpdocs/js/
filename: hoge.js
【PR】
サンワサプライ 電源延長コード 2m トラッキング火災予防絶縁キャップ付きスイングプラグ TAP-EX2102 ホワイト
￥830
(2024年11月14日 16:58 GMT +09:00 時点 - 詳細はこちら価格および発送可能時期は表示された日付/時刻の時点のものであり、変更される場合があります。本商品の購入においては、購入の時点で当該の Amazon サイトに表示されている価格および発送可能時期の情報が適用されます。)