有paid service幫你解captcha
KinChungE 發表於 2017-3-27 09:21



    題外話:請問有無邊個網可解google個新captcha?

TOP

回覆  3ldk


    javascript 有 phantomJs  基本上同你講嘅  HTMLUnit 係同一樣野 (headless web browser ...
hihihi123hk 發表於 2017-3-27 01:06



玩左phantomJs同node.js一整天, 發現phantomJs夾node.js, 其實唔係咁夾

首先phantomJs同node.js其實係兩樣野黎, 所以一係用phantomJs, 一係用node.js, 亦因為依個原因, 所以唔能夠話node.js有phantomJs
就連官方都話唔會整node.js版本
http://phantomjs.org/faq.html

要夾埋一齊用, 我目前只諗到以下三個方法

1. 在node.js安裝3rd的phantomJs module, 不過用起黎怪怪地, 試過幾段phantomJs的example code都行唔到, 總之問題多多
依度亦有少許討論
http://stackoverflow.com/questio ... -page-using-node-js

2. 用npm, 夾硬安裝nodejs module在phantomJs旁邊, 然後在phantomJs入面直接用nodejs的module
實驗結果係, 有D module係可以正常使用, 但亦有D會出問題, 而且phantomJs亦唔似得nodejs咁, 可以行一D新語法, 所以依個方法亦唔可行

3. 分開兩個program, phantomJs拎完html, 用http request send比nodejs處理
依個應該係最可行既方法, 但係較麻煩, 唔夠直接
而且phantomJs唔似得nodejs可以裝module, 但找抓html, 都有一定量的logic需要寫, 如果無module幫下手, 都幾麻煩


所以想知道, 正確玩法係點玩?

TOP

本帖最後由 hihihi123hk 於 2017-3-28 00:45 編輯
玩左phantomJs同node.js一整天, 發現phantomJs夾node.js, 其實唔係咁夾

首先phantomJs同node.js其實係 ...
3ldk 發表於 2017-3-27 21:06


   
你貼嗰條 Stackoverflow link 已經有答案

被 Mark 為 Answer嗰條已經係 2012年,當時 Phantom + node 一定未 Support 得好好,2017年個答案可能已經唔再適用(因為 Phantom-node 已經支援得好咗好多),一年前我自己用過 Phantom-node, 都無乜問題


另外 Stackoverflow 下面嘅答案有人提過
CasperJs Github 都 > 6000星,應該唔錯,可以參考下

PhantomJs 只係 javascript based ,你見啲人都可以係 Java 度用都係靠啲 Bridge(RPC call) ,用 Bridge 其實真係無問題,唔好太信啲過咗時嘅 Stackoverflow 答案,時間可以改變好多野。

等如十年前你同人講 Functional programming,啲人以為你痴咗線 ,可以無痛行Multi-Thread 但壞處係用好多 Ram。今日 16GB RAM 講緊一千蚊有找,兩千蚊買到 8Core16Thread 嘅CPU ,當年嘅壞處已經變得微不足道。


via HKEPC Ionic Reader v1.6.0 - iPhone

TOP

Parse  得多會唔會易被block ip, 甚至當係ddos 攻擊?

via HKEPC Reader for Android

TOP

Parse  得多會唔會易被block ip, 甚至當係ddos 攻擊?

via HKEPC Reader for Android
kof2002 發表於 2017-3-31 17:33


睇你所指既多係幾多request

TOP

一日一百次?

via HKEPC Reader for Android

TOP

一日一百次?

via HKEPC Reader for Android
kof2002 發表於 2017-3-31 23:37


即係平均每小時4次
平時你上人地網頁睇野都唔止呢個次數啦

TOP

https://scrapy.org/

回覆 17# 3ldk

TOP