分享

爬蟲程式

電話
Vinxxx
案件已認證
有提供電話
地區高雄市 鼓山區
金額客戶預算:一萬以下
其他爬蟲機制:動態爬蟲

請問您需要爬取的資料來源為?

網站

您可以貼上要爬取資料的網頁(選填)

使用docker container運行selenium爬取https://news.ebc.net.tw/news

資料來源是否有相關 API(應用程式開發介面)可以使用?

無API

需要爬取的資料類型為?

文字

需要使用何種爬蟲機制?

動態爬蟲

資料爬取的頻率是多久一次?

每天

爬取資料後是否需要清洗、轉換(ETL)?

不需要資料清洗、轉換

您可以再詳細說明您的需求,幫助您找到適合的專家(選填)

目前使用docker部屬airflow及chromium爬取東森新聞之url 但是會跑出以下錯誤碼 ERROR - Message: Could not start a new session. New session request timed out Host info: host: '4b4ea413e2ba', ip: '172.31.0.4' Build info: version: '4.20.0', revision: '866c76ca80' System info: os.name: 'Linux', os.arch: 'amd64', os.version: '6.5.0-35-generic', java.version: '17.0.11' Driver info: driver.version: unknown Stacktrace: at org.openqa.selenium.grid.sessionqueue.local.LocalNewSessionQueue.addToQueue (LocalNewSessionQueue.java:221) at org.openqa.selenium.grid.sessionqueue.NewSessionQueue.lambda$new$0 (NewSessionQueue.java:68) at org.openqa.selenium.remote.http.Route$TemplatizedRoute.handle (Route.java:192) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.remote.http.Route$CombinedRoute.handle (Route.java:346) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.grid.sessionqueue.NewSessionQueue.execute (NewSessionQueue.java:128) at org.openqa.selenium.remote.tracing.SpanWrappedHttpHandler.execute (SpanWrappedHttpHandler.java:87) at org.openqa.selenium.remote.http.Filter$1.execute (Filter.java:63) at org.openqa.selenium.remote.http.Route$CombinedRoute.handle (Route.java:346) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.grid.router.Router.execute (Router.java:87) at org.openqa.selenium.grid.web.EnsureSpecCompliantResponseHeaders.lambda$apply$0 (EnsureSpecCompliantResponseHeaders.java:34) at org.openqa.selenium.remote.http.Filter$1.execute (Filter.java:63) at org.openqa.selenium.remote.http.Route$CombinedRoute.handle (Route.java:346) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.remote.http.Route$NestedRoute.handle (Route.java:270) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.remote.http.Route$CombinedRoute.handle (Route.java:346) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.remote.http.Route$CombinedRoute.handle (Route.java:346) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.remote.http.Route$CombinedRoute.handle (Route.java:346) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.remote.http.Route$CombinedRoute.handle (Route.java:346) at org.openqa.selenium.remote.http.Route.execute (Route.java:69) at org.openqa.selenium.remote.AddWebDriverSpecHeaders.lambda$apply$0 (AddWebDriverSpecHeaders.java:35) at org.openqa.selenium.remote.ErrorFilter.lambda$apply$0 (ErrorFilter.java:44) at org.openqa.selenium.remote.http.Filter$1.execute (Filter.java:63) at org.openqa.selenium.remote.ErrorFilter.lambda$apply$0 (ErrorFilter.java:44) at org.openqa.selenium.remote.http.Filter$1.execute (Filter.java:63) at org.openqa.selenium.netty.server.SeleniumHandler.lambda$channelRead0$0 (SeleniumHandler.java:44) at java.util.concurrent.Executors$RunnableAdapter.call (None:-1) at java.util.concurrent.FutureTask.run (None:-1) at java.util.concurrent.ThreadPoolExecutor.runWorker (None:-1) at java.util.concurrent.ThreadPoolExecutor$Worker.run (None:-1) at java.lang.Thread.run (None:-1)

您的預算約為?

一萬以下

您希望如何與專家合作?

透過電話或網路服務

還有什麼需要注意的地方嗎?

沒有

您需要服務的地區為何?

高雄市,鼓山區
您可能也感興趣的案件:
高雄市 鼓山區
網頁設計
賴〇姐
高雄市 鹽埕區
APP設計
Samxxx
高雄市 鹽埕區
軟體開發
郭〇瑄