分享用ChatGPT產生Python網路爬蟲程式到底行不行
相關課程:ChatGPT輔助EXCEL VBA網路爬蟲與圖表繪製班
https://ojt.wda.gov.tw/ClassSearch/Detail?OCID=157308&plantype=1
繼之前那篇分享文:
想來和大家分享用ChatGPT產生Python網路爬蟲程式到底行不行的問題,
首先,一般認知理論上ChatGPT產生程式應該沒有問題,但到底能不能用,
或是改怎麼用,這更是重要,本文沒有預設立場,結果其實不如預期,
雖說產生的程式碼看起來實在很"華麗",
但很多陷阱若是大不出問題,自然程式依舊無法正確執行,
我這邊分享幾個我看到的問題,與修正方式。
先提供用ChatGPT生成Python程式下載資料
請幫撰寫Python程式,下載網址:https://www.lotto-8.com/listltobigbbk.asp?indexpage=1&orderby=new,並存成CSV檔案
ChatGPT生成的程式碼:
import requests
from bs4 import BeautifulSoup
import pandas as pd
# 下載網頁內容
url = 'https://www.lotto-8.com/listltobigbbk.asp?indexpage=1&orderby=new'
response = requests.get(url)
response.encoding = 'big5' # 指定編碼以避免亂碼
# 確認請求成功
if response.status_code == 200:
# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
# 提取資料
# 根據頁面結構進行解析,這裡假設表格在 <table> 標籤內
table = soup.find('table') # 假設第一個 <table> 標籤就是我們需要的表格
rows = table.find_all('tr') # 找到所有的行
# 準備資料存儲
data = []
# 解析行
for row in rows:
cols = row.find_all('td')
cols = [ele.text.strip() for ele in cols]
data.append(cols)
# 將資料轉換成 DataFrame
df = pd.DataFrame(data)
# 將 DataFrame 存成 CSV 檔案
df.to_csv('lotto_data.csv', index=False, header=False, encoding='utf-8-sig')
print("資料已成功存儲到 lotto_data.csv")
else:
print(f"無法下載網頁內容,狀態碼: {response.status_code}")
修正程式碼:
import requests
from bs4 import BeautifulSoup
# 設置目標URL
url = 'https://www.lotto-8.com/listltobigbbk.asp?indexpage=1&orderby=new'
# 發送HTTP GET請求
response = requests.get(url)
# 確保請求成功
if response.status_code == 200:
# 解析HTML內容
soup = BeautifulSoup(response.content, 'html.parser')
# 找到包含彩票數據的表格
table = soup.find('table', "auto-style4") # 修改這裡以匹配實際表格的class屬性
S=""
for tr in table.find_all('tr'):
cells = tr.find_all('td')
print(cells[0].text+","+cells[1].text+","+cells[2].text)
S=S+cells[0].text+","+cells[1].text+","+cells[2].text+"\n"
f=open("E:\\大樂透.csv","w",encoding="utf-8")
f.write(S)
f.close()
else:
print(f'Failed to retrieve data: {response.status_code}')
結論:
ChatGPT目前生成的程式是很好的範本,但通常有一些程式錯誤需要修正,
例如本範例的
1.找出類別名稱:soup.find('table', "auto-style4")。
2.改用檔案物件取代相較複雜pandas模組。
AI生成程式真的大大縮短了程式設計的學習時間,
不用像以前需要填鴨式記憶一大堆程式碼,
但也不是不需要學習,而是學習程式設計的重點不同,
至少會看懂程式,並知道修改那些地方,
最好還是有除錯能力,若找不到錯誤,
還是可以把程式貼到ChatGPT請他幫忙除錯,
還真的很快找出來錯誤,至於不懂程式,
也可以請AI逐行解釋程式,解釋得實在是太詳細了。
總結AI能幫程式的至少有四,
一、生成程式
二、除錯程式
三、解釋程式
四、轉譯程式,可以把VBA轉為Python,
光這幾項,對程式小白來說,幾乎是直升機是能力提升,
但學習程式的重點需要調整,
不用死背程式,但須要看懂,
不用會寫程式,但要會跟AI溝通。
完整的教學影片:
https://terry55wu.blogspot.com/2024/06/chatgptpython.html
懶人包: EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521 EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524 |
其他相關學習:
- EXCEL VBA網路爬取大樂透歷史資料(20191129)
- 用EXCEL VBA快速將大量的EXCEL檔轉為PDF檔
- 範例_字串切割與Do_While迴圈不定數量結果
- 直接用VBA取得儲存格中的數字或英文資料
- 20190916VBA進階班開課訊息
- EXCEL下拉清單用VBA自動查詢與顯示不同資料
- 最新的完整VBA與Python教學影音DVD分享
- 讓EXCEL VBA具有進度狀態條功能(表單設計)
- EXCEL當資料庫VLOOKUP與TEXT函數做飯店管理
- 從VBA到Pyhton用懶人包快速建立開發環境分享
- 利用LARGE與SAMLL函數計算前後三名工資與轉VBA
- SUMIF函數計算苗栗和宜蘭總人數與用VBA累加
- 從EXCEL VBA到建立Python開發
- 學員想學VBA到Python入門卻苦無名額因此整理上課影音講義分享
- EXCEL VBA進階範例尋找與判斷負0到9的值
- 使用VBA製作銷貨訂購單與儲存資料(EXCEL當資料庫)
- EXCEL太複雜工作還是交給VBA吧!範例班級成績查詢
- EXCEL快速資料分欄用INDEX函數與VBA
- EXCEL匯出資料到MYSQL與PHP、Phthon、R、APP共用資料
- 從VBA到建立Python開發懶人包分享
- EXCEL VBA表單設計成績輸入將EXCEL當資料庫
- INDEX與INDIRECT函數將單欄資料轉為三欄與VBA
- 從計算數字個數到留下數字或英文或中文自訂函數
- EXCEL VBA用XMLHTTP物件抓取外匯資料
- 勞工大學選課日,不到一小時,就快額滿
- 如何在EXCEL中自訂函數與用增益集分享VBA自訂函數
- EXCEL VBA批次查詢清單到新增與刪除工作表
- EXCEL2013版VBA如何快速建立查詢系統
- EXCEL VBA改用MYSQL當成資料庫存放大量資料
- EXCEL VBA自動化與自動繪製表格框線(樣式顏色粗細)
- VBA處理大數據如何自訂留下數字函數
- VBA處理大數據政府開放與快速做出查詢系統
- 如何將大量EMAIL自動串接與用OUTLOOK自動批次寄信
- 如何用VLOOKUP函數做飯店管理分享
- 東吳進修廣部88期的EXCEL VBA課又額滿了
- 如何計算年齡並格式化與用VLOOKUP查詢時數
- 如何在EXCEL VBA中快速刪除空白列
- EXCEL VBA大數據自動化設計上課心得分享
- 如何用EXCEL統計樂透彩中獎機率範例
- 如何用COUNTIF函數篩選黑名單(無須撰寫VBA)
- 如何將EXCEL公式改直接貼上修改為VBA
- 如何用EXCEL VBA設計銷貨單將EXCEL當資料庫
- 如何撰寫自動日期格式化的VBA程式
- 如何增加EXCEL VBA按鈕(86)
- 如何用VBA搜尋關鍵字後上色與複製到新工作表
- 如何用VBA搜尋關鍵字後上色與複製到新工作表
- EXCEL函數與VBA設計第6次上課(證照106與110)
- 如何增加EXCEL VBA按鈕
- 如何利用日期函數製作年曆VBA範例
- 如何用EXCEL VBA設計銷貨單分享
- 如何學會欄列鎖定技巧與VBA設計之二(範例:大型試算表)
- 如何學會欄列鎖定技巧與VBA設計之一(範例:大型試算表)
- 從EXCEL函數到VBA自動化(函數應用大升級)
- 如何將檢視與參照函數函數轉EXCEL VBA設計
- 提高工作效率_黑名單篩選範例分享
- 北市公訓處EXCEL函數進階班第1天上課
- 公訓處EXCEL進階課程分享
- 如何用VBA呼叫Outlook郵寄信件
- 如何顯示進度狀態列(ProgressBar)
- 提高效率VBA入門班第1次上課心得分享
- EXCEL VBA處理股票分析自動最佳化範例
- 如何在EXCEL VBA中快速刪除空白列
- 定存範例轉VBA與只能輸入數字的InputBox
- 如何增加EXCEL VBA下拉選單與SQL查詢之01_如何增加下拉清單
- 如何學會EXCEL VBA錄製與修改巨集系列之一
- EXCEL VBA入門:如何撰寫自動格式化的VBA程式(以日期格式為範例)
- EXCEL VBA入門之一:如何函數轉VBA(自強EXCEL函數與VBA設計)
- 如何當下拉清單改變時自動抓取資料之一
- 東吳EXCEL VBA 與資料庫雲端設計第1次上課(2014)
- 如何自動刪除相同名稱的工作表
- EXCEL函數與VBA進階班總整理
- 如何增加EXCEL VBA按鈕
- 如何將EXCEL函數轉成VBA
- 如何在VBA中建立EXCEL的自訂函數讓公式變簡單
- 如何利用VLOOKUP函數與MID函數取得資料
- 如何用EXCEL VBA設計銷貨單分享--從EXCEL函數到VBA雲端自動化(2014)
- 如何用EXCEL VBA設計年曆範例分享--從EXCEL函數到VBA雲端自動化(2014)
- 如何將數學函數轉EXCEL VBA設計之一(東吳EXCEL VBA與資料庫雲端設計)
- 如何將檢視與參照函數函數轉EXCEL VBA設計(東吳EXCEL VBA與資料庫雲端設計)
- 從EXCEL函數到VBA雲端自動化(2014)第2次上課
- 從EXCEL函數到VBA雲端自動化(2014)第1次上課
- 如何將日期函數轉EXCEL VBA設計(東吳EXCEL VBA與資料庫雲端設計)
- 如何學會欄列鎖定技巧與VBA設計之一(範例:大型試算表)
- 如何學會字串處理與VBA設計之一
- 如何將數學函數轉EXCEL VBA設計之二(東吳EXCEL VBA與資料庫雲端設計)
- 如何設計VBA表單與EXCEL當資料庫用(85期)
- 提高效率VBA入門班第1次上課心得分享
- EXCEL VBA處理股票分析自動最佳化範例
- 如何在EXCEL VBA中快速刪除空白列
- 定存範例轉VBA與只能輸入數字的InputBox
- 如何學會EXCEL VBA資料庫系列之一
- EXCEL VBA入門:如何撰寫自動格式化的VBA程式
- EXCEL VBA入門之一:如何函數轉VBA
- 回覆Excel VBA入門與進階課的差異?
- 如何批次下載股市資料到EXCEL中之2
- 如何用VBA快速取得期貨交易資料(開收高低量)
- 如何在EXCEL VBA隱藏與顯示工作表
- 如何移動工作表與排序之1
- 如何批次下載股市資料到EXCEL中之1
- 如何批次下載股市資料到EXCEL中
- 如何建立表單與將EXCEL當成資料庫
- 如何讓用ACCESS將EXCEL的資料
- 如何排序工作表
- 如何將單次查詢改為批次查詢(EXCEL VBA自動化)
- 如何在EXCEL VBA的工作表隨機上顏色
- 如何快速在EXCEL中建立查詢系統(免資料庫)之2
- 如何精簡VBA程式與傳遞引數
- 如何快速在EXCEL中建立查詢系統(免資料庫)之1
- 如何將大量工作表整合在一個工作表
- 如何在EXCEL VBA新增沒有重複名稱工作表
- 如何自動下載YAHOO股市資料到EXCEL中
- 如何建立表單與將EXCEL當成資料庫使用
- 如何在EXCE VBA中複製工作表
- 如何在EXCEL VBA如何保護工作表
- 如何在EXCEL VBA新增沒有重複名稱工作表
- 如何在EXCEL工作表中移動
- EXCEL VBA辦公自動化_如何建立查詢系統
- 如何當下拉清單改變時自動抓取資料之一
- 如何將數學函數轉EXCEL VBA設計之二
- 如何增加EXCEL VBA按鈕
- 如何設定EXCEL VBA開發環境設定說明
- 如何將EXCEL函數轉成VBA
- 如何再VBA中建立EXCEL的自訂函數讓公式變簡單
- VBA處理大數據政府開放與快速做出查詢系統
- 如何將大量EMAIL自動串接與用OUTLOOK自動批次寄信
- 如何用VLOOKUP函數做飯店管理分享
- 東吳進修廣部88期的EXCEL VBA課又額滿了
- 如何計算年齡並格式化與用VLOOKUP查詢時數
- 如何在EXCEL VBA中快速刪除空白列
- EXCEL VBA大數據自動化設計上課心得分享
- 如何用EXCEL統計樂透彩中獎機率範例
- 如何用COUNTIF函數篩選黑名單(無須撰寫VBA)
- 如何將EXCEL公式改直接貼上修改為VBA
- 如何用EXCEL VBA設計銷貨單將EXCEL當資料庫
- 如何撰寫自動日期格式化的VBA程式
- 如何增加EXCEL VBA按鈕(86)
- 如何用VBA搜尋關鍵字後上色與複製到新工作表
- 如何用VBA搜尋關鍵字後上色與複製到新工作表
- EXCEL函數與VBA設計第6次上課(證照106與110)
- 如何增加EXCEL VBA按鈕
- 如何利用日期函數製作年曆VBA範例
- 如何用EXCEL VBA設計銷貨單分享
- 如何學會欄列鎖定技巧與VBA設計之二(範例:大型試算表)
- 如何學會欄列鎖定技巧與VBA設計之一(範例:大型試算表)
- 從EXCEL函數到VBA自動化(函數應用大升級)
- 如何將檢視與參照函數函數轉EXCEL VBA設計
- 提高工作效率_黑名單篩選範例分享
- 北市公訓處EXCEL函數進階班第1天上課
- 公訓處EXCEL進階課程分享
- 如何用VBA呼叫Outlook郵寄信件
- 如何顯示進度狀態列(ProgressBar)
- 如何批次下載股市資料到EXCEL中
- 如何建立表單與將EXCEL當成資料庫
- 如何讓用ACCESS將EXCEL的資料
- 如何排序工作表
- 如何將單次查詢改為批次查詢(EXCEL VBA自動化)
- 如何在EXCEL VBA的工作表隨機上顏色
- 如何快速在EXCEL中建立查詢系統(免資料庫)之2
- 如何精簡VBA程式與傳遞引數
- 如何快速在EXCEL中建立查詢系統(免資料庫)之1
- 如何將大量工作表整合在一個工作表
- 如何在EXCEL VBA新增沒有重複名稱工作表
- 如何自動下載YAHOO股市資料到EXCEL中
- 如何建立表單與將EXCEL當成資料庫使用
- 如何在EXCE VBA中複製工作表
- 如何在EXCEL VBA如何保護工作表
- 如何在EXCEL VBA新增沒有重複名稱工作表
- 如何在EXCEL工作表中移動
- EXCEL VBA辦公自動化_如何建立查詢系統