问题一:爬虫获取内容中出现"'"引号,导致插入数据库时出现异常
解决方法:
content = content.replace("'", "\\'")
问题二:爬虫的结尾出现"\"转义字符
解决方法:content = content.replace("\\", "\\\\")
注意:一定要先处理"\"问题在处理,其他的"'"、"""等问题,否则转义符又将被转义
问题三: Data too long for column 'content' at row 1 插入数据过大
解决方法:将存储的列由 text 改为 mediumtext或者 longtext
具体解释看 链接
问题四:异常处理不能继续爬下去
解决方法:使用 try except 语句
文章评论