Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

当数据源选择MySQL时,存储失败 #1457

Open
suntanic opened this issue Apr 14, 2024 · 8 comments
Open

当数据源选择MySQL时,存储失败 #1457

suntanic opened this issue Apr 14, 2024 · 8 comments
Labels
bug Something isn't working

Comments

@suntanic
Copy link

suntanic commented Apr 14, 2024

Bug 描述
例如,当 自定义数据源为MySQL时(其他自定义数据源也一样),无法看到存储数据。

复现步骤
该 Bug 复现步骤如下

  1. 新建MySQL类型标准数据源 MySQLDB
    image

  2. 按官方示例随意新建python爬虫
    image

  3. 选择新建数据源,并立刻执行上面的爬虫,执行成功可以看到10条数据

  4. 数据库面板查看数据,数据库查看数据也不存在,数据没有存储
    image

image

6 数据源选择默认时,执行任务,则可以看到数据存储成功

期望结果
自定义MySQL数据源,数据能存储成功。

版本:0.63 社区版

@suntanic suntanic added the bug Something isn't working label Apr 14, 2024
@MemoryF
Copy link

MemoryF commented Apr 17, 2024

我也出现了这个问题。。能修复吗

@deanjoson
Copy link

我也出现了这个问题,根据日志看到是因为没有对应的表,能不能自动根据数据创建表呢

@ayellowcat
Copy link

同样发现了

@TDxhfeng
Copy link

那手动创建表可以解决么?有人可以说下整个流程是怎么样的么

@ayellowcat
Copy link

那手动创建表可以解决么?有人可以说下整个流程是怎么样的么

方法就是不用他们的save_item方法,引入自己选择的语言本身的数据库操作模块来自行实现数据读写

@TDxhfeng
Copy link

那手动创建表可以解决么?有人可以说下整个流程是怎么样的么

方法就是不用他们的save_item方法,引入自己选择的语言本身的数据库操作模块来自行实现数据读写

那也就是说如果我想在页面上展示没有办法实现

@ayellowcat
Copy link

那手动创建表可以解决么?有人可以说下整个流程是怎么样的么

方法就是不用他们的save_item方法,引入自己选择的语言本身的数据库操作模块来自行实现数据读写

那也就是说如果我想在页面上展示没有办法实现

那就没办法了,如果数据量大的话,在那个页面上展示也没啥意义,反正都得自己对爬好的数据做二次加工,那就跟这个爬虫工具没啥关系了

@TDxhfeng
Copy link

TDxhfeng commented Jun 3, 2024

那手动创建表可以解决么?有人可以说下整个流程是怎么样的么

方法就是不用他们的save_item方法,引入自己选择的语言本身的数据库操作模块来自行实现数据读写

那也就是说如果我想在页面上展示没有办法实现

那就没办法了,如果数据量大的话,在那个页面上展示也没啥意义,反正都得自己对爬好的数据做二次加工,那就跟这个爬虫工具没啥关系了

哦 好的,了解了。我目前是用的自己mysql存储,但是我想更新任务上面的状态统计结果数该如何实现啊, 就是使用自己爬取的结果总数进行统计,也就是使用爬虫结束后的item_scraped_count赋值到爬虫任务的统计里面去

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

No branches or pull requests

5 participants