dengwen168 发表于 2020-3-12 08:26:07

请教一个采集数据的前端展示问题

请问一下,

将爬取到的数据存入数据库,然后在前端展示出来,

如何解决数据格式化的问题?

比如:我通过一些api得到一些文本数据,这些数据就是一段,中间没有换行符、分段符这些,我存入数据库,再在自己网站展示的话,也是一段,中间没有分段,换行,很难看。

从网站直接抓取数据也是类似的情况,比如用python的request库,直接取的结果的content,直接过滤掉了分段,换行符,那么到时前端展示也变成了一段。

请问这个有好的解决方法么?可以维持原来网站的展示格式,谢谢。               

54clz 发表于 2020-3-12 08:48:49

分段,换行符也一起入库

wxiao333 发表于 2020-3-12 09:42:42

分段,换行符也一起入库 是一个办法,但是有可能会把杂七杂八的东西也一起弄进来。
最好还是自己写个程序处理下吧
简单点 比如 存成字符串list,list之间每个元素为一个br,
或者 再存一个 标签list
目前暂时没有想到什么其他更好的办法,感觉也不一定是最优的办法,只是能凑合用一下

wxiao333 发表于 2020-3-12 09:43:21

另外楼主你2018年就问过这个问题了,还没解决么
https://www.advertcn.com/thread-84034-1-1.html

朝阳风雨 发表于 2020-3-12 13:50:26

你可以把最外层的标签包含所有内容取出来,然后插入你自己的标签里面,这样就可以保持原有的格式。

dengwen168 发表于 2020-3-12 14:33:49

本帖最后由 dengwen168 于 2020-3-12 14:44 编辑

wxiao333 发表于 2020-3-12 09:43
另外楼主你2018年就问过这个问题了,还没解决么
https://www.advertcn.com/thread-84034-1-1.html ...
是啊,

去年一年搞量化去了,没搞网站。有的网站主机都过期了。

结果搞量化没赚到钱,还亏了,想再搞网站赚点生活费。


yincthh 发表于 2020-3-12 16:41:21

;P 现在那么多插件,直接保存换行符啊。

河小马 发表于 2020-3-12 18:03:13

yincthh 发表于 2020-3-12 16:41
现在那么多插件,直接保存换行符啊。

好久没看到你了。。还在做amazon?

54clz 发表于 2020-3-13 08:07:06

wxiao333 发表于 2020-3-12 09:42
分段,换行符也一起入库 是一个办法,但是有可能会把杂七杂八的东西也一起弄进来。
最好还是自己写个程序处 ...

采集的时候只留下<p><br>标签,其它所有标签都去掉,应该就不会有杂七杂八的东西了

yincthh 发表于 2020-3-13 15:45:21

河小马 发表于 2020-3-12 18:03
好久没看到你了。。还在做amazon?

:lol
不做了。现在亚马逊疯了,各种互相留差评。

newcb 发表于 2020-3-13 16:07:16

yincthh 发表于 2020-3-13 15:45
不做了。现在亚马逊疯了,各种互相留差评。

开始互相伤害了吗?

metrozkj 发表于 2020-3-13 16:57:46

pandas来组织你的数据,然后pd.DataFrame.to_sql存数据库,既然你做过量化,肯定对pandas很熟悉吧
页: [1]
查看完整版本: 请教一个采集数据的前端展示问题