mysql下如何高效率的更新(insert/update/delete)产品库?

场景如下:
          通过python抓取其它设定好的网站的产品数据,总数据量在20万产品左右,存储成XML格式文件,同时也有远程的网站数据源,然后把这些XML使用PHP解析,一条一条的对产品库进行更新,包括增加,删除,更新动作,现在发现,对这20万数据更新一次产品库,需要N长的时间,准确的说,需要近10个小时,这是肯定不行的,因为python抓取的这个数据总量基本不会有什么变化,之所以天天抓取,就是希望时时的更新数据,结果,入库到mysql这里出这种问题了,在网上搜索了一番,有看到一个比较好的办法,说是使用mysql的load data infile来导入文本数据到mysql,但因为我更新产品库的时候要更新不只一产品主表,产品的附属表如颜色,尺码,分类等也要一并更新,所以觉得不是很合适,又加上我更新的产品库是前台使用的,直接更新这个产品库现在已经严重影响到前台的使用性能了,请教如何才能在尽可能短的时间能完成产品库这20万数据的更新,以达到数据能比较时时的更新,也不会对前台使用产生性能影响呢?

请大家指教!

作者: quickphp   发布时间: 2011-05-17

这里需要确认是否问题真的在mysql入库问题上

20万的数据,一般来说在数分钟内可完成。

作者: 于仁洁   发布时间: 2011-05-17

10个小时包含 PHP解析XML文件,分析解析结果,查询现有产品库数据信息,然后更新产品库
不仅仅包含插入mysql

作者: quickphp   发布时间: 2011-05-17

?
有人给指点一下吗?

作者: quickphp   发布时间: 2011-05-17