更新時間:2023-02-17 來源:黑馬程序員 瀏覽量:
在數據大小比內存空間還要大的時候，怎么去讀取數據呢?今天筆者就來分享一下解決這個問題的使用方法。常見的有兩種思路：
思路一：可以分多次來讀取，也就是說通過生成器的方式，單次讀取數量比較少的數據(例如按500MB計算)進行處理，這次處理完后再去讀取后面的500MB數據。
思路二：Linux常用命令之一的split可以將文件進行切割，然后再進行數據處理，這個方法的效率相對來說會更高。既可以按照文件大小進行切割，也可以按照文件行數來切割。處理完畢后，在Linux下使用cat命令來對文件進行合并。
AI智能應用開發(fā)
AI大模型開發(fā)
AI鴻蒙開發(fā)
AI嵌入式+
AI大數據開發(fā)
AI運維
AI測試
跨境電商運營
AI設計
AI視頻創(chuàng)作運營
.jpg)