DataLoader with multiple workers leaks memory

PyTorch Developer Podcast

Το περιεχόμενο παρέχεται από το PyTorch, Edward Yang, and Team PyTorch. Όλο το περιεχόμενο podcast, συμπεριλαμβανομένων των επεισοδίων, των γραφικών και των περιγραφών podcast, μεταφορτώνεται και παρέχεται απευθείας από τον PyTorch, Edward Yang, and Team PyTorch ή τον συνεργάτη της πλατφόρμας podcast. Εάν πιστεύετε ότι κάποιος χρησιμοποιεί το έργο σας που προστατεύεται από πνευματικά δικαιώματα χωρίς την άδειά σας, μπορείτε να ακολουθήσετε τη διαδικασία που περιγράφεται εδώ https://el.player.fm/legal.

3+ y ago 16:38

MP3•Αρχική οθόνη επεισοδίου

Today I'm going to talk about a famous issue in PyTorch, DataLoader with num_workers > 0 causes memory leak (https://github.com/pytorch/pytorch/issues/13246). This bug is a good opportunity to talk about DataSet/DataLoader design in PyTorch, fork and copy-on-write memory in Linux and Python reference counting; you have to know about all of these things to understand why this bug occurs, but once you do, it also explains why the workarounds help.

Further reading.

A nice summary of the full issue https://github.com/pytorch/pytorch/issues/13246#issuecomment-905703662
DataLoader architecture RFC https://github.com/pytorch/pytorch/issues/49440
Cinder Python https://github.com/facebookincubator/cinder

83 επεισόδια

#Tech #PyTorch #Edward Yang #Team PyTorch #Deep Learning #Machine Learning