))
INTERVIEW: Polysemanticity w/ Dr. Darryl Wright
Manage episode 421695823 series 3577835
Το περιεχόμενο παρέχεται από το Jacob Haimes. Όλο το περιεχόμενο podcast, συμπεριλαμβανομένων των επεισοδίων, των γραφικών και των περιγραφών podcast, μεταφορτώνεται και παρέχεται απευθείας από τον Jacob Haimes ή τον συνεργάτη της πλατφόρμας podcast. Εάν πιστεύετε ότι κάποιος χρησιμοποιεί το έργο σας που προστατεύεται από πνευματικά δικαιώματα χωρίς την άδειά σας, μπορείτε να ακολουθήσετε τη διαδικασία που περιγράφεται εδώ https://el.player.fm/legal.
Darryl and I discuss his background, how he became interested in machine learning, and a project we are currently working on investigating the penalization of polysemanticity during the training of neural networks.
Check out a diagram of the decoder task used for our research!
01:46 - Interview begins
02:14 - Supernovae classification
08:58 - Penalizing polysemanticity
20:58 - Our "toy model"
30:06 - Task description
32:47 - Addressing hurdles
39:20 - Lessons learned
Links to all articles/papers which are mentioned throughout the episode can be found below, in order of their appearance.
- Zooniverse
- BlueDot Impact
- AI Safety Support
- Zoom In: An Introduction to Circuits
- MNIST dataset on PapersWithCode
- Clusterability in Neural Networks
- CIFAR-10 dataset
- Effective Altruism Global
- CLIP (blog post)
- Long Term Future Fund
- Engineering Monosemanticity in Toy Models
19 επεισόδια
Μοίρασέ το
