/ai/9ab0a – ``Искусственные нейросети''

/ai/ – pfpmd AI laboratory

9ab0a9ab0a3cc8ea445e3aa0c5f1a192932eb – ``Искусственные нейросети''

Тред про искусственные нейросети.

Начну изучение почти с нуля. Свои тупые или не очень вопросы буду тут задавать, возможно потом сам буду на них отвечать, если найду ответ.

Сначала, очевидно, нужно найти книгу хорошую.

Вот вроде бы для начинающих книга хорошая Make Your Own Neural Network. Скачать. Попробую с неё начать. Но уже понятно, что надо будет после неё более серьёзные книги почитать.

Обосрался с разметкой.
Make Your Own Neural Network.

Скачать.

Цитата из книги:
> Why not try to build artificial brains by copying how real biological brains worked?
Но ведь я слышал, что искусственные нейросети работают нихуя не так, как реальные. Кажется кто-то пиздит.

AND и OR можно определить через линейный классификатор. Интересно, не задумывался об этом раньше. Но это как-то странно, ведь классификатор это явно более сложное понятие. Это всё равно что сказать, что точка - это место соприкосновения двух шаров. Ну, да, это верно, но блядь никто так в здравом уме не будет определять что такое точка.

Хотя, это таки не определение, а обучение, ладно.

> we use multiple classifiers working together. That’s an idea central to neural networks.
Понятно, т.е. нейроки получается это всего-лишь множество линий, разделяющих говно по своим загонам. Пока не верится.

А если трёхмерное пространство у нас? То что, плоскости вместо линий будут? А если n-мерное пространство, то что, гиперплоскости? Не понятно.

> But that worm is able to do some fairly useful tasks that traditional computer programs of
much larger size would struggle to do.
Интересно что там червь может сделать такого интересного? Насрать под себя и копашиться в говне? Непонятно.

> A biological neuron doesn’t produce an output that is simply a simple linear function of the input.
Ага, значит наебали ранее, нейронки - это не линии.
>Observations suggest that neurons don’t react readily, but instead suppress the input until it has grown so large that it triggers an output.
Понятно, короче, нейрон - это как водопровод, в котором есть вентиль на пружинке. Пока из входных труб напор не достаточный - вентиль не может открыться.

О, блядь, про сигмоид пошло. А я слышал, что уже вроде как не юзают сигмоид.

>The first thing to realise is that real biological neurons take many inputs, not just one.
Сколько конкретно? В среднем. Интересно же.

@41987@41987f50d1b84d3ba5bf4dd45847d760 тут https://www.sciencedirect.com/topics/neuroscience/dendrite говорят всего 5-7. Я думал больше будет.
Ещё тут какая-то таблица https://synapseweb.clm.utexas.edu/dimensions-dendrites
Или надо синапсы считать как отдельные инпуты? Непонятно.

> It means that as the network learns to improve its outputs by refining the link weights inside the network, some weights become zero or close to zero.
Заебись, но не увеличит ли это время обучения если мы будем полностью соединять все ноды соседних слоёв?
И почему блядь только соседние слои должны быть соединены, какого хуя, в чём причина? Почему нейрон с 1го слоя не может быть соединён с нейроном с 3го слоя? Непонятно.

И почему нейроны с одного слоя не могут иметь связей между собой?

Я догадываюсь, что так наверное просто проще вычисления делать, но блядь, а вдруг если соединить нейроны с разных слоев, то результаты внезапно лучше будут?

точнее через слой или с одного слоя

Тогда просто слои уже будут другие.

Хотя, с другой стороны, сеть это же не произвольный DAG.

@c98ab@c98ab789997144ae9718fa59132ce12f Мне кажется тогда просто уже не будет слоёв.

@de9e7@de9e7960c0074c588d080655a02ce1d7 а почему нет? Я вижу только причину в том, что когда у тебя всё красиво поделено на слои, то тогда выходные значения легко считаются как произведение матриц.

Вообще, в этой книге пока речь идёт только про многослойный перцептрон. Надеюсь только им она не ограничивается. Хотя, похуй, тогда просто другую надо будет читать. Возможно есть другие архитектуры, где всё не просто поделено на слои, где связи сложнее намного.

@f9484@f9484f8b751e47a2a670f0f6c4269609 точнее, как функция активации от произведения.

Блядь, в этой книге ошибок много, он путает веса, как на графике, так и в тексте. Хотя, может это специально. Я помню где-то читал, что небольшие очевидные ошибки способствуют лучшему усвоению.

Backpropagation хорошо объясняется, тут вообще всё просто, никаких вопрсов не возникает. Просто проталкиваем ошибки через слои в обратном направлении пропорционально весам.

Почему-то он в Backpropagating Errors with Matrix Multiplication не разделил на сумму весов. Опять ошибка, это начинает заёбывать. Как может быть столько положительных отзывов?

@de9e7@de9e7960c0074c588d080655a02ce1d7 таки произвольный:
https://en.wikipedia.org/wiki/Feedforward_neural_network
> More generally, any directed acyclic graph may be used for a feedforward network, with some nodes (with no parents) designated as inputs, and some nodes (with no children) designated as outputs.

Короче, я понял, что эта книга говно похоже.

Всё, эту книгу нахуй, она хуёвая. Попробуем эту http://www.deeplearningbook.org/ Скачать

Хм, интересно, cybernetics - это оказывается просто другое название было для deep learning.

>As of 2016, a rough rule of thumb is that a supervised deep learning algorithm will generally achieve acceptable performance with around 5,000 labeled examples per category
Дохуя как-то. Человеку явно меньше надо. Очевидно, что ещё пиздец как далеко до human level обучения.

>In modern neural networks, the default recommendation is to use the rectified linear unit, or ReLU (Jarrettet al., 2009; Nair and Hinton, 2010; Glorot et al., 2011a), defined by the activation function g(z) = max{0, z}, depicted in figure 6.3.
Вот, да, а не какой не сигмоид ебаный.

Сука, в этой книге тоже есть ошибки. Например, на странице 167 он забыл протраспонировать матрицу для f(x). Хотя в следующем предложении у него там уже правильно говорится, что f(x) = x^T w'.

Но зато он хоть объяснил нахуя вообще нужна функция активации, что без неё модель всё равно будет линейной и XOR не получится выразить. Хотя, это и так очевидно.

>For feedforward neural networks, it is important to initialize all weights to small random values. The biases may be initialized to zero or to small positive values.
Не понял почему это важно, но ладно, надо запомнить.

> For the moment, it suffices to understand that the training algorithm is almost always based on using the gradient to descend the cost function in one way or another.
Грустно как-то. Градиентный спуск же не единтсвенный метод, что существует. Почему не какой-нибудь simulated annealing? Хотя, "almost always", а не "always".

@e6043@e60433d734cf49a98a253750f05cfd5e https://stats.stackexchange.com/questions/235862/is-it-possible-to-train-a-neural-network-without-backpropagation

@e00d9@e00d95fcfcd14c68a82c8221d5151567
> There is the Decoupled Neural Interfaces (DNI) from Google Deepmind. Instead of using backpropagation, it uses another set of neural networks to predict how to update the parameters
Вот это круто. Действительно, почему бы сами нейронки не использовать для задачи обучения.

https://github.com/google-research/google-research/tree/master/automl_zero