Yıllık arşivler: 2019

How to remove (base) from terminal prompt (after installing conda)

Bir Cevap Yazın

Aşağıdaki komut ile otomatik olarak başlamasını engelleyebilirsiniz.

[pastacode lang=”markup” manual=”conda%20config%20–set%20auto_activate_base%20false” message=”” highlight=”” provider=”manual”/]

Chassis Intruded! Fatal Error… System Halted Hatası ve Çözümü

Bir Cevap Yazın

Elektrik gidip geldikten sonra bu hatayla karşılaşıldı. Bilgisayarın fişini çekip bir müddet bekledikten sonra tekrar denendi fakat çözüm olmadı. Bilgisayarın BIOS’una girilip hiç birşey yapılmadan tekrar çıkıldı. Sorun düzeldi.

scp: TERM environment variable not set

Bir Cevap Yazın

Bu hatayı alıyorsanız sorun scp ile dosya göndermek istediğiniz sunucunun .bashrc dosyasında istenmeyen bazı komutların olmasından dolayıdır. Dolayısıyla dosyaları göndermek istediğiniz sunucunun .bashrc dosyasını gözden geçirip, dosya göndermeyi tekrar denemelisiniz.

Deep Learning Heroes / Derin Öğrenme Kahramanları

Bir Cevap Yazın

Bu yazıda Derin Öğrenme (Deep Learning) deyince akla gelen kişilerden bazılarını vermek istiyorum. Listedeki kişiler araştırılıp ne yaptıkları öğrenilebilir ve derin öğrenme heveslisi kişilere bir kapı aralanabilir düşüncesiyle bu listeyi hazırladım. Liste zamanla genişleyebilir.

  • Andrew NG
  • Geoffrey Hinton (Boltzman Machines)
  • Pieter Abbeel
  • Ian Goodfellow
  • Yoshua Bengio
  • Yuanqing Lin
  • Andrej Karpathy
  • Ruslan Salakhutdinov
  • Yann LeCun (LeNet-5)
  • Terry Sejnowski
  • Alex Krizhevsky (AlexNet)
  • Ilya Sutskever
  • Karen Simonyan (VGG-16)
  • Andrew Zisserman
  • Kaiming He (ResNet)
    • Xiangyu Zhang
    • Shahqing Ren
    • Jian Sun
  • Christian Szegedy (Inception Network – GoogLeNet)
    • Wei Liu
    • Yangqing Jia
    • Pierre Sermanet
    • Scott Reed
    • Dragomir Anguelov
    • Dumitru Erhan
    • Vincent Vanhoucke
    • Andrew Rabinovich
  • Russ Girshik (R-CNN)
    • Jeff Donahue
    • Trevor Darnell
    • Jitendra Malik
  • Shaoqing Ren (Faster R-CNN)
    • Kaiming He
    • Ross Girshick
    • Jian Sun
  • Yaniv Taigman (Deepface)
    • Ming Yang
    • Marc’Aurelio Ranzato
    • Lior Wolf
  • Florian Schroff (FaceNet)
    • Dimitry Kalinichenko
    • James Philbin
  • Mathew Zeiler (visualizing and understanding CNNs)
    • Rob Fergus
  • Leon A. Gatys (A neural algorithm of artistic style)
    • Alexander S. Ecker
    • Matthias Bethge

Derin Öğrenme Coursera Notları (Deep Learning Coursera Notes)

Bir Cevap Yazın

Coursera’dan aldığım derin öğrenme kurslarından anahtar kelimeleri daha sonrası için hafızada tutmak amacıyla bu yazıda paylaşmak istiyorum.

NEURAL NETWORK AND DEEP LEARNING

  • Supervised learning with neural network
  • Binary classification (örn: logistic regression)
  • Logistic regression, SVM -> traditional learning algorithms
  • Cost function
  • Gradient descent
  • Derivatives
  • Vectorization and broadcasting
  • Numpy, iPython, Jupyter
  • Activation functions (Softmax, ReLU, leaky ReLU, tanh (hiberbolik tanjant), swish (a self-gated activation function))
  • Forward / Back propagation
  • Random initialization
  • Shallow neural networks
  • CNN (for image)
  • Recurrent NN (Sequence data)
  • Deep reinforcement learning
  • Regression (Standart NN)
  • Structured data – Database, Unstructured data – audio, image, text
  • Tensorflow, Chainer, Theano, Pytorch
  • Normalization
    • Standart score
    • T test
    • Standardized moment
    • Coefficient of variance
    • Feature scaling (min-max)
  • Circuit Theory
  • Parameters
    • W, b
  • Hyperparameters
    • learning rate
    • #iterations
    • #hidden layers
    • #hidden units
    • activation function
    • momentum
    • minibatch size
    • regularization

IMPROVING DEEP NEURAL NETWORKS: HYPERPARAMETER TUNING, REGULARIZATION AND OPTIMIZATION

  • Dataset -> Training / Dev (hold-out validation) / Test sets
    • Büyük veri setleri için dağılım 98/1/1 olabilir. Geleneksel olarak 70/30 veya 60/20/20’dir.
  • Bias / variance.
    • high bias = underfitting
      • bigger network (her zaman işe yarar)
      • train longer (NN architecture search) (her zaman işe yaramaz)
    • high variance = overfitting
      • more data
      • regularization
        • L1 regularization
        • L2 regularization (lambd) – daha çok tavsiye ve tercih edilir.
        • Dropout regularization (keep prob)
        • Data augmentation
        • Early stopping
      • NN architecture search
  • Speed-up the training
    • normalizing the inputs
      • subtract mean
      • normalize variance
    • data vanishing / exploiding gradients
    • weight initializion of deep networks
      • xavier initialization
      • HE initialization
    • gradient checking -> backpropagation control
      • dont use in training
      • dtheta, dtheta approx.
      • remember regularization
      • does not work with dropout
  • Optimization algorithms
    • (stochastic) gradient descent
    • momentum
    • RMSProp
    • Adam
  • Mini batch
  • Exponentially weighted averages
  • Bias correction
  • Learning rate decay
  • The problem of local optima
  • HYPERPARAMETER TUNING
    • try random values
    • confonets, resnets
    • panda babysitting (sistem kaynakları kısıtlı ise) or baby fish (caviar) approach (değilse)
    • batch normalization
    • covariate shift
    • softmax regression
    • hardmax biggest 1, the others 0
  • Frameworks
    • Caffe/Caffe2
    • CNTK
    • DL4J
    • Keras
    • Lasagne
    • mxnet
    • PaddlePaddle
    • Tensorflow
    • Theano
    • Torch

STRUCTURING MACHINE LEARNING PROJECTS

  • Orthogonalization (eğitimin yeterince başarılı olması için gereklidir) (radyo ayarlama) (developer set (training)
    • fit training set well in cost function
      • bigger NN or better optimization algorithms
    • fit dev. set well on cost function
      • regularization or bigger training set
    • fit test set well on cost function
      • bigger dev set
    • performs well in real world
      • dev set is not set correctly, the cost function is not evaluating the right thing
  • Single number evaluation metric
    • P (precision) (toplam doğruluk, %95 kedidir)
    • R (Recall) (kedilerin %90’ı doğru bilindi.
    • F1 Score – average of precision and recall (F1 değeri yüksek olan daha başarılıdır)
  • Satisficing and optimizing metric
    • hangisi satisficing hangisi optimizing olacak.
  • Train/dev/test sets distribution
  • When to change dev/test sets and metrics
  • Human level performance
    • avoidable bias / bayes optimal error (best possible error)
    • reducing bias/variance
    • surprassing human-level performance
  • ERRORS
    • training
      • variance
      • more data
      • regularization (lz, dropout, augmentation)
      • NN architecture / hyperparameter search
    • dev
    • human-level errors
      • avoidable bias
      • train bigger model
      • train longer
      • train better optimization algorithms (momentum, RMSProb, Adam)
      • NN architecture
      • Hyperparameter search
      • RNN/CNN

Bebek Kitapları

Bir Cevap Yazın

Daha önce bebeklerle ilgili paylaşımlar yapmıştım, yapmaya da devam edeceğim. Bebek kitapları, eğitici kartlar vs. ile ilgili de paylaşımlar yapmıştım. Bu yazıda ise bebeğimize aldığımız kitapları paylaşacağım.

  • İlk Sözcüklerim – Dokun Hisset Öğren Resimli Kartlar: İsminde de belirtildiği üzere bebeğin dokunması ve hissetmesi amaçlanmış. İçerisinde toplam 16 adet kart bulunmaktadır. 1 tanesinde sadece metinler bulunmakta diğerlerinde ise bir yüzünde resim ve resmin bir bölümünde hissedilecek kısım; arkasında ise resim kullanılarak yapılabilecek faaliyetler için tavsiyeler, resimdeki nesnening ingilizce ve almanca karşılıkları bulunmaktadır.

  • Panda Arkadaşlarıyla Oynuyor: Kısa  anlatımlar ve büyük resimlerle ilgi çekici bir kitap olduğunu düşünüyorum. Özellikle resimlerin renkleri çok güzel seçilmiş.
  • Pofi İle Tam Zamanında Serisi: Yemeklerimin Hepsini Bitirdim, Yaşasın Banyo Zamanı, Uyku Beni Çağırıyor. Pofi serisi şu ana kadar aldığımız en güzel kitaplar diyebilirim. Kitap karton sayfalardan oluştuğu için bebeğimiz sayfalarını yırtamıyor. Ayrıca bu kitabı okurken kitabın son sayfasında da belirtilen hareketleri yapıyoruz. Örneğin Pofi esniyorsa esneme hareketi yapıyoruz. Sonra bebeğimize soruyoruz nasıl esniyor diye. O da birkaç denemede öğreniyor. Bu kitapları aldıktan sonra diğerlerine hiç ihtiyaç duymadık desem yalan olmaz. Bebeğimiz de çok seviyor bu kitapları.
  • Aç Tırtıl: Kitabı sayfa sayfa anlatıp bebeğin dikkati çekmeniz gerekiyor. D&R’da çeşitli versiyonları mevcuttur. Küçük boy, büyük boy ve mukavva olarak üç farklı şekilde basılmış. Büyük boy olan tercih edilebilir. Mukavva olana gerek yok bence. Bebeğimin dikkatini çeken ve en çok süre oynadığı kitap diyebilirim.

Rus ruletinde nasıl kazanırsınız ve diğer ölümcül mantık soruları – Thomas Byrne – Tom Cassidy

Bir Cevap Yazın

Kitapta 32 adet soru var ve bu sorular anlatılırken hikayeleştirilmiş ve biraz da geyik yapılmış. Bazı soruları çok beğendim, bazıları ise hoşuma gitmedi açıkçası. Hoşuma gitmedi derken çok iyi anlatılamamış olmasından bahsediyorum. Bunda kitabın çeviri olmasının da etkisi var gibi geliyor bana. Bazı yerleri daha iyi çevirilebilirmiş. Kafa dağıtma amaçlı edinilip, sorular çözülmeye çalışılabilir. Birkaç sorudan sonra yazarların bakış açısını öğrenip, sorulara nasıl yaklaşacağınızı anlıyorsunuz.