Thuật toán Gradient Descent cho Linear Regression

import numpy as np  
import matplotlib.pyplot as plt #thư viện vẽ biểu đồ
from functions import *
#import toàn bộ file data.txt
raw = np.loadtxt(‘data.txt’, delimiter = ',')
#Tách lấy X
X = np.copy(raw)
X[:,1] = X[:,0]
#thêm bias 1
X[:,0] = 1
#Tách lấy y
y = raw[:,1]
1
2
3
4
5
6
7
8
9
10
11
12

#file functions.py
#define GradientDescent
def GradientDescent(X,y,alpha=0.02,iter=5000): #giá trị mặc định của alpha là 0.02, iter (số vòng lặp tối đa) là 5000
1
2
3

#Giá trị ban đầu của theta = 0
theta = np.zeros(np.size(X,1)) #số lượng theta bằng số cột của X
#array lưu lại các giá trị J trong quá trình lặp
J_hist = np.zeros((iter,2)) # kích thước là iter*2, cột đầu chỉ là các số từ 1 đến iter để tiện cho việc plot. Kích thước được truyền vào qua một tupple
#kích thước của training set
m = np.size(y)
#ma trận ngược (đảo hàng và cột) của X
X_T = np.transpose(X)
#biến tạm để kiểm tra tiến độ Gradient Descent
pre_cost = computeCost(X,y,theta)
1
2
3
4
5
6
7
8
9
10
11

for i in range(0,iter):
    #tính sai số (predict – y)
    error = predict(X,theta) – y
    #thực hiện gradient descent để thay đổi theta
    theta = theta – (alpha/m)*(X_T @ error)
1
2
3
4
5

#tính J hiện tại
cost = computeCost(X,y,theta)
#so sánh với J của vòng lặp trước, so sánh 15 chữ số thập phân
if np.round(cost,15) == np.round(pre_cost,15):
    #in ra vòng lặp hiện tại và J để dễ debug
    print(‘Reach optima at I = %d ; J = %.6f’%(i,cost))
    #thoát vòng lặp
    break
#cập nhật pre_cost
pre_cost = cost
1
2
3
4
5
6
7
8
9
10

for i in range(0,iter): #vòng lặp gradient descent
    #... các dòng lệnh ở trên …
    #lưu lại index vòng lặp hiện tại
    J_hist[i, 0] = i
    #lưu lại J hiện tại
    J_hist[i, 1] = cost
#--bên trong câu điều kiện kiểm tra cost == pre_cost—
#thêm tất cả các index còn lại sau khi break
J_hist[i:,0] = range(i,iter)
#giá trị J sau khi break sẽ như cũ
J_hist[i:,1] = cost
#break vòng lặp
break
1
2
3
4
5
6
7
8
9
10
11
12
13

yield theta
yield J_hist
1
2
3

#file main.py
#Train data
[Theta, J_hist] = GradientDescent(X,y)#mặc định alpha = 0.02 iter = 5000
1
2
3

#Predict
predict = predict(X,Theta) * 10000#chuyển về đơn vị người
#Plot kết quả
plt.figure(1)
plt.plot(X[:,1],y,’rx’)
plt.plot(X[:,1],predict/10000,’-b’) #đơn vị gốc: nghìn người
plt.show()#nếu bạn muốn vẽ thêm biểu đồ J(θ), hàm show được gọi sau khi vẽ biểu đồ J(θ)
1
2
3
4
5
6
7

plt.figure(2)
plt.plot(J_hist[:,0],J_hist[:,1],’-r’)
plt.show() #chỉ gọi 1 lần trong chương trình để hiển thị các biểu đồ cùng lúc
1
2
3

#file functions.py
#Kteam đã lập trính sẵn hàm printProgressBar, bạn có thể tham khảo
def printProgressBar (iteration, total, suffix = ''):
    percent = ("{0:." + str(1) + "f}").format(100 * ((iteration+1) / float(total)))
    filledLength = int(50 * iteration // total)
    bar = '=' * filledLength + '-' * (50- filledLength)
    print('\rTraining: |%s| %s%%' % (bar, percent), end = '\r')
    # Print New Line on Complete
    if iteration == total: 
        print()
1
2
3
4
5
6
7
8
9
10

#file functions.py
#--vòng lặp gradient descent—
printProgressBar(i,iter)
1
2
3

#file functions.py
#Kteam đã lập trính sẵn hàm printProgressBar, bạn có thể tham khảo
def printProgressBar (iteration, total, suffix = ''):
    percent = ("{0:." + str(1) + "f}").format(100 * ((iteration+1) / float(total)))
    filledLength = int(50 * iteration // total)
    bar = '=' * filledLength + '-' * (length - filledLength)
    print('\rTraining: |%s| %s%%' % (bar, percent), end = '\r')
    # Print New Line on Complete
    if iteration == total: 
        print()
def GradientDescent(X,y,alpha=0.02,iter=5000): #giá trị mặc định của alpha là 0.02, iter (số vòng lặp tối đa) là 5000
    #Giá trị ban đầu của theta = 0
    theta = np.zeros(np.size(X,1)) #số lượng theta bằng số cột của X
    #array lưu lại các giá trị J trong quá trình lặp
    J_hist = np.zeros((iter,2)) # kích thước là iter*2, cột đầu chỉ là các số từ 1 đến iter để tiện cho việc plot. Kích thước được truyền vào qua một tupple
    #kích thước của training set
    m = np.size(y)
    #ma trận ngược (đảo hàng và cột) của X
    X_T = np.transpose(X)
    #biến tạm để kiểm tra tiến độ Gradient Descent
    pre_cost = computeCost(X,y,theta)
    for i in range(0,iter):
        printProgressBar(i,iter)
        #tính sai số (predict – y)
        error = predict(X,theta) – y
        #thực hiện gradient descent để thay đổi theta
        theta = theta – (alpha/m)*(X_T @ error)
        #tính J hiện tại
        cost = computeCost(X,y,theta)
        #so sánh với J của vòng lặp trước, so sánh 15 chữ số thập phân
        if np.round(cost,15) == np.round(pre_cost,15):
            #in ra vòng lặp hiện tại và J để dễ debug
            print(‘Reach optima at I = %d ; J = %.6f’%(i,cost))
            #thêm tất cả các index còn lại sau khi break
            J_hist[i:,0] = range(i,iter)
            #giá trị J sau khi break sẽ như cũ
            J_hist[i:,1] = cost
            #thoát vòng lặp
            break
        #cập nhật pre_cost
        pre_cost = cost
        #lưu lại index vòng lặp hiện tại
        J_hist[i, 0] = i
        #lưu lại J hiện tại
        J_hist[i, 1] = cost
    yield theta
    yield J_hist
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47

#file main.py
import numpy as np  
import matplotlib.pyplot as plt #thư viện vẽ biểu đồ
from functions import *
#import toàn bộ file data.txt
raw = np.loadtxt(data.txt, delimiter = ',')
#Tách lấy X
X = np.copy(raw)
X[:,1] = X[:,0]
#thêm bias 1
X[:,0] = 1
#Tách lấy y
y = raw[:,1]
#Train data
[Theta, J_hist] = GradientDescent(X,y)#mặc định alpha = 0.02 iter = 5000
#Predict
predict = predict(X,Theta) * 10000#chuyển về đơn vị người
#Plot kết quả
plt.figure(1)
plt.plot(X[:,1],y,’rx’)
plt.plot(X[:,1],predict/10000,’-b’) #đơn vị gốc: nghìn người
plt.figure(2)
plt.plot(J_hist[:,0],J_hist[:,1],’-r’)
plt.show() #chỉ gọi 1 lần trong chương trình để hiển thị các biểu đồ cùng lúc
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24