I. Introduction to Neural Networks

I. Introduction to Neural Networks
The ability to recognize and associate character patterns makes neural nets useful in an area such as handwriting analysis. We will illustrate this with an example in which we train a network to learn a pattern for each of the 26 letters of the alphabet. To keep the number of inputs to a reasonable size, the characters will be upper case and defined by a 5x5 array of dots. A more practical size array for character display is 9x7, but this would necessitate 63 rather than 25 inputs. An alternative problem, to be illustrated later with unsupervised learning, would be to train the network to learn several patterns for each character (e.g. different font styles) and fewer characters overall (to reduce the number of patterns to be learned).

For example, the letter "A" can represented by the 5x5 dot array below - each position highlighted is shown graphically by the pound sign (#) for which the corresponding input value is +1. The non-highlighted positions, shown by a dot (.), have values 0 for binary or -1 for bipolar.
Character Inputs for "A" (binary display shown)


The string of bits, from top to bottom row and left to right column becomes '0010001010100011111110001'

corresponding to neural net inputs x1 to x25. Each letter will of course have a unique input pattern. We will define 26 separate outputs, one identifying each letter in order A to Z. Thus, if the pattern above for "A" is presented, the binary target output string is '10000000000000000000000000' (t1 to t26). Likewise, for "B" only the second output is high and the rest are 0's, etc.

The objective is to train our network to learn the 26 character patterns. If learning is successful, the network can be tested by entering input patterns "close to" a learned character, and see if the net can associate with that character.0

MATLAB [1,2] is a widely used matrix based equation solving program. A MATLAB program was written to apply Perceptron to train a neural network for this requirement. The output when the program is run is shown below. For only five training iterations (epochs) most of the character patterns have already been associated with the appropriate output line. All 26 alphabetic characters are learned after 17 epochs, resulting in a unit 26x26 matrix displayed. Note the algorithm is applied with a bipolar threshold function, after which the outputs are converted to binary for convenience in presentation.

Results (Thai) 2:

ฉันรู้เบื้องต้นเกี่ยวกับโครงข่ายประสาท
ความสามารถในการรับรู้และรูปแบบตัวอักษรที่ร่วมทำให้ประสาทที่มีประโยชน์ในพื้นที่เช่นการวิเคราะห์ลายมือ เราจะแสดงให้เห็นถึงนี้ด้วยตัวอย่างเช่นในการที่เราฝึกอบรมเครือข่ายการเรียนรู้รูปแบบสำหรับแต่ละ 26 ตัวอักษรของตัวอักษร เพื่อให้จำนวนของปัจจัยการผลิตให้มีขนาดที่เหมาะสมกับตัวละครจะเป็นกรณีบนและกำหนดโดยอาร์เรย์ 5x5 จุด อาร์เรย์ขนาดจริงมากขึ้นสำหรับการแสดงผลตัวอักษรที่เป็น 9x7 แต่จะเลี่ยง 63 มากกว่า 25 ปัจจัยการผลิต ปัญหาอีกทางเลือกหนึ่งที่จะแสดงให้เห็นในภายหลังกับการเรียนรู้ใกล้ชิดจะเป็นในการฝึกอบรมเครือข่ายการเรียนรู้รูปแบบหลายอย่างสำหรับตัวละครแต่ละตัว (เช่นรูปแบบตัวอักษรที่แตกต่างกัน) และตัวละครน้อยลงโดยรวม (เพื่อลดจำนวนของรูปแบบการเรียนรู้). ยกตัวอย่างเช่น ตัวอักษร "A" สามารถแสดงโดยอาร์เรย์จุด 5x5 ด้านล่าง - แต่ละตำแหน่งที่ไฮไลต์ก็แสดงให้เห็นชัดเจนโดยเครื่องหมายปอนด์ (#) ที่มูลค่าการป้อนข้อมูลที่สอดคล้องกันคือ 1 ตำแหน่งที่ไม่เน้นแสดงโดยจุด (.) มีค่า 0 หรือ -1 ไบนารีสำหรับสองขั้ว. ปัจจัยการผลิตตัวละครสำหรับ "" (จอแสดงผลแบบไบนารีแสดง) สตริงของบิตจากบนลงล่างและแถวซ้ายไปขวา คอลัมน์กลายเป็น '0010001010100011111110001' ที่สอดคล้องกับปัจจัยการผลิตสุทธิประสาท x1 เพื่อ x25 ตัวอักษรแต่ละตัวของหลักสูตรจะมีรูปแบบการป้อนข้อมูลที่ไม่ซ้ำกัน เราจะกำหนดเอาท์พุท 26 แยกหนึ่งระบุตัวอักษรแต่ละตัวในการสั่งซื้อ A ถึง Z ดังนั้นหากรูปแบบดังกล่าวข้างต้นสำหรับ "" จะนำเสนอเป้าหมายการส่งออกสตริงไบนารีคือ '10000000000000000000000000 (t1 เพื่อ T26) ในทำนองเดียวกันสำหรับ "B" เท่านั้นที่สองคือการส่งออกสูงและส่วนที่เหลือเป็น 0 และอื่น ๆโดยมีวัตถุประสงค์ในการฝึกอบรมเครือข่ายของเราที่จะเรียนรู้รูปแบบ 26 ตัวอักษร หากประสบความสำเร็จในการเรียนรู้เครือข่ายที่สามารถทดสอบได้โดยการป้อนรูปแบบการป้อนข้อมูล "ใกล้เคียงกับ" ตัวละครที่ได้เรียนรู้และดูว่าสุทธิสามารถเชื่อมโยงกับ character.0 ที่MATLAB [1,2] เป็นใช้กันอย่างแพร่หลายตามสมการเมทริกซ์โปรแกรมการแก้ โปรแกรม MATLAB ถูกเขียนขึ้นเพื่อนำไปใช้ในการฝึกอบรม Perceptron เครือข่ายประสาทสำหรับความต้องการนี้ การส่งออกเมื่อมีการรันโปรแกรมที่แสดงด้านล่าง เพียงห้าซ้ำการฝึกอบรม (epochs) มากที่สุดของรูปแบบตัวอักษรที่ได้รับการที่เกี่ยวข้องกับการส่งออกสายที่เหมาะสม ทั้งหมด 26 ตัวอักษรจะเรียนรู้หลัง 17 epochs ส่งผลให้หน่วย 26x26 เมทริกซ์แสดง หมายเหตุ: ขั้นตอนวิธีการที่นำมาใช้กับฟังก์ชั่นเกณฑ์ขั้วหลังจากที่ผลจะถูกแปลงเป็นเลขฐานสองเพื่อความสะดวกในการนำเสนอ

Results (Thai) 3:

ผมแนะนำโครงข่าย
ความสามารถในการจำและรูปแบบตัวละครสมทบทำให้ตาข่ายประสาทที่มีประโยชน์ในพื้นที่ เช่น การวิเคราะห์ลายมือ เราจะแสดงให้เห็นนี้เป็นตัวที่เราฝึกเครือข่ายเพื่อเรียนรู้รูปแบบทั้ง 26 ตัวอักษรของตัวอักษร เพื่อให้จำนวนของปัจจัยการผลิตให้มีขนาดที่เหมาะสมตัวละครจะเป็นตัวพิมพ์ใหญ่และกำหนดโดยอาร์เรย์ 5x5 ของจุด อาร์เรย์ขนาดในทางปฏิบัติมากขึ้นสำหรับการแสดงผลตัวอักษร 9x7 แต่นี้อาจ necessitate 63 มากกว่า 25 ข้อมูล ปัญหาการเลือกที่จะแสดงต่อมากับการเรียนรู้แบบไม่มีผู้สอน จะอบรมเครือข่ายการเรียนรู้หลายรูปแบบสำหรับแต่ละอักขระ ( เช่นลักษณะแบบอักษรที่แตกต่างกัน ) และน้อยกว่าตัวละครโดยรวม ( เพื่อลดจำนวนของรูปแบบในการเรียนรู้ ) .

ตัวอย่างเช่นตัวอักษร " " สามารถแทนด้วยจุดด้านล่าง - 5x5 อาร์เรย์แต่ละตำแหน่งเน้นแสดงภาพกราฟิกโดยปอนด์เซ็น ( # ) ซึ่งค่าอินพุตที่ 1 ไม่เน้นตำแหน่ง แสดงด้วยจุด ( . ) , ค่า 0 หรือ - 1 แบบไบโพลาร์
ตัวกระผม " " ( Binary แสดงแสดง )


สายบิต จากบนลงล่าง จากซ้ายไปขวาแถวคอลัมน์ 0010001010100011111110001 กลายเป็น ' '

ตามประสาทสุทธิกระผม X1 จะ x25 . ตัวอักษรแต่ละตัวจะแน่นอนมีรูปแบบการป้อนข้อมูลที่ไม่ซ้ำกัน เราจะกำหนด 26 ผลแยกหนึ่งระบุตัวอักษรแต่ละตัวเพื่อ A ถึง Z ดังนั้น ถ้ารูปแบบข้างต้น " " จะแสดงสองเป้าหมายผลผลิตสตริงเป็น 10000000000000000000000000 ' ' ( T1 กับ t26 ) อนึ่ง สำหรับ " บี " การแสดงผลที่สองคือสูงและส่วนที่เหลือเป็น 0 คือ ฯลฯ

มีวัตถุประสงค์เพื่อฝึกเครือข่ายของเราที่จะเรียนรู้ 26 ตัวอักษรรูปแบบ ถ้าเรียนประสบความสำเร็จ เครือข่ายที่สามารถทดสอบได้โดยการป้อนรูปแบบ " เข้าใกล้ " เรียนรู้ตัวอักษรและดูถ้าสุทธิสามารถเชื่อมโยงกับ 0

ตัวละครที่[ 2 ] เป็นโปรแกรมที่ใช้กันอย่างแพร่หลาย การแก้สมการเมตริกซ์โดยใช้โปรแกรม เป็นโปรแกรมที่ถูกเขียนขึ้นเพื่อใช้กับรถไฟธรรมดาเครือข่ายประสาทสำหรับความต้องการนี้ การแสดงผลเมื่อมีการรันโปรแกรมที่แสดงอยู่ด้านล่าง เพียงห้าฝึกซ้ำ ( ยุคสมัย ) มากที่สุดของตัวละครรูปแบบได้ถูกเชื่อมโยงกับเส้นผลผลิตที่เหมาะสมทั้งหมด 26 ตัวอักษร ตัวอักษรจะได้เรียนรู้หลังจาก 17 ยุคสมัยที่เกิดในหน่วย 26x26 เมทริกซ์แสดง หมายเหตุ วิธีที่ใช้กับฟังก์ชันของไบโพลาร์ หลังจากนั้นผลผลิตจะถูกแปลงเป็นเลขฐานสอง เพื่อสะดวกในการนำเสนอ