多边形数列 $A_n$ 是满足下面递推公式的数列：
$$\begin{cases} A_{n,0}=0,\ A_{n,i+1}=A_{n,i}+i(n-2)+1. \end{cases}$$
欲求 $A_n$ 的通项公式，可以用生成函数来求解。 $A_n$ 的生成函数为 $f_n(x):=\sum_{i=0}^{\infty} A_{n,i}x^i$。
$$\begin{aligned} f_n'(x) &=\sum_{i=0}^{\infty}A_{n,i+1}(i+1)x^i \\ &=\sum_{i=0}^{\infty}[A_{n,i}+i(n-2)+1]\phantom{}(i+1)x^i \\ &= \sum_{i=0}^{\infty}A_{n,i}x^i +\sum_{i=0}^{\infty}iA_{n,i}x^i +\sum_{i=0}^{\infty}[i(n-2)+1]\phantom{}(i+1)x^i \\ &=f_n(x)+xf'(x)+\frac{-2nx+5x-1}{(x-1)^3}, \end{aligned}$$ $$(x-1)\dot{f_n}+f_n=\frac{2nx-5x+1}{(x-1)^3},$$ $$f_n(x)=\frac{2nx-n-5x+3+C(1-x)^2}{(1-x)^3}.$$ $$ f_n(0)=C+3-n=A_{n,0}=0 \quad\Rightarrow\quad C=n-3. $$ $$\begin{aligned} f_n'(x) &=\frac{\partial}{\partial x}\frac{2nx-n-5x+3+(n-3)(1-x)^2}{(1-x)^3} \\ &=\sum_{i=0}^{\infty}\frac{(4+(n-2)i-n)i}{2}x^i. \end{aligned}$$
所以，$A_{n,i}=\frac{(4+(n-2)i-n)i}{2}$。 简单的验证可得这个结果是正确的。